协_
正文:
想象一下行进一家书店 ,店员根据你上次购买的科幻小会谈 ,精准推荐了同类型的新书——这就是协同过滤推荐系统的现实映射 。作为推荐引擎的基石算法,它通过群体智慧预测个体偏好 ,成为Netflix 、亚马逊等平台的核心竞争力 。一、群体智慧的数学表达协同过滤分为两大流派:用户协同(User-CF)和物品协同(Item-CF)。前者基于“相似用户喜欢相同物品”的假设,后者遵循“喜欢某物品的人也可能喜欢相似物品”的逻辑。其数学本质是相似度计算与矩阵补全的结合。
以用户协同为例,核心公式如下 :
用户相似度计算(皮尔逊相关系数) :
sim(u,v) = Σ(R_u,i - R_u_avg)(R_v,i - R_v_avg) / [√Σ(R_u,i - R_u_avg)² * √Σ(R_v,i - R_v_avg)²]
预测评分则通过加权平均实现:
P(u,i) = R_u_avg + [Σ sim(u,v) * (R_v,i - R_v_avg)] / Σ|sim(u,v)|二、Python实战 :从零构建推荐引擎我们以MovieLens数据集为例 ,构建用户协同过滤系统:
python
import pandas as pd
import numpy as np
from scipy.spatial.distance import correlation加载数据集
ratings = pd.readcsv(ratings.csv) movies = pd.readcsv(movies.csv)
构建用户-电影评分矩阵
ratingmatrix = ratings.pivottable(index=userId, columns=movieId, values=rating)
用户相似度计算
def usersimilarity(user1, user2): commonmovies = ratingmatrix.loc[user1].notna() & ratingmatrix.loc[user2].notna()
return 1 - correlation(ratingmatrix.loc[user1][commonmovies],
ratingmatrix.loc[user2][commonmovies])裸露推荐
def recommend(userid, n=10): simscores = []
for uid in ratingmatrix.index: if uid != userid:
sim = usersimilarity(userid, uid)
sim_scores.append((uid, sim))top_users = sorted(sim_scores, key=lambda x: x[1], reverse=True)[:5] rec_movies = {} for movie in rating_matrix.columns: if pd.isna(rating_matrix.loc[user_id, movie]): weighted_sum = 0 sim_sum = 0 for uid, sim in top_users: if not pd.isna(rating_matrix.loc[uid, movie]): weighted_sum += sim * rating_matrix.loc[uid, movie] sim_sum += sim if sim_sum > 0: rec_movies[movie] = weighted_sum / sim_sum return sorted(rec_movies.items(), key=lambda x: x[1], reverse=True)[:n]这段代码实现了关键四步 :
1. 构建稀疏评分矩阵
2. 计算用户间的修正余弦相似度
3. 筛选Top-N相似用户
4. 通过加权平均预测缺失评分三、工程化挑战与优化方向
实际部署时需解决三大尴尬