Scikit-learn怎么实现距离计算_调用NearestNeighbors构建检索系统

NearestNeighbors默认使用欧氏距离，底层调用sklearn.metrics.pairwise.euclidean_distances，对每对样本计算平方差和的平方根；未归一化时量纲差异会导致大数值特征主导距离结果。

NearestNeighbors 默认用什么距离？

默认是 euclidean，不是余弦也不是曼哈顿。它底层调用的是 sklearn.metrics.pairwise.euclidean_distances，对每对样本做平方差求和再开方。如果你的数据没归一化，比如有的特征是年龄（0–100），有的是收入（0–1e6），那收入维度会完全主导距离结果——这不是 bug，是 euclidean 距离的天然特性。

常见错误现象：NearestNeighbors(n_neighbors=5).fit(X) 返回的最近邻排序“看起来不合理”，其实大概率是量纲没处理。

• 需要余弦相似度时，显式传 metric='cosine'，注意 cosine distance = 1 - cosine similarity，值越小越相似
• 想用曼哈顿距离，用 metric='manhattan'，适合稀疏或整数计数型特征（如词频）
• 自定义函数？可以传 metric=your_func，但必须接受两个一维数组、返回标量，且不能有副作用；性能会明显下降，慎用

fit() 之后怎么查单个向量的最近邻？

fit() 只建索引，不计算距离；真正算距离发生在 kneighbors() 调用时。查单个向量，别把 shape 写成 (n_features,) —— 这会报 ValueError: Expected 2D array, got 1D array instead。

正确做法是加一个维度：query.reshape(1, -1) 或 query[np.newaxis, :]。

• 返回值默认是 (distances, indices) 两个 ndarray，shape 都是 (1, n_neighbors)
• 如果只想要索引，加参数 return_distance=False，省掉距离计算开销（尤其在纯 ID 检索场景）
• 批量查多个向量？直接传 (n_queries, n_features) 的二维数组，比循环调用快得多

为什么 fit 很慢 / 内存爆了？

NearestNeighbors 默认使用 algorithm='auto'，实际多数情况选 'ball_tree' 或 'kd_tree'。但这两个结构对高维数据（>20 维）失效：树深度变浅、剪枝失效，最终退化成暴力搜索，还多占内存。

典型症状：fit 耗时从毫秒级跳到秒级，RSS 内存涨几倍，query 延迟反而比 brute 更高。

• 高维稠密数据（如 BERT embedding），强制用 algorithm='brute'，配合 metric='cosine'，反而更稳更快
• 数据量超 10 万 + 高维，考虑降维（PCA / UMAP）或换专用近似检索库（FAISS / Annoy）
• n_jobs=-1 对 brute 有效，对 tree 类算法无效（树构建本身难并行）

检索结果 index 对不上原始数据？

NearestNeighbors 不保存原始样本顺序以外的任何元信息。它返回的 indices 是你在 fit(X) 时传入的 X 的行号（0-based）。如果你的原始数据是 DataFrame，且 index 不是默认 RangeIndex，或者你中间 shuffle 过、切片过，那这个数字就不是你“以为的”业务 ID。

• 最保险的做法：fit 前先存一份 id_map = list(df.index) 或 id_map = df['item_id'].tolist()
• 查完后用 [id_map[i] for i in indices[0]] 映射回去，别依赖 df.iloc[indices]——万一 df 已重排就错了
• 别在 fit 后修改 X 的引用对象，NearestNeighbors 内部不 copy 数据（除非 copy=True），改了 X，索引就失效

高维、非归一化、ID 映射断裂——这三个点，只要漏掉一个，线上检索结果就可能静默出错，而且很难被单元测试覆盖到。