FAISS原理和使用总结

最新推荐文章于 2025-05-29 10:52:10 发布

大黄鸭在发光

最新推荐文章于 2025-05-29 10:52:10 发布

阅读量719

点赞数 1

CC 4.0 BY-SA版权

文章标签： faiss

本文链接：https://blog.csdn.net/wangyue4/article/details/138265740

FAISS是一个开源库，专为大规模向量数据提供快速最近邻搜索，支持在GPU上优化的算法选择。它通过量化和编码将向量映射到紧凑空间，适用于推荐系统、信息检索等领域。本文介绍了其暴力搜索索引和逼近索引的工作原理及使用示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

FAISS是Facebook AI Research团队开源的用于高效相似度搜索和密度聚类的库，主要应用于大规模向量数据的快速最近邻搜索。

FAISS的两个主要特性：

对于特定大小的数据集和维度，可以选择对应的最佳算法。
它通过实现代价最高的计算步骤在GPU上解决了线性计算的问题。

原理： FAISS的核心思想是将向量空间嵌入到比原始空间更紧致、更容易处理的空间，在这个新空间里，原有向量间的相对位置关系保持不变或者说变得更符合某些度量。这个过程一般涉及两个步骤：量化和编码。

FAISS主要包含两类索引：暴力搜索索引（精确）和逼近索引（近似）。

暴力搜索索引：将向量在CPU或者GPU上使用基于余弦相似度或者欧式距离的全量计算，寻找最相近的向量。
逼近索引：借助聚类或其他技术做相似度近似计算。这样做的结果通常是不精确的，但准确度对于某些应用足够用了，且计算上更高效。

使用：

import numpy as np
import faiss

d = 64                            # dimension
nb = 100000                       # database size
np.random.seed(1234)             # make reproducible
xb = np.random.random((nb, d)).astype('float32')
xb[:, 0] += np.arange(nb) / 1000.

index = faiss.IndexFlatL2(d)   # build the index, L2 向量 
print(index.is_trained)
index.add(xb)                  # add vectors to the index
print(index.ntotal)

D, I = index.search(xb[:5], 4) # sanity check
print(I)
print(D)

以上脚本建立了一个L2距离的暴力搜找示例。".search(xb[:5], 4)" 指的是在给定的索引里找出离xb前5行最近的4个向量。

总之，FAISS是一种强大又灵活的向量搜索库，它通过高度优化在CPU和GPU上计算密集型部分来实现在大规模数据上的快速搜索，广泛应用于推荐系统，信息检索，语义搜索，计算机视觉等现实任务中。