使用PGVector进行向量相似性搜索——集成Postgres与AI检索

在这篇文章中，我们将介绍如何使用PGVector，一个Postgres的向量相似性搜索包，来增强数据库的搜索能力。我们将展示如何创建一个PGVector向量存储以及如何使用SelfQueryRetriever来实现智能化的检索功能。

技术背景介绍

传统的数据库搜索通常是基于精确匹配的，而随着自然语言处理和机器学习技术的进步，向量相似性搜索能够更智能地理解和匹配相似内容。PGVector是一个为Postgres打造的插件，帮助您在数据库中进行高效的向量相似性搜索。

核心原理解析

PGVector基于向量化的方式存储和检索数据，将文本和其他非结构化数据转换为向量，并通过计算这些向量的相似性来进行搜索。这种方法可以有效提升搜索的准确性和智能化水平。

代码实现演示

首先，我们需要安装必要的Python包：

%pip install --upgrade --quiet lark pgvector psycopg2-binary

然后，我们获取OpenAI API Key以使用OpenAI的嵌入服务：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

接下来，我们创建一个PGVector向量存储，并用一些电影摘要数据进行初始化：

from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

collection = "my_movie_collection"
embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # ... 添加更多文档 ...
]

vectorstore = PGVector.from_documents(
    docs,
    embeddings,
    collection_name=collection,
)

创建self-querying检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    AttributeInfo(
        name="year",
        description="The year the movie was released",
        type="integer",
    ),
    # ... 更多属性信息 ...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm,
    vectorstore,
    document_content_description,
    metadata_field_info,
    verbose=True
)

测试我们的检索器：

# 查询相关的电影
retriever.invoke("What are some movies about dinosaurs")

# 过滤高评分电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

应用场景分析

这些技术可以广泛应用于需要高效内容检索的领域，如电影搜索引擎、客户服务FAQ系统、或任何文本密集型的数据库。

实践建议

在使用PGVector时，确保数据库有足够的计算资源来处理向量计算。同时，注意API的调用频率，以优化成本和性能。

如果遇到问题欢迎在评论区交流。
—END—