数字化技能提升教程,数字化时代生存宝典

Milvus多向量混合搜索

浏览:39
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

只根据标题搜索,可能漏掉正文包含关键细节的文档;只根据正文搜索,又可能弱化标题直接表达的主题。Milvus可以在同一集合保存标题向量和正文向量,分别搜索后,通过RRF合并两路排名,得到统一结果。

一、RRF如何合并结果

RRF全称为Reciprocal Rank Fusion,主要依据文档在各路搜索中的名次计算融合得分,而不是直接把原始相似度相加。

以两路搜索为例:

标题搜索:文档A、文档B
正文搜索:文档C、文档B

文档B虽然没有在任何一路排第一,但两路都把它排在第二位。RRF会累加它在两路中的贡献。

常用计算形式是:

单路贡献 = 1 ÷(k + 排名)
融合得分 = 各路贡献之和

本教程设置 k=60。没有进入某一路候选结果的文档,不获得该路贡献。

二、准备环境

本例使用:

  • Milvus 2.6.x服务。
  • PyMilvus 2.6.x。
  • 两个四维向量字段。
  • FLAT索引与COSINE度量。
  • RRFRanker 合并结果。

安装SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序保存为:

milvus_rrf_demo.py

建立连接:

import os
from uuid import uuid4

from pymilvus import (
AnnSearchRequest,
DataType,
MilvusClient,
RRFRanker,
)

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"rrf_demo_{uuid4().hex[:12]}"

三、创建标题和正文两个向量字段

定义集合:

schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=False,
)

schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)

schema.add_field(
field_name="doc_title",
datatype=DataType.VARCHAR,
max_length=300,
)

schema.add_field(
field_name="title_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

schema.add_field(
field_name="body_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

分别创建索引:

index_params = client.prepare_index_params()

for field_name in ["title_vector", "body_vector"]:
index_params.add_index(
field_name=field_name,
index_type="FLAT",
metric_type="COSINE",
)

client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)

print("测试集合:", collection_name)

每个向量字段都需要自己的索引。后续搜索请求通过 anns_field 指定使用哪个字段。

四、插入能够观察排名变化的数据

documents = [
    {
        "id": 1,
        "doc_title": "文档A",
        "title_vector": [1.0, 0.0, 0.0, 0.0],
        "body_vector": [0.0, 1.0, 0.0, 0.0],
    },
    {
        "id": 2,
        "doc_title": "文档B",
        "title_vector": [0.8, 0.6, 0.0, 0.0],
        "body_vector": [0.8, 0.6, 0.0, 0.0],
    },
    {
        "id": 3,
        "doc_title": "文档C",
        "title_vector": [0.0, 1.0, 0.0, 0.0],
        "body_vector": [1.0, 0.0, 0.0, 0.0],
    },
]

client.insert(
collection_name=collection_name,
data=documents,
)

client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)

title_query = [1.0, 0.0, 0.0, 0.0]
body_query = [1.0, 0.0, 0.0, 0.0]

这组人工向量专门用于观察排名融合。

实际应用中,标题和正文分别生成向量。每一路查询向量必须与该字段使用的Embedding模型及处理方式相匹配。

五、分别检查两路搜索结果

先定义输出函数:

def show_results(label, results):
    print(f"\n{label}")

for position, hit in enumerate(results[0], start=1):
print(
position,
hit["id"],
hit["entity"]["doc_title"],
f"{hit['distance']:.6f}",
)

执行标题搜索:

title_results = client.search(
    collection_name=collection_name,
    data=[title_query],
    anns_field="title_vector",
    limit=2,
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    output_fields=["doc_title"],
)

show_results("标题搜索", title_results)

再执行正文搜索:

body_results = client.search(
    collection_name=collection_name,
    data=[body_query],
    anns_field="body_vector",
    limit=2,
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    output_fields=["doc_title"],
)

show_results("正文搜索", body_results)

按测试向量计算:

标题搜索:文档A第一,文档B第二
正文搜索:文档C第一,文档B第二

先分别检查结果,可以确定每一路是否正常工作,再分析融合后的变化。

六、创建AnnSearchRequest并执行混合搜索

为两个向量字段分别创建请求:

title_request = AnnSearchRequest(
    data=[title_query],
    anns_field="title_vector",
    param={
        "metric_type": "COSINE",
        "params": {},
    },
    limit=2,
)

body_request = AnnSearchRequest(
data=[body_query],
anns_field="body_vector",
param={
"metric_type": "COSINE",
"params": {},
},
limit=2,
)

这里使用的是 AnnSearchRequest,搜索参数名为 param。它与前面 client.search() 的 search_params 不同。

执行融合:

hybrid_results = client.hybrid_search(
    collection_name=collection_name,
    reqs=[title_request, body_request],
    ranker=RRFRanker(k=60),
    limit=3,
    output_fields=["doc_title"],
)

show_results("RRF融合结果", hybrid_results)

client.close()

运行:

python milvus_rrf_demo.py

检查融合结果:

  • 文档B应排在第一位。
  • 同一主键只作为一条结果返回。
  • 文档A与文档C的融合得分相同。

七、为什么文档B会排第一

两路请求都设置 limit=2,因此候选列表分别为:

标题:A、B
正文:C、B

当 k=60 时:

文档A:

1 ÷(60 + 1)≈ 0.016393

它只进入标题候选列表。

文档B:

1 ÷(60 + 2)+ 1 ÷(60 + 2)≈ 0.032258

它同时进入两路候选列表。

文档C:

1 ÷(60 + 1)≈ 0.016393

它只进入正文候选列表。

文档B获得两路贡献,最终排到第一位。

融合结果仍使用 distance 字段返回分数,但此时它表示RRF融合得分,不能再按余弦相似度解释,也不能沿用原来诸如“相似度大于0.7”的判断方式。

八、区分两种limit

混合搜索中有两层结果数量:

AnnSearchRequest中的limit

控制每一路交给融合阶段的候选数量。

hybrid_search中的limit

控制合并排序后最终返回多少条记录。

例如:

标题路取20条
正文路取20条
融合后返回10条

同一文档可能出现在两路中,因此候选去重后的数量不一定是40条。

如果某篇文档没有进入任何一路候选列表,RRF不会重新去集合中寻找它。需要先检查单路召回,再决定是否增加每路候选数量。

九、接入真实知识库时怎么调整

可以按下面的顺序推进:

  1. 分别评估标题检索和正文检索。
  2. 固定一组真实问题及相关文档。
  3. 调整每一路候选数量。
  4. 比较融合前后遗漏和误召回的情况。
  5. 再测试不同的 k 值。

k 是控制排名影响程度的平滑参数,不是标题与正文之间的权重比例。

如果业务明确要求标题结果比正文结果更重要,可以另行评估加权排序策略,不要把调整 k 当成给某一路单独增加权重。

十、常见问题

1、两个向量字段必须使用相同模型吗?

可以使用不同模型,但每一路的查询向量必须与对应字段匹配。分别搜索后,RRF依据名次融合,不要求两路原始相似度分数可以直接比较。

2、如何加上租户或发布状态条件?

在每个 AnnSearchRequest 中设置相应的 expr 条件。不能只给其中一路加条件,否则另一条检索路径仍可能召回不符合业务范围的数据。

3、增加最终limit,为什么结果没有变多?

先检查每一路返回了多少候选,以及去重后还剩多少文档。最终结果数量受候选集合限制。

4、RRF与模型重排序有什么区别?

RRF使用已有搜索结果的名次计算分数,不重新阅读正文。模型重排序会进一步处理查询和候选内容。两者承担的工作不同,可以根据检索质量与延迟要求安排处理流程。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。