Milvus多向量混合搜索
只根据标题搜索,可能漏掉正文包含关键细节的文档;只根据正文搜索,又可能弱化标题直接表达的主题。Milvus可以在同一集合保存标题向量和正文向量,分别搜索后,通过RRF合并两路排名,得到统一结果。
一、RRF如何合并结果
RRF全称为Reciprocal Rank Fusion,主要依据文档在各路搜索中的名次计算融合得分,而不是直接把原始相似度相加。
以两路搜索为例:
标题搜索:文档A、文档B
正文搜索:文档C、文档B
文档B虽然没有在任何一路排第一,但两路都把它排在第二位。RRF会累加它在两路中的贡献。
常用计算形式是:
单路贡献 = 1 ÷(k + 排名)
融合得分 = 各路贡献之和
本教程设置 k=60。没有进入某一路候选结果的文档,不获得该路贡献。
二、准备环境
本例使用:
- Milvus 2.6.x服务。
- PyMilvus 2.6.x。
- 两个四维向量字段。
- FLAT索引与COSINE度量。
RRFRanker合并结果。
安装SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序保存为:
milvus_rrf_demo.py
建立连接:
import os
from uuid import uuid4
from pymilvus import (
AnnSearchRequest,
DataType,
MilvusClient,
RRFRanker,
)
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"rrf_demo_{uuid4().hex[:12]}"
三、创建标题和正文两个向量字段
定义集合:
schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)
schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="doc_title",
datatype=DataType.VARCHAR,
max_length=300,
)
schema.add_field(
field_name="title_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
schema.add_field(
field_name="body_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
分别创建索引:
index_params = client.prepare_index_params()
for field_name in ["title_vector", "body_vector"]:
index_params.add_index(
field_name=field_name,
index_type="FLAT",
metric_type="COSINE",
)
client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)
print("测试集合:", collection_name)
每个向量字段都需要自己的索引。后续搜索请求通过 anns_field 指定使用哪个字段。
四、插入能够观察排名变化的数据
documents = [
{
"id": 1,
"doc_title": "文档A",
"title_vector": [1.0, 0.0, 0.0, 0.0],
"body_vector": [0.0, 1.0, 0.0, 0.0],
},
{
"id": 2,
"doc_title": "文档B",
"title_vector": [0.8, 0.6, 0.0, 0.0],
"body_vector": [0.8, 0.6, 0.0, 0.0],
},
{
"id": 3,
"doc_title": "文档C",
"title_vector": [0.0, 1.0, 0.0, 0.0],
"body_vector": [1.0, 0.0, 0.0, 0.0],
},
]
client.insert(
collection_name=collection_name,
data=documents,
)
client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)
title_query = [1.0, 0.0, 0.0, 0.0]
body_query = [1.0, 0.0, 0.0, 0.0]
这组人工向量专门用于观察排名融合。
实际应用中,标题和正文分别生成向量。每一路查询向量必须与该字段使用的Embedding模型及处理方式相匹配。
五、分别检查两路搜索结果
先定义输出函数:
def show_results(label, results):
print(f"\n{label}")
for position, hit in enumerate(results[0], start=1):
print(
position,
hit["id"],
hit["entity"]["doc_title"],
f"{hit['distance']:.6f}",
)
执行标题搜索:
title_results = client.search(
collection_name=collection_name,
data=[title_query],
anns_field="title_vector",
limit=2,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["doc_title"],
)
show_results("标题搜索", title_results)
再执行正文搜索:
body_results = client.search(
collection_name=collection_name,
data=[body_query],
anns_field="body_vector",
limit=2,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["doc_title"],
)
show_results("正文搜索", body_results)
按测试向量计算:
标题搜索:文档A第一,文档B第二
正文搜索:文档C第一,文档B第二
先分别检查结果,可以确定每一路是否正常工作,再分析融合后的变化。
六、创建AnnSearchRequest并执行混合搜索
为两个向量字段分别创建请求:
title_request = AnnSearchRequest(
data=[title_query],
anns_field="title_vector",
param={
"metric_type": "COSINE",
"params": {},
},
limit=2,
)
body_request = AnnSearchRequest(
data=[body_query],
anns_field="body_vector",
param={
"metric_type": "COSINE",
"params": {},
},
limit=2,
)
这里使用的是 AnnSearchRequest,搜索参数名为 param。它与前面 client.search() 的 search_params 不同。
执行融合:
hybrid_results = client.hybrid_search(
collection_name=collection_name,
reqs=[title_request, body_request],
ranker=RRFRanker(k=60),
limit=3,
output_fields=["doc_title"],
)
show_results("RRF融合结果", hybrid_results)
client.close()
运行:
python milvus_rrf_demo.py
检查融合结果:
- 文档B应排在第一位。
- 同一主键只作为一条结果返回。
- 文档A与文档C的融合得分相同。
七、为什么文档B会排第一
两路请求都设置 limit=2,因此候选列表分别为:
标题:A、B
正文:C、B
当 k=60 时:
文档A:
1 ÷(60 + 1)≈ 0.016393
它只进入标题候选列表。
文档B:
1 ÷(60 + 2)+ 1 ÷(60 + 2)≈ 0.032258
它同时进入两路候选列表。
文档C:
1 ÷(60 + 1)≈ 0.016393
它只进入正文候选列表。
文档B获得两路贡献,最终排到第一位。
融合结果仍使用 distance 字段返回分数,但此时它表示RRF融合得分,不能再按余弦相似度解释,也不能沿用原来诸如“相似度大于0.7”的判断方式。
八、区分两种limit
混合搜索中有两层结果数量:
AnnSearchRequest中的limit
控制每一路交给融合阶段的候选数量。
hybrid_search中的limit
控制合并排序后最终返回多少条记录。
例如:
标题路取20条
正文路取20条
融合后返回10条
同一文档可能出现在两路中,因此候选去重后的数量不一定是40条。
如果某篇文档没有进入任何一路候选列表,RRF不会重新去集合中寻找它。需要先检查单路召回,再决定是否增加每路候选数量。
九、接入真实知识库时怎么调整
可以按下面的顺序推进:
- 分别评估标题检索和正文检索。
- 固定一组真实问题及相关文档。
- 调整每一路候选数量。
- 比较融合前后遗漏和误召回的情况。
- 再测试不同的
k值。
k 是控制排名影响程度的平滑参数,不是标题与正文之间的权重比例。
如果业务明确要求标题结果比正文结果更重要,可以另行评估加权排序策略,不要把调整 k 当成给某一路单独增加权重。
十、常见问题
1、两个向量字段必须使用相同模型吗?
可以使用不同模型,但每一路的查询向量必须与对应字段匹配。分别搜索后,RRF依据名次融合,不要求两路原始相似度分数可以直接比较。
2、如何加上租户或发布状态条件?
在每个 AnnSearchRequest 中设置相应的 expr 条件。不能只给其中一路加条件,否则另一条检索路径仍可能召回不符合业务范围的数据。
3、增加最终limit,为什么结果没有变多?
先检查每一路返回了多少候选,以及去重后还剩多少文档。最终结果数量受候选集合限制。
4、RRF与模型重排序有什么区别?
RRF使用已有搜索结果的名次计算分数,不重新阅读正文。模型重排序会进一步处理查询和候选内容。两者承担的工作不同,可以根据检索质量与延迟要求安排处理流程。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。