Milvus范围搜索
普通TopK搜索会返回排名靠前的结果,但排名靠前不代表一定达到业务要求。当知识库只需要较高相似度的片段,或需要查找某个相似度区间内的数据时,可以使用Milvus范围搜索,通过 radius 和 range_filter 限定结果分数。
一、先看懂两个范围参数
参数方向取决于使用的度量类型。
使用 COSINE 时,分数越大越相似,范围条件为:
radius < 相似度 <= range_filter
例如:
radius = 0.7
range_filter = 1.0
表示返回余弦相似度大于0.7、且不超过1.0的结果。
使用 L2 时,距离越小越相似,范围条件则是:
range_filter <= 距离 < radius
本教程只使用 COSINE,先把阈值方向和边界规则跑通。
二、准备运行环境
使用Milvus 2.6.x服务和PyMilvus 2.6.x。
安装SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将下面的代码按顺序保存为:
milvus_range_search_demo.py
建立连接:
import os
from uuid import uuid4
from pymilvus import DataType, MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"range_demo_{uuid4().hex[:12]}"
print("测试集合:", collection_name)
每次运行生成独立集合名称,便于区分不同轮次的实验。
三、创建集合和FLAT索引
定义字段:
schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)
schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
schema.add_field(
field_name="label",
datatype=DataType.VARCHAR,
max_length=100,
)
schema.add_field(
field_name="status",
datatype=DataType.VARCHAR,
max_length=30,
)
创建索引及集合:
index_params = client.prepare_index_params()
index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)
client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)
本例使用FLAT逐条比较向量,便于观察阈值筛选结果,不涉及近似索引的召回参数调整。
四、准备分数容易计算的测试数据
插入四条记录:
rows = [
{
"id": 1,
"vector": [1.0, 0.0, 0.0, 0.0],
"label": "记录A",
"status": "published",
},
{
"id": 2,
"vector": [0.8, 0.6, 0.0, 0.0],
"label": "记录B",
"status": "draft",
},
{
"id": 3,
"vector": [0.6, 0.8, 0.0, 0.0],
"label": "记录C",
"status": "published",
},
{
"id": 4,
"vector": [0.0, 1.0, 0.0, 0.0],
"label": "记录D",
"status": "published",
},
]
client.insert(
collection_name=collection_name,
data=rows,
)
client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)
query_vector = [1.0, 0.0, 0.0, 0.0]
按这组人工向量计算,四条记录与查询向量的余弦相似度分别为:
记录A:1.0
记录B:0.8
记录C:0.6
记录D:0.0
这些分数用于检查范围参数,不代表真实文章之间的语义关系。
五、先查看普通TopK结果
定义一个结果输出函数:
def print_results(title, results):
print(f"\n{title}")
for hit in results[0]:
print(
hit["id"],
hit["entity"]["label"],
hit["entity"]["status"],
f"{hit['distance']:.4f}",
)
执行普通搜索:
normal_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["label", "status"],
)
print_results("普通TopK搜索", normal_results)
普通搜索会按相似度排序返回这四条记录。记录D虽然相似度为0,仍可能因为请求的结果数量为4而被返回。
接下来增加范围条件,排除不满足阈值的记录。
六、只返回相似度大于0.7的结果
执行范围搜索:
high_score_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
limit=4,
search_params={
"metric_type": "COSINE",
"params": {
"radius": 0.7,
"range_filter": 1.0,
},
},
output_fields=["label", "status"],
)
print_results(
"相似度大于0.7且不超过1.0",
high_score_results,
)
按照测试向量,符合条件的是记录A和记录B。
虽然 limit=4,满足范围条件的记录只有两条,所以不会为了补足数量而返回记录C和记录D。
查找中间相似度区间
把范围改为:
0.5 < 相似度 <= 0.9
对应代码:
middle_score_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
limit=4,
search_params={
"metric_type": "COSINE",
"params": {
"radius": 0.5,
"range_filter": 0.9,
},
},
output_fields=["label", "status"],
)
print_results(
"相似度大于0.5且不超过0.9",
middle_score_results,
)
本次应保留记录B和记录C,排除相似度为1.0的记录A。
通过设置上限,可以把最接近的结果排除,专门查看中间区间的数据。
七、同时限制相似度与发布状态
范围搜索也可以结合业务字段过滤。
例如,只查看已发布且相似度大于0.7的记录:
published_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
filter='status == "published"',
limit=4,
search_params={
"metric_type": "COSINE",
"params": {
"radius": 0.7,
"range_filter": 1.0,
},
},
output_fields=["label", "status"],
)
print_results(
"已发布且相似度大于0.7",
published_results,
)
client.close()
记录B虽然分数满足要求,但状态为 draft,因此本次只保留记录A。
运行完整脚本:
python milvus_range_search_demo.py
依次对比四组输出:
- 普通TopK返回四条记录。
- 高分范围保留A、B。
- 中间范围保留B、C。
- 加上发布状态后只保留A。
八、实际业务如何确定阈值
示例中的0.7用于演示参数,实际项目应根据检索样本确定。
可以按下面的方式整理测试数据:
- 收集一组真实查询。
- 标记哪些文档相关、哪些不相关。
- 先查看不加范围限制时的分数分布。
- 分别测试几个阈值。
- 比较无关结果减少了多少,以及相关结果遗漏了多少。
更换Embedding模型或文档切分方式后,应重新检查分数分布,不能直接沿用旧阈值。
如果普通搜索已经遗漏目标文档,范围过滤不会把它补回来。应先解决模型、索引和搜索参数的问题,再调整阈值。
九、常见问题
1、为什么设置范围后没有结果?
先取消范围限制,查看原始分数。若所有结果都低于下限,空结果符合当前条件。
同时检查度量类型和边界方向。COSINE的分数越大越相似,L2则相反。
2、相似度正好等于radius,会返回吗?
本教程使用COSINE,条件为:
radius < 相似度 <= range_filter
因此,下限不包含,范围上限包含。处理边界值时,还应考虑浮点数表示带来的细微差异。
3、范围搜索会返回区间内的全部数据吗?
仍受 limit 限制。即使区间内有100条记录,limit=10 也只返回其中排名靠前的最多10条。
4、返回字段叫distance,为什么越大越相似?
返回字段名称统一使用 distance,具体含义由度量类型决定。本例采用COSINE,应按余弦相似度解释,不能仅凭字段名判断排序方向。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。