数字化技能提升教程,数字化时代生存宝典

Milvus范围搜索

浏览:44
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

普通TopK搜索会返回排名靠前的结果,但排名靠前不代表一定达到业务要求。当知识库只需要较高相似度的片段,或需要查找某个相似度区间内的数据时,可以使用Milvus范围搜索,通过 radius 和 range_filter 限定结果分数。

一、先看懂两个范围参数

参数方向取决于使用的度量类型。

使用 COSINE 时,分数越大越相似,范围条件为:

radius < 相似度 <= range_filter

例如:

radius = 0.7
range_filter = 1.0

表示返回余弦相似度大于0.7、且不超过1.0的结果。

使用 L2 时,距离越小越相似,范围条件则是:

range_filter <= 距离 < radius

本教程只使用 COSINE,先把阈值方向和边界规则跑通。

二、准备运行环境

使用Milvus 2.6.x服务和PyMilvus 2.6.x。

安装SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将下面的代码按顺序保存为:

milvus_range_search_demo.py

建立连接:

import os
from uuid import uuid4

from pymilvus import DataType, MilvusClient

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"range_demo_{uuid4().hex[:12]}"

print("测试集合:", collection_name)

每次运行生成独立集合名称,便于区分不同轮次的实验。

三、创建集合和FLAT索引

定义字段:

schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=False,
)

schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)

schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

schema.add_field(
field_name="label",
datatype=DataType.VARCHAR,
max_length=100,
)

schema.add_field(
field_name="status",
datatype=DataType.VARCHAR,
max_length=30,
)

创建索引及集合:

index_params = client.prepare_index_params()

index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)

client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)

本例使用FLAT逐条比较向量,便于观察阈值筛选结果,不涉及近似索引的召回参数调整。

四、准备分数容易计算的测试数据

插入四条记录:

rows = [
    {
        "id": 1,
        "vector": [1.0, 0.0, 0.0, 0.0],
        "label": "记录A",
        "status": "published",
    },
    {
        "id": 2,
        "vector": [0.8, 0.6, 0.0, 0.0],
        "label": "记录B",
        "status": "draft",
    },
    {
        "id": 3,
        "vector": [0.6, 0.8, 0.0, 0.0],
        "label": "记录C",
        "status": "published",
    },
    {
        "id": 4,
        "vector": [0.0, 1.0, 0.0, 0.0],
        "label": "记录D",
        "status": "published",
    },
]

client.insert(
collection_name=collection_name,
data=rows,
)

client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)

query_vector = [1.0, 0.0, 0.0, 0.0]

按这组人工向量计算,四条记录与查询向量的余弦相似度分别为:

记录A:1.0
记录B:0.8
记录C:0.6
记录D:0.0

这些分数用于检查范围参数,不代表真实文章之间的语义关系。

五、先查看普通TopK结果

定义一个结果输出函数:

def print_results(title, results):
    print(f"\n{title}")

for hit in results[0]:
print(
hit["id"],
hit["entity"]["label"],
hit["entity"]["status"],
f"{hit['distance']:.4f}",
)

执行普通搜索:

normal_results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="vector",
    limit=4,
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    output_fields=["label", "status"],
)

print_results("普通TopK搜索", normal_results)

普通搜索会按相似度排序返回这四条记录。记录D虽然相似度为0,仍可能因为请求的结果数量为4而被返回。

接下来增加范围条件,排除不满足阈值的记录。

六、只返回相似度大于0.7的结果

执行范围搜索:

high_score_results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="vector",
    limit=4,
    search_params={
        "metric_type": "COSINE",
        "params": {
            "radius": 0.7,
            "range_filter": 1.0,
        },
    },
    output_fields=["label", "status"],
)

print_results(
"相似度大于0.7且不超过1.0",
high_score_results,
)

按照测试向量,符合条件的是记录A和记录B。

虽然 limit=4,满足范围条件的记录只有两条,所以不会为了补足数量而返回记录C和记录D。

查找中间相似度区间

把范围改为:

0.5 < 相似度 <= 0.9

对应代码:

middle_score_results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="vector",
    limit=4,
    search_params={
        "metric_type": "COSINE",
        "params": {
            "radius": 0.5,
            "range_filter": 0.9,
        },
    },
    output_fields=["label", "status"],
)

print_results(
"相似度大于0.5且不超过0.9",
middle_score_results,
)

本次应保留记录B和记录C,排除相似度为1.0的记录A。

通过设置上限,可以把最接近的结果排除,专门查看中间区间的数据。

七、同时限制相似度与发布状态

范围搜索也可以结合业务字段过滤。

例如,只查看已发布且相似度大于0.7的记录:

published_results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="vector",
    filter='status == "published"',
    limit=4,
    search_params={
        "metric_type": "COSINE",
        "params": {
            "radius": 0.7,
            "range_filter": 1.0,
        },
    },
    output_fields=["label", "status"],
)

print_results(
"已发布且相似度大于0.7",
published_results,
)

client.close()

记录B虽然分数满足要求,但状态为 draft,因此本次只保留记录A。

运行完整脚本:

python milvus_range_search_demo.py

依次对比四组输出:

  1. 普通TopK返回四条记录。
  2. 高分范围保留A、B。
  3. 中间范围保留B、C。
  4. 加上发布状态后只保留A。

八、实际业务如何确定阈值

示例中的0.7用于演示参数,实际项目应根据检索样本确定。

可以按下面的方式整理测试数据:

  1. 收集一组真实查询。
  2. 标记哪些文档相关、哪些不相关。
  3. 先查看不加范围限制时的分数分布。
  4. 分别测试几个阈值。
  5. 比较无关结果减少了多少,以及相关结果遗漏了多少。

更换Embedding模型或文档切分方式后,应重新检查分数分布,不能直接沿用旧阈值。

如果普通搜索已经遗漏目标文档,范围过滤不会把它补回来。应先解决模型、索引和搜索参数的问题,再调整阈值。

九、常见问题

1、为什么设置范围后没有结果?

先取消范围限制,查看原始分数。若所有结果都低于下限,空结果符合当前条件。

同时检查度量类型和边界方向。COSINE的分数越大越相似,L2则相反。

2、相似度正好等于radius,会返回吗?

本教程使用COSINE,条件为:

radius < 相似度 <= range_filter

因此,下限不包含,范围上限包含。处理边界值时,还应考虑浮点数表示带来的细微差异。

3、范围搜索会返回区间内的全部数据吗?

仍受 limit 限制。即使区间内有100条记录,limit=10 也只返回其中排名靠前的最多10条。

4、返回字段叫distance,为什么越大越相似?

返回字段名称统一使用 distance,具体含义由度量类型决定。本例采用COSINE,应按余弦相似度解释,不能仅凭字段名判断排序方向。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。