Milvus数组字段使用
知识库中的一篇文档可能同时具有“Milvus”“Python”“入门”等多个标签。需要按标签筛选内容时,可以将这些值保存为 ARRAY 字段,再把数组过滤与向量搜索结合。
本文以文档标签为例,介绍数组字段创建、数据写入、条件查询和带过滤的向量搜索。ARRAY 字段中的元素必须使用同一种数据类型,不能将字符串、数字和对象随意混合。[6]
一、准备环境
准备可访问的 Milvus 2.6.x 服务,以及兼容的 Python 环境,安装同系列 SDK:
python -m pip install "pymilvus>=2.6,<2.7"
下面使用人工构造的四维向量演示接口,不代表真实文本语义。用于实际知识库时,需要换成同一 Embedding 模型生成的文档向量和查询向量,并修改字段维度。
将后续 Python 代码按顺序保存到 milvus_array_demo.py。脚本会创建名称随机的新测试集合,不会覆盖已有集合。
二、创建包含数组字段的集合
tags 字段有三个需要区分的参数:
| 参数 | 本例设置 | 含义 |
|---|---|---|
element_type |
VARCHAR |
数组中的每个元素都是字符串 |
max_capacity |
10 |
一条记录最多保存10个标签 |
max_length |
100 |
每个字符串元素的最大字节长度,不是标签数量 |
中文字符通常占多个 UTF-8 字节,不能把 max_length=100 理解为允许100个汉字。
本例只给向量创建 FLAT 索引,适合小样本演示。数组字段没有建立标量索引,也可以用于过滤;数据量较大时,再结合查询需求评估索引。[6]
连接远程服务时设置 MILVUS_URI;服务启用认证时,通过 MILVUS_TOKEN 提供凭据,不要将真实密钥写进公开脚本。
三、写入文档和标签
继续添加:
data = [
{
"id": 1,
"title": "Milvus Python入门",
"tags": ["Milvus", "Python", "入门"],
"vector": [1.0, 0.0, 0.0, 0.0],
},
{
"id": 2,
"title": "Milvus部署指南",
"tags": ["Milvus", "Docker"],
"vector": [0.8, 0.6, 0.0, 0.0],
},
{
"id": 3,
"title": "Python数据处理",
"tags": ["Python", "数据处理"],
"vector": [0.6, 0.8, 0.0, 0.0],
},
{
"id": 4,
"title": "待分类文档",
"tags": [],
"vector": [0.0, 0.0, 1.0, 0.0],
},
]
client.insert(
collection_name=collection_name,
data=data,
)
第四条记录使用空数组,表示已经提供标签字段,但当前没有标签。
本例没有将 tags 设为可空,因此不要省略字段或传入 None。空数组与 NULL 是不同的数据状态。
四、按标签查询文档
Milvus 提供包含单值、包含全部值、包含任意值和数组长度等操作符。[7]
conditions = {
"包含Milvus标签":
'ARRAY_CONTAINS(tags, "Milvus")',
"同时包含两个标签":
'ARRAY_CONTAINS_ALL(tags, ["Milvus", "Python"])',
"包含任意一个标签":
'ARRAY_CONTAINS_ANY(tags, ["Docker", "数据处理"])',
"没有标签":
"ARRAY_LENGTH(tags) == 0",
}
for label, expression in conditions.items():
rows = client.query(
collection_name=collection_name,
filter=expression,
output_fields=["id", "title", "tags"],
limit=100,
)
print(label, sorted(row["id"] for row in rows))
按照上面的样本,预期匹配关系如下:
| 条件 | 预期命中ID |
|---|---|
| 包含 Milvus | 1、2 |
| 同时包含 Milvus 和 Python | 1 |
| 包含 Docker 或数据处理 | 2、3 |
| 标签数量为0 | 4 |
代码对主键排序仅用于方便查看,不代表 query() 默认按照主键返回数据。
标签匹配按照实际存储值进行,不会自动理解同义词。写入前应统一大小写和命名,避免将 Milvus、milvus 当作完全相同的标签。
五、将标签过滤与向量搜索结合
只希望在 Milvus 相关文档中搜索时,将数组条件传给 search():
results = client.search(
collection_name=collection_name,
data=[[1.0, 0.0, 0.0, 0.0]],
anns_field="vector",
filter='ARRAY_CONTAINS(tags, "Milvus")',
search_params={
"metric_type": "COSINE",
"params": {},
},
limit=3,
output_fields=["title", "tags"],
)
for hit in results[0]:
print(
hit["id"],
hit["entity"]["title"],
hit["distance"],
)
按样本设计,只有ID为1和2的记录满足过滤条件。即使 limit=3,也不会用不符合标签条件的文档补足结果。
这里返回的 distance 在 COSINE 度量下表示相似度分值,数值越大越相似。示例向量只用于展示调用过程,不能据此评价真实文档的语义相关性。
实际业务中,可以继续组合分类、状态和语言等条件。ARRAY 适合保存类型固定的标签列表;属性层级较复杂、字段组合经常变化时,可以考虑 JSON。
六、运行与清理
执行脚本:
python milvus_array_demo.py
每次运行都会创建新的测试集合。验证完成后,如不再需要本次数据,可在脚本末尾添加:
# 仅删除本脚本创建的随机测试集合。
# 确认后再取消下一行注释。
# client.drop_collection(collection_name=collection_name)
client.close()
测试集合名称会在启动时打印,方便后续单独管理。不要将删除语句中的集合名替换为业务集合后直接执行。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。