数字化技能提升教程,数字化时代生存宝典

Milvus数组字段使用

浏览:44
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

知识库中的一篇文档可能同时具有“Milvus”“Python”“入门”等多个标签。需要按标签筛选内容时,可以将这些值保存为 ARRAY 字段,再把数组过滤与向量搜索结合。

本文以文档标签为例,介绍数组字段创建、数据写入、条件查询和带过滤的向量搜索。ARRAY 字段中的元素必须使用同一种数据类型,不能将字符串、数字和对象随意混合。[6]

一、准备环境

准备可访问的 Milvus 2.6.x 服务,以及兼容的 Python 环境,安装同系列 SDK:

python -m pip install "pymilvus>=2.6,<2.7"

下面使用人工构造的四维向量演示接口,不代表真实文本语义。用于实际知识库时,需要换成同一 Embedding 模型生成的文档向量和查询向量,并修改字段维度。

将后续 Python 代码按顺序保存到 milvus_array_demo.py。脚本会创建名称随机的新测试集合,不会覆盖已有集合。

二、创建包含数组字段的集合

tags 字段有三个需要区分的参数:

参数 本例设置 含义
element_type VARCHAR 数组中的每个元素都是字符串
max_capacity 10 一条记录最多保存10个标签
max_length 100 每个字符串元素的最大字节长度,不是标签数量

中文字符通常占多个 UTF-8 字节,不能把 max_length=100 理解为允许100个汉字。

本例只给向量创建 FLAT 索引,适合小样本演示。数组字段没有建立标量索引,也可以用于过滤;数据量较大时,再结合查询需求评估索引。[6]

连接远程服务时设置 MILVUS_URI;服务启用认证时,通过 MILVUS_TOKEN 提供凭据,不要将真实密钥写进公开脚本。

三、写入文档和标签

继续添加:

data = [
    {
        "id": 1,
        "title": "Milvus Python入门",
        "tags": ["Milvus", "Python", "入门"],
        "vector": [1.0, 0.0, 0.0, 0.0],
    },
    {
        "id": 2,
        "title": "Milvus部署指南",
        "tags": ["Milvus", "Docker"],
        "vector": [0.8, 0.6, 0.0, 0.0],
    },
    {
        "id": 3,
        "title": "Python数据处理",
        "tags": ["Python", "数据处理"],
        "vector": [0.6, 0.8, 0.0, 0.0],
    },
    {
        "id": 4,
        "title": "待分类文档",
        "tags": [],
        "vector": [0.0, 0.0, 1.0, 0.0],
    },
]

client.insert(
collection_name=collection_name,
data=data,
)

 

第四条记录使用空数组,表示已经提供标签字段,但当前没有标签。

本例没有将 tags 设为可空,因此不要省略字段或传入 None。空数组与 NULL 是不同的数据状态。

四、按标签查询文档

Milvus 提供包含单值、包含全部值、包含任意值和数组长度等操作符。[7]

conditions = {
    "包含Milvus标签":
        'ARRAY_CONTAINS(tags, "Milvus")',

"同时包含两个标签":
'ARRAY_CONTAINS_ALL(tags, ["Milvus", "Python"])',

"包含任意一个标签":
'ARRAY_CONTAINS_ANY(tags, ["Docker", "数据处理"])',

"没有标签":
"ARRAY_LENGTH(tags) == 0",
}

for label, expression in conditions.items():
rows = client.query(
collection_name=collection_name,
filter=expression,
output_fields=["id", "title", "tags"],
limit=100,
)
print(label, sorted(row["id"] for row in rows))

 

按照上面的样本,预期匹配关系如下:

条件 预期命中ID
包含 Milvus 1、2
同时包含 Milvus 和 Python 1
包含 Docker 或数据处理 2、3
标签数量为0 4

代码对主键排序仅用于方便查看,不代表 query() 默认按照主键返回数据。

标签匹配按照实际存储值进行,不会自动理解同义词。写入前应统一大小写和命名,避免将 Milvus、milvus 当作完全相同的标签。

五、将标签过滤与向量搜索结合

只希望在 Milvus 相关文档中搜索时,将数组条件传给 search():

results = client.search(
    collection_name=collection_name,
    data=[[1.0, 0.0, 0.0, 0.0]],
    anns_field="vector",
    filter='ARRAY_CONTAINS(tags, "Milvus")',
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    limit=3,
    output_fields=["title", "tags"],
)

for hit in results[0]:
print(
hit["id"],
hit["entity"]["title"],
hit["distance"],
)

 

按样本设计,只有ID为1和2的记录满足过滤条件。即使 limit=3,也不会用不符合标签条件的文档补足结果。

这里返回的 distance 在 COSINE 度量下表示相似度分值,数值越大越相似。示例向量只用于展示调用过程,不能据此评价真实文档的语义相关性。

实际业务中,可以继续组合分类、状态和语言等条件。ARRAY 适合保存类型固定的标签列表;属性层级较复杂、字段组合经常变化时,可以考虑 JSON。

六、运行与清理

执行脚本:

python milvus_array_demo.py

每次运行都会创建新的测试集合。验证完成后,如不再需要本次数据,可在脚本末尾添加:

# 仅删除本脚本创建的随机测试集合。
# 确认后再取消下一行注释。
# client.drop_collection(collection_name=collection_name)

client.close()

测试集合名称会在启动时打印,方便后续单独管理。不要将删除语句中的集合名替换为业务集合后直接执行。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。