数字化技能提升教程,数字化时代生存宝典

Milvus空值与默认值配置

浏览:52
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

导入文档或商品数据时,一些属性可能暂时未知,另一些字段则希望自动补上初始状态。Milvus 可以通过 nullable 允许字段为空,通过 default_value 设置默认值。

本文使用可空的年龄字段,以及带默认值的状态、优先级字段,演示缺失值写入、空值查询和向量搜索过滤。示例针对 Milvus 2.6.x 的普通标量字段,不将规则扩展到所有字段类型。[8]

一、区分空值与默认值

nullable=True 表示字段允许没有值。例如年龄未知时,保存 NULL 比随意填写0更准确。

default_value="draft" 表示插入时省略字段,或显式传入 None,会使用默认值 draft。[9]

是否可空 是否设置非空默认值 省略字段或传入None的结果
是 否 保存为NULL
是 是 使用默认值
否 是 使用默认值
否 否 写入报错

空字符串 ""、数字 0 和空数组 [] 都不是 NULL,不能仅凭“看起来没有内容”就按空值处理。

二、准备环境并创建集合

准备可访问的 Milvus 2.6.x 服务,安装 SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续 Python 代码依次保存到 milvus_nullable_demo.py。本例使用人工四维向量,仅演示字段规则和接口流程。

三个字段分别展示不同规则:

  • age 允许为空,但没有默认值。
  • status 不允许为空,但有默认值。
  • priority 同时允许为空并设置非空默认值。

远程服务地址和认证凭据分别通过 MILVUS_URI、MILVUS_TOKEN 配置。脚本使用随机集合名,避免覆盖已有数据。

三、插入不同形式的数据

data = [
    {
        "id": 1,
        "vector": [1.0, 0.0, 0.0, 0.0],
        "age": 30,
        "status": "published",
        "priority": 2,
    },
    {
        "id": 2,
        "vector": [0.8, 0.6, 0.0, 0.0],
        "age": None,
    },
    {
        "id": 3,
        "vector": [0.6, 0.8, 0.0, 0.0],
        "status": None,
        "priority": None,
    },
    {
        "id": 4,
        "vector": [0.0, 0.0, 1.0, 0.0],
        "age": 0,
        "status": "",
        "priority": 5,
    },
]

client.insert(
collection_name=collection_name,
data=data,
)

rows = client.query(
collection_name=collection_name,
filter="id in [1, 2, 3, 4]",
output_fields=["id", "age", "status", "priority"],
limit=10,
)

for row in sorted(rows, key=lambda item: item["id"]):
print(row)

按官方规则,预期保存结果如下:[9]

ID age status priority
1 30 published 2
2 NULL draft 0
3 NULL draft 0
4 0 空字符串 5

第三条记录即使显式传入 None,status 和 priority 仍会使用各自的非空默认值。

因此,一个字段同时设置 nullable=True 和非空默认值时,不能期待通过传入 None 保存 NULL。

第四条记录说明,明确传入的0和空字符串不会自动替换成默认值。如果业务禁止空字符串,需要在应用层增加校验。

四、查询空值和默认值

查询空值应使用 IS NULL,不要写成 age == None 或 age == "null"。

conditions = {
    "年龄未知": "age IS NULL",
    "年龄已填写": "age IS NOT NULL",
    "年龄大于等于0": "age >= 0",
    "默认草稿状态": 'status == "draft"',
    "默认优先级": "priority == 0",
    "状态为空字符串": 'status == ""',
}

for label, expression in conditions.items():
rows = client.query(
collection_name=collection_name,
filter=expression,
output_fields=["id", "age", "status", "priority"],
limit=100,
)
print(label, sorted(row["id"] for row in rows))

 

预期匹配关系:

查询条件 预期命中ID
age IS NULL 2、3
age IS NOT NULL 1、4
age >= 0 1、4
status == "draft" 2、3
priority == 0 2、3
status == "" 4

普通数值比较不会把 NULL 当作0,因此 age >= 0 不会返回年龄未知的记录。[8]

五、搜索时使用默认状态过滤

默认值写入后,可以像普通值一样参与过滤。例如,只在草稿记录中执行向量搜索:

results = client.search(
    collection_name=collection_name,
    data=[[1.0, 0.0, 0.0, 0.0]],
    anns_field="vector",
    filter='status == "draft"',
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    limit=10,
    output_fields=["age", "status", "priority"],
)

for hit in results[0]:
print(hit["id"], hit["entity"])

 

按样本设计,只有ID为2和3的记录满足条件。它们的 age 为空,不妨碍使用有效的 vector 字段进行搜索。

将各段代码按顺序保存后运行:

python milvus_nullable_demo.py

六、字段设计注意事项

默认值适合表示业务上明确的初始状态,不应掩盖数据缺失。例如,“尚未填写年龄”不应自动转换成“年龄为0”。

主键和向量字段不能设置默认值,JSON、ARRAY 字段也不支持默认值。本教程只对普通标量字段配置可空属性;其他类型及版本的支持情况,应核对对应服务端和 SDK 文档。[9]

依据本教程对应文档,默认值及可空规则需在建字段时确定,不应假设可以随时修改。已有集合需要调整时,先确认版本支持,再安排迁移和验证。[8]

测试完成后,可按需要删除本次随机创建的集合:

# 确认无需保留测试数据后,取消下一行注释。
# client.drop_collection(collection_name=collection_name)

client.close()

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。