Milvus空值与默认值配置
导入文档或商品数据时,一些属性可能暂时未知,另一些字段则希望自动补上初始状态。Milvus 可以通过 nullable 允许字段为空,通过 default_value 设置默认值。
本文使用可空的年龄字段,以及带默认值的状态、优先级字段,演示缺失值写入、空值查询和向量搜索过滤。示例针对 Milvus 2.6.x 的普通标量字段,不将规则扩展到所有字段类型。[8]
一、区分空值与默认值
nullable=True 表示字段允许没有值。例如年龄未知时,保存 NULL 比随意填写0更准确。
default_value="draft" 表示插入时省略字段,或显式传入 None,会使用默认值 draft。[9]
| 是否可空 | 是否设置非空默认值 | 省略字段或传入None的结果 |
|---|---|---|
| 是 | 否 | 保存为NULL |
| 是 | 是 | 使用默认值 |
| 否 | 是 | 使用默认值 |
| 否 | 否 | 写入报错 |
空字符串 ""、数字 0 和空数组 [] 都不是 NULL,不能仅凭“看起来没有内容”就按空值处理。
二、准备环境并创建集合
准备可访问的 Milvus 2.6.x 服务,安装 SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续 Python 代码依次保存到 milvus_nullable_demo.py。本例使用人工四维向量,仅演示字段规则和接口流程。
三个字段分别展示不同规则:
age允许为空,但没有默认值。status不允许为空,但有默认值。priority同时允许为空并设置非空默认值。
远程服务地址和认证凭据分别通过 MILVUS_URI、MILVUS_TOKEN 配置。脚本使用随机集合名,避免覆盖已有数据。
三、插入不同形式的数据
data = [
{
"id": 1,
"vector": [1.0, 0.0, 0.0, 0.0],
"age": 30,
"status": "published",
"priority": 2,
},
{
"id": 2,
"vector": [0.8, 0.6, 0.0, 0.0],
"age": None,
},
{
"id": 3,
"vector": [0.6, 0.8, 0.0, 0.0],
"status": None,
"priority": None,
},
{
"id": 4,
"vector": [0.0, 0.0, 1.0, 0.0],
"age": 0,
"status": "",
"priority": 5,
},
]
client.insert(
collection_name=collection_name,
data=data,
)
rows = client.query(
collection_name=collection_name,
filter="id in [1, 2, 3, 4]",
output_fields=["id", "age", "status", "priority"],
limit=10,
)
for row in sorted(rows, key=lambda item: item["id"]):
print(row)
按官方规则,预期保存结果如下:[9]
| ID | age | status | priority |
|---|---|---|---|
| 1 | 30 | published | 2 |
| 2 | NULL | draft | 0 |
| 3 | NULL | draft | 0 |
| 4 | 0 | 空字符串 | 5 |
第三条记录即使显式传入 None,status 和 priority 仍会使用各自的非空默认值。
因此,一个字段同时设置 nullable=True 和非空默认值时,不能期待通过传入 None 保存 NULL。
第四条记录说明,明确传入的0和空字符串不会自动替换成默认值。如果业务禁止空字符串,需要在应用层增加校验。
四、查询空值和默认值
查询空值应使用 IS NULL,不要写成 age == None 或 age == "null"。
conditions = {
"年龄未知": "age IS NULL",
"年龄已填写": "age IS NOT NULL",
"年龄大于等于0": "age >= 0",
"默认草稿状态": 'status == "draft"',
"默认优先级": "priority == 0",
"状态为空字符串": 'status == ""',
}
for label, expression in conditions.items():
rows = client.query(
collection_name=collection_name,
filter=expression,
output_fields=["id", "age", "status", "priority"],
limit=100,
)
print(label, sorted(row["id"] for row in rows))
预期匹配关系:
| 查询条件 | 预期命中ID |
|---|---|
age IS NULL |
2、3 |
age IS NOT NULL |
1、4 |
age >= 0 |
1、4 |
status == "draft" |
2、3 |
priority == 0 |
2、3 |
status == "" |
4 |
普通数值比较不会把 NULL 当作0,因此 age >= 0 不会返回年龄未知的记录。[8]
五、搜索时使用默认状态过滤
默认值写入后,可以像普通值一样参与过滤。例如,只在草稿记录中执行向量搜索:
results = client.search(
collection_name=collection_name,
data=[[1.0, 0.0, 0.0, 0.0]],
anns_field="vector",
filter='status == "draft"',
search_params={
"metric_type": "COSINE",
"params": {},
},
limit=10,
output_fields=["age", "status", "priority"],
)
for hit in results[0]:
print(hit["id"], hit["entity"])
按样本设计,只有ID为2和3的记录满足条件。它们的 age 为空,不妨碍使用有效的 vector 字段进行搜索。
将各段代码按顺序保存后运行:
python milvus_nullable_demo.py
六、字段设计注意事项
默认值适合表示业务上明确的初始状态,不应掩盖数据缺失。例如,“尚未填写年龄”不应自动转换成“年龄为0”。
主键和向量字段不能设置默认值,JSON、ARRAY 字段也不支持默认值。本教程只对普通标量字段配置可空属性;其他类型及版本的支持情况,应核对对应服务端和 SDK 文档。[9]
依据本教程对应文档,默认值及可空规则需在建字段时确定,不应假设可以随时修改。已有集合需要调整时,先确认版本支持,再安排迁移和验证。[8]
测试完成后,可按需要删除本次随机创建的集合:
# 确认无需保留测试数据后,取消下一行注释。
# client.drop_collection(collection_name=collection_name)
client.close()
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。