Milvus JSON字段查询
知识库文档除了正文和向量,还需要保存分类、语言、页数、标签等信息。不同文档的属性不完全相同时,可以使用Milvus的JSON字段集中保存这些数据,再通过JSON路径设置过滤条件。本教程从创建集合开始,演示嵌套属性查询、标签筛选和路径索引配置。
一、规划JSON字段结构
本例将文档属性放进 metadata 字段:
{
"category": "tutorial",
"pages": 12,
"tags": ["Milvus", "Python"],
"details": {
"language": "zh",
"level": "beginner"
}
}
各字段的用途如下:
category:文档分类。pages:页数,使用数字。tags:标签数组。details.language:文档语言。details.level:内容难度。
后续可以组合条件,例如:
查找分类为教程、页数不超过20页、语言为中文的文档,再进行向量搜索。
建议为相同属性统一数据类型。页数使用数字 12,不要在另一条记录中写成字符串 "12"。
二、准备环境并创建集合
本教程使用Milvus 2.6.x服务和PyMilvus 2.6.x。
安装SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序放进同一个文件:
milvus_json_demo.py
建立连接并定义字段:
import os
from uuid import uuid4
from pymilvus import DataType, MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"json_demo_{uuid4().hex[:12]}"
schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)
schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="title",
datatype=DataType.VARCHAR,
max_length=300,
)
schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
schema.add_field(
field_name="metadata",
datatype=DataType.JSON,
)
这里显式创建 metadata,并关闭动态字段。写入的数据必须遵循已定义的集合结构,额外属性统一放进JSON字段。
远程部署时设置 MILVUS_URI,服务启用认证时设置 MILVUS_TOKEN。
三、为常用JSON路径建立索引
先配置向量索引:
index_params = client.prepare_index_params()
index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)
再为分类、页数和语言分别创建JSON路径索引:
json_indexes = [
(
"metadata_category_index",
'metadata["category"]',
"varchar",
),
(
"metadata_pages_index",
'metadata["pages"]',
"double",
),
(
"metadata_language_index",
'metadata["details"]["language"]',
"varchar",
),
]
for index_name, json_path, cast_type in json_indexes:
index_params.add_index(
field_name="metadata",
index_name=index_name,
index_type="INVERTED",
params={
"json_path": json_path,
"json_cast_type": cast_type,
},
)
三个配置项需要对应:
field_name:集合中的JSON字段名称。json_path:需要索引的具体属性。json_cast_type:按什么类型解释该属性。
本例中的页数是数值,所以使用 double。分类和语言是字符串,所以使用 varchar。
创建集合:
client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)
print("测试集合:", collection_name)
路径索引覆盖指定属性,不会自动覆盖 metadata 中的所有键。没有建立索引的属性仍可用于过滤,但执行时可能需要扫描更多数据。
四、插入四条测试文档
继续添加:
documents = [
{
"id": 1,
"title": "中文入门教程",
"vector": [1.0, 0.0, 0.0, 0.0],
"metadata": {
"category": "tutorial",
"pages": 12,
"tags": ["Milvus", "Python"],
"details": {
"language": "zh",
"level": "beginner",
},
},
},
{
"id": 2,
"title": "中文索引教程",
"vector": [0.8, 0.6, 0.0, 0.0],
"metadata": {
"category": "tutorial",
"pages": 30,
"tags": ["Milvus", "索引"],
"details": {
"language": "zh",
"level": "advanced",
},
},
},
{
"id": 3,
"title": "英文数据库新闻",
"vector": [0.0, 1.0, 0.0, 0.0],
"metadata": {
"category": "news",
"pages": 3,
"tags": ["数据库"],
"details": {
"language": "en",
"level": "brief",
},
},
},
{
"id": 4,
"title": "英文入门教程",
"vector": [0.6, 0.8, 0.0, 0.0],
"metadata": {
"category": "tutorial",
"pages": 18,
"tags": ["Milvus", "Python"],
"details": {
"language": "en",
"level": "beginner",
},
},
},
]
client.insert(
collection_name=collection_name,
data=documents,
)
client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)
四维人工向量用于演示过滤与搜索流程。实际知识库需要由Embedding模型生成文档和查询向量。
五、查询普通属性和嵌套属性
1、按分类和页数查询
basic_filter = (
'metadata["category"] == "tutorial" '
'and metadata["pages"] <= 20'
)
rows = client.query(
collection_name=collection_name,
filter=basic_filter,
output_fields=["id", "title", "metadata"],
limit=10,
)
print("\n分类和页数筛选:")
for row in rows:
print(row["id"], row["title"])
符合条件的是:
1 中文入门教程
4 英文入门教程
这两条记录都属于教程,并且页数不超过20页。查询结果的行顺序不用于判断是否匹配,应检查主键集合。
2、增加嵌套语言条件
nested_filter = (
basic_filter
+ ' and metadata["details"]["language"] == "zh"'
)
rows = client.query(
collection_name=collection_name,
filter=nested_filter,
output_fields=["id", "title", "metadata"],
limit=10,
)
print("\n增加中文条件:")
for row in rows:
print(row["id"], row["title"])
增加语言条件后,只保留主键1。
JSON路径使用方括号逐层访问:
metadata["details"]["language"]
不要把嵌套对象写成一个带点号的键,例如 metadata["details.language"],两者表达的结构不同。
六、按标签数组筛选
查找同时包含Milvus和Python标签的记录:
tag_rows = client.query(
collection_name=collection_name,
filter=(
'json_contains_all('
'metadata["tags"], ["Milvus", "Python"])'
),
output_fields=["id", "title"],
limit=10,
)
print("\n同时具有两个标签:")
for row in tag_rows:
print(row["id"], row["title"])
本例匹配主键1和4。
三个常用运算符的区别是:
json_contains:包含指定元素。json_contains_all:包含给定列表中的全部元素。json_contains_any:包含给定列表中的至少一个元素。
例如,寻找带有“索引”或“数据库”标签的文档:
json_contains_any(metadata["tags"], ["索引", "数据库"])
在本例中,这个条件对应主键2和3。
七、把JSON条件用于向量搜索
直接复用前面的 nested_filter:
results = client.search(
collection_name=collection_name,
data=[[1.0, 0.0, 0.0, 0.0]],
anns_field="vector",
filter=nested_filter,
limit=5,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["title", "metadata"],
)
print("\n过滤后的向量搜索:")
for hit in results[0]:
print(
hit["id"],
hit["entity"]["title"],
hit["distance"],
)
client.close()
运行:
python milvus_json_demo.py
这个请求只会在满足分类、页数和语言要求的记录中搜索。由于本例只有主键1符合条件,limit=5 不会让其他记录补进结果。
八、常见问题
1、为什么有记录却筛选不到?
先按主键查询完整的 metadata,核对键名、层级、大小写和数据类型。
数值 12 与字符串 "12" 不是同一种数据。为数值路径建立索引后,混入字符串会导致索引覆盖不完整。
2、建立了索引,为什么没有明显变快?
四条记录主要用于验证条件。评估性能时,应使用接近业务规模的数据,固定过滤条件和返回数量,对比多次查询的耗时。
优先为频繁过滤的路径建索引,不必为每个属性都建立索引。
3、JSON字段与动态字段有什么区别?
本例的 metadata 是显式定义的JSON字段。动态字段则会把未在Schema中声明的属性收集到系统管理的 $meta 中。
需要统一文档属性结构时,可以采用本例方式;需要接受不断变化的额外字段时,再考虑动态字段。
4、调整路径索引前要检查什么?
先检查该路径在现有记录中的实际类型,再决定索引类型。只有字段值、过滤表达式和 json_cast_type 对应,索引才能服务于预期查询。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。