数字化技能提升教程,数字化时代生存宝典

Milvus JSON字段查询

浏览:46
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

知识库文档除了正文和向量,还需要保存分类、语言、页数、标签等信息。不同文档的属性不完全相同时,可以使用Milvus的JSON字段集中保存这些数据,再通过JSON路径设置过滤条件。本教程从创建集合开始,演示嵌套属性查询、标签筛选和路径索引配置。

一、规划JSON字段结构

本例将文档属性放进 metadata 字段:

{
  "category": "tutorial",
  "pages": 12,
  "tags": ["Milvus", "Python"],
  "details": {
    "language": "zh",
    "level": "beginner"
  }
}

各字段的用途如下:

  • category:文档分类。
  • pages:页数,使用数字。
  • tags:标签数组。
  • details.language:文档语言。
  • details.level:内容难度。

后续可以组合条件,例如:

查找分类为教程、页数不超过20页、语言为中文的文档,再进行向量搜索。

建议为相同属性统一数据类型。页数使用数字 12,不要在另一条记录中写成字符串 "12"。

二、准备环境并创建集合

本教程使用Milvus 2.6.x服务和PyMilvus 2.6.x。

安装SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序放进同一个文件:

milvus_json_demo.py

建立连接并定义字段:

import os
from uuid import uuid4

from pymilvus import DataType, MilvusClient

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"json_demo_{uuid4().hex[:12]}"

schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)

schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)

schema.add_field(
field_name="title",
datatype=DataType.VARCHAR,
max_length=300,
)

schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

schema.add_field(
field_name="metadata",
datatype=DataType.JSON,
)

这里显式创建 metadata,并关闭动态字段。写入的数据必须遵循已定义的集合结构,额外属性统一放进JSON字段。

远程部署时设置 MILVUS_URI,服务启用认证时设置 MILVUS_TOKEN。

三、为常用JSON路径建立索引

先配置向量索引:

index_params = client.prepare_index_params()

index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)

再为分类、页数和语言分别创建JSON路径索引:

json_indexes = [
    (
        "metadata_category_index",
        'metadata["category"]',
        "varchar",
    ),
    (
        "metadata_pages_index",
        'metadata["pages"]',
        "double",
    ),
    (
        "metadata_language_index",
        'metadata["details"]["language"]',
        "varchar",
    ),
]

for index_name, json_path, cast_type in json_indexes:
index_params.add_index(
field_name="metadata",
index_name=index_name,
index_type="INVERTED",
params={
"json_path": json_path,
"json_cast_type": cast_type,
},
)

三个配置项需要对应:

  • field_name:集合中的JSON字段名称。
  • json_path:需要索引的具体属性。
  • json_cast_type:按什么类型解释该属性。

本例中的页数是数值,所以使用 double。分类和语言是字符串,所以使用 varchar。

创建集合:

client.create_collection(
    collection_name=collection_name,
    schema=schema,
    index_params=index_params,
    consistency_level="Strong",
)

print("测试集合:", collection_name)

路径索引覆盖指定属性,不会自动覆盖 metadata 中的所有键。没有建立索引的属性仍可用于过滤,但执行时可能需要扫描更多数据。

四、插入四条测试文档

继续添加:

documents = [
    {
        "id": 1,
        "title": "中文入门教程",
        "vector": [1.0, 0.0, 0.0, 0.0],
        "metadata": {
            "category": "tutorial",
            "pages": 12,
            "tags": ["Milvus", "Python"],
            "details": {
                "language": "zh",
                "level": "beginner",
            },
        },
    },
    {
        "id": 2,
        "title": "中文索引教程",
        "vector": [0.8, 0.6, 0.0, 0.0],
        "metadata": {
            "category": "tutorial",
            "pages": 30,
            "tags": ["Milvus", "索引"],
            "details": {
                "language": "zh",
                "level": "advanced",
            },
        },
    },
    {
        "id": 3,
        "title": "英文数据库新闻",
        "vector": [0.0, 1.0, 0.0, 0.0],
        "metadata": {
            "category": "news",
            "pages": 3,
            "tags": ["数据库"],
            "details": {
                "language": "en",
                "level": "brief",
            },
        },
    },
    {
        "id": 4,
        "title": "英文入门教程",
        "vector": [0.6, 0.8, 0.0, 0.0],
        "metadata": {
            "category": "tutorial",
            "pages": 18,
            "tags": ["Milvus", "Python"],
            "details": {
                "language": "en",
                "level": "beginner",
            },
        },
    },
]

client.insert(
collection_name=collection_name,
data=documents,
)

client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)

四维人工向量用于演示过滤与搜索流程。实际知识库需要由Embedding模型生成文档和查询向量。

五、查询普通属性和嵌套属性

1、按分类和页数查询

basic_filter = (
    'metadata["category"] == "tutorial" '
    'and metadata["pages"] <= 20'
)

rows = client.query(
collection_name=collection_name,
filter=basic_filter,
output_fields=["id", "title", "metadata"],
limit=10,
)

print("\n分类和页数筛选:")

for row in rows:
print(row["id"], row["title"])

符合条件的是:

1 中文入门教程
4 英文入门教程

这两条记录都属于教程,并且页数不超过20页。查询结果的行顺序不用于判断是否匹配,应检查主键集合。

2、增加嵌套语言条件

nested_filter = (
    basic_filter
    + ' and metadata["details"]["language"] == "zh"'
)

rows = client.query(
collection_name=collection_name,
filter=nested_filter,
output_fields=["id", "title", "metadata"],
limit=10,
)

print("\n增加中文条件:")

for row in rows:
print(row["id"], row["title"])

增加语言条件后,只保留主键1。

JSON路径使用方括号逐层访问:

metadata["details"]["language"]

不要把嵌套对象写成一个带点号的键,例如 metadata["details.language"],两者表达的结构不同。

六、按标签数组筛选

查找同时包含Milvus和Python标签的记录:

tag_rows = client.query(
    collection_name=collection_name,
    filter=(
        'json_contains_all('
        'metadata["tags"], ["Milvus", "Python"])'
    ),
    output_fields=["id", "title"],
    limit=10,
)

print("\n同时具有两个标签:")

for row in tag_rows:
print(row["id"], row["title"])

本例匹配主键1和4。

三个常用运算符的区别是:

  • json_contains:包含指定元素。
  • json_contains_all:包含给定列表中的全部元素。
  • json_contains_any:包含给定列表中的至少一个元素。

例如,寻找带有“索引”或“数据库”标签的文档:

json_contains_any(metadata["tags"], ["索引", "数据库"])

在本例中,这个条件对应主键2和3。

七、把JSON条件用于向量搜索

直接复用前面的 nested_filter:

results = client.search(
    collection_name=collection_name,
    data=[[1.0, 0.0, 0.0, 0.0]],
    anns_field="vector",
    filter=nested_filter,
    limit=5,
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    output_fields=["title", "metadata"],
)

print("\n过滤后的向量搜索:")

for hit in results[0]:
print(
hit["id"],
hit["entity"]["title"],
hit["distance"],
)

client.close()

运行:

python milvus_json_demo.py

这个请求只会在满足分类、页数和语言要求的记录中搜索。由于本例只有主键1符合条件,limit=5 不会让其他记录补进结果。

八、常见问题

1、为什么有记录却筛选不到?

先按主键查询完整的 metadata,核对键名、层级、大小写和数据类型。

数值 12 与字符串 "12" 不是同一种数据。为数值路径建立索引后,混入字符串会导致索引覆盖不完整。

2、建立了索引,为什么没有明显变快?

四条记录主要用于验证条件。评估性能时,应使用接近业务规模的数据,固定过滤条件和返回数量,对比多次查询的耗时。

优先为频繁过滤的路径建索引,不必为每个属性都建立索引。

3、JSON字段与动态字段有什么区别?

本例的 metadata 是显式定义的JSON字段。动态字段则会把未在Schema中声明的属性收集到系统管理的 $meta 中。

需要统一文档属性结构时,可以采用本例方式;需要接受不断变化的额外字段时,再考虑动态字段。

4、调整路径索引前要检查什么?

先检查该路径在现有记录中的实际类型,再决定索引类型。只有字段值、过滤表达式和 json_cast_type 对应,索引才能服务于预期查询。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。