数字化技能提升教程,数字化时代生存宝典

Milvus分区键使用

浏览:45
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

多个客户共用一套知识库服务时,可以将数据放进同一个 Milvus 集合,并用 tenant_id 标记归属。把这个字段设为分区键后,Milvus 会根据字段值分配数据;搜索时带上租户条件,既能限定返回内容,也能缩小需要搜索的分区范围。

一、分区键如何组织数据

分区键的处理流程是:

写入一条数据
    ↓
读取tenant_id
    ↓
根据字段值计算目标分区
    ↓
将数据写入对应分区

搜索时:

指定tenant_id过滤条件
    ↓
定位相关分区
    ↓
在满足过滤条件的数据中执行向量搜索

同一个租户的数据会按相同规则分配,但不同租户可能落入同一个物理分区。因此,查询仍要携带租户过滤条件,不能把物理分区当成租户身份校验。

本教程创建两个租户,各写入两条记录,分别观察全集合搜索和按租户搜索的结果。

二、准备环境

使用 Milvus 2.6.x 服务和 PyMilvus 2.6.x。分区键实验连接服务端实例,不使用本地 Milvus Lite 文件。

安装 SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序保存为:

milvus_partition_key_demo.py

建立连接:

import os
from uuid import uuid4

from pymilvus import DataType, MilvusClient

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"tenant_demo_{uuid4().hex[:12]}"

print("测试集合:", collection_name)

三、将tenant_id设置为分区键

定义字段:

schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=False,
)

schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)

schema.add_field(
field_name="tenant_id",
datatype=DataType.VARCHAR,
max_length=64,
is_partition_key=True,
)

schema.add_field(
field_name="content",
datatype=DataType.VARCHAR,
max_length=1000,
)

schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

关键设置是:

is_partition_key=True

它将 tenant_id 指定为分区键。写入时必须提供有效的租户值,不能留空或写成 null。

接着设置向量索引并创建集合:

index_params = client.prepare_index_params()

index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)

client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
num_partitions=16,
consistency_level="Strong",
)

client.load_collection(collection_name=collection_name)

print(
"分区列表:",
client.list_partitions(collection_name=collection_name),
)

本例明确创建16个分区。分区数量与租户数量不需要一一对应,新增租户时也不需要手动创建同名分区。

四、写入两个租户的数据

继续添加:

rows = [
    {
        "id": 1,
        "tenant_id": "tenant_a",
        "content": "租户A:网站部署说明",
        "vector": [1.0, 0.0, 0.0, 0.0],
    },
    {
        "id": 2,
        "tenant_id": "tenant_a",
        "content": "租户A:网站维护说明",
        "vector": [0.8, 0.2, 0.0, 0.0],
    },
    {
        "id": 3,
        "tenant_id": "tenant_b",
        "content": "租户B:应用部署说明",
        "vector": [0.99, 0.01, 0.0, 0.0],
    },
    {
        "id": 4,
        "tenant_id": "tenant_b",
        "content": "租户B:应用维护说明",
        "vector": [0.7, 0.3, 0.0, 0.0],
    },
]

write_result = client.insert(
collection_name=collection_name,
data=rows,
)

print("插入数量:", write_result["insert_count"])

四条记录使用不同主键。租户 A 和租户 B 的部分向量非常接近,方便观察没有租户条件时会出现什么结果。

五、对比全集合搜索与租户搜索

1、先执行不带租户条件的搜索

query_vector = [1.0, 0.0, 0.0, 0.0]

all_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["tenant_id", "content"],
)

print("\n不带租户条件:")

for hit in all_results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)

本例要求返回四条结果,集合中也恰好有四条数据,因此可以看到两个租户的记录。

这说明设置分区键后,Milvus 不会自行推断“当前用户属于哪个租户”。应用必须在查询中传入对应条件。

2、只搜索租户A

tenant_results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="vector",
    filter='tenant_id == "tenant_a"',
    limit=4,
    search_params={
        "metric_type": "COSINE",
        "params": {},
    },
    output_fields=["tenant_id", "content"],
)

print("\n只搜索租户A:")

for hit in tenant_results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)

本次结果应只包含主键1和2对应的租户 A 数据。虽然 limit=4,但满足条件的记录只有两条。

此处的作用有两层:

  • tenant_id 条件限制哪些记录可以返回。
  • 分区键帮助 Milvus 定位与该值相关的分区。

六、使用过滤模板封装租户查询

应用中每次手写过滤表达式容易遗漏条件,可以封装统一的搜索函数,并通过 filter_params 传入租户值:

def search_for_tenant(tenant_id, query_vector):
    if not isinstance(tenant_id, str) or not tenant_id.strip():
        raise ValueError("tenant_id不能为空")

return client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
filter="tenant_id == {tenant}",
filter_params={
"tenant": tenant_id,
},
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["tenant_id", "content"],
)

查询租户 B:

results = search_for_tenant(
    tenant_id="tenant_b",
    query_vector=query_vector,
)

print("\n通过统一函数搜索租户B:")

for hit in results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)

client.close()

运行完整脚本:

python milvus_partition_key_demo.py

正式应用中,传入函数的 tenant_id 应来自服务端已经确认的登录身份或授权关系。不能直接相信客户端随意提交的租户编号。

写入数据时也采用同一规则,确保记录归属与当前身份一致。

七、分区键与手动分区如何选择

手动分区由应用创建和管理,再决定每条数据写入哪个分区。适合分区数量有限、需要明确管理分区生命周期的场景。

分区键由 Milvus 根据字段值自动分配数据,应用主要维护字段和过滤条件。适合租户较多、各租户使用相同 Schema 的场景。

选择分区键后,不需要让应用维护“租户对应哪个物理分区”的映射表。

如果不同租户需要不同字段结构、独立集合权限或独立加载策略,可以进一步评估按 Collection 或 Database 拆分。

八、常见问题

1、一个租户是否一定独占一个分区?

不会。分区键通过哈希规则分配数据,不同值可能进入同一个物理分区。租户过滤条件仍然必须保留。

2、增加分区数量是否一定更快?

应结合数据规模、租户分布和查询负载测试。分区更多会改变数据分布,也增加管理和执行方面的开销。可以先明确设置一个数量,再使用相同数据和请求比较延迟与资源占用。

3、能否一次搜索多个租户?

普通分区键可以使用包含多个值的过滤条件,例如:

filter='tenant_id in ["tenant_a", "tenant_b"]'

应用应先核对调用者是否拥有这些租户的访问权限。

4、Partition Key Isolation和普通分区键有什么区别?

普通分区键主要帮助定位相关分区;Partition Key Isolation 会进一步按分区键值组织独立索引。

在本教程对应的版本中,后者要求使用 HNSW,并在搜索条件中指定单个分区键值。本例采用 FLAT 和普通分区键,没有启用该功能。

5、按租户查询返回空结果,先检查什么?

先用 Strong 一致性按主键查询,核对记录中实际存储的 tenant_id,再检查字符串大小写、集合名称和查询条件。

如果查到了其他租户的数据,应立即检查请求中是否缺少租户条件,以及封装函数是否被绕过。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。