Milvus分区键使用
多个客户共用一套知识库服务时,可以将数据放进同一个 Milvus 集合,并用 tenant_id 标记归属。把这个字段设为分区键后,Milvus 会根据字段值分配数据;搜索时带上租户条件,既能限定返回内容,也能缩小需要搜索的分区范围。
一、分区键如何组织数据
分区键的处理流程是:
写入一条数据
↓
读取tenant_id
↓
根据字段值计算目标分区
↓
将数据写入对应分区
搜索时:
指定tenant_id过滤条件
↓
定位相关分区
↓
在满足过滤条件的数据中执行向量搜索
同一个租户的数据会按相同规则分配,但不同租户可能落入同一个物理分区。因此,查询仍要携带租户过滤条件,不能把物理分区当成租户身份校验。
本教程创建两个租户,各写入两条记录,分别观察全集合搜索和按租户搜索的结果。
二、准备环境
使用 Milvus 2.6.x 服务和 PyMilvus 2.6.x。分区键实验连接服务端实例,不使用本地 Milvus Lite 文件。
安装 SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序保存为:
milvus_partition_key_demo.py
建立连接:
import os
from uuid import uuid4
from pymilvus import DataType, MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"tenant_demo_{uuid4().hex[:12]}"
print("测试集合:", collection_name)
三、将tenant_id设置为分区键
定义字段:
schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)
schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="tenant_id",
datatype=DataType.VARCHAR,
max_length=64,
is_partition_key=True,
)
schema.add_field(
field_name="content",
datatype=DataType.VARCHAR,
max_length=1000,
)
schema.add_field(
field_name="vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
关键设置是:
is_partition_key=True
它将 tenant_id 指定为分区键。写入时必须提供有效的租户值,不能留空或写成 null。
接着设置向量索引并创建集合:
index_params = client.prepare_index_params()
index_params.add_index(
field_name="vector",
index_type="FLAT",
metric_type="COSINE",
)
client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
num_partitions=16,
consistency_level="Strong",
)
client.load_collection(collection_name=collection_name)
print(
"分区列表:",
client.list_partitions(collection_name=collection_name),
)
本例明确创建16个分区。分区数量与租户数量不需要一一对应,新增租户时也不需要手动创建同名分区。
四、写入两个租户的数据
继续添加:
rows = [
{
"id": 1,
"tenant_id": "tenant_a",
"content": "租户A:网站部署说明",
"vector": [1.0, 0.0, 0.0, 0.0],
},
{
"id": 2,
"tenant_id": "tenant_a",
"content": "租户A:网站维护说明",
"vector": [0.8, 0.2, 0.0, 0.0],
},
{
"id": 3,
"tenant_id": "tenant_b",
"content": "租户B:应用部署说明",
"vector": [0.99, 0.01, 0.0, 0.0],
},
{
"id": 4,
"tenant_id": "tenant_b",
"content": "租户B:应用维护说明",
"vector": [0.7, 0.3, 0.0, 0.0],
},
]
write_result = client.insert(
collection_name=collection_name,
data=rows,
)
print("插入数量:", write_result["insert_count"])
四条记录使用不同主键。租户 A 和租户 B 的部分向量非常接近,方便观察没有租户条件时会出现什么结果。
五、对比全集合搜索与租户搜索
1、先执行不带租户条件的搜索
query_vector = [1.0, 0.0, 0.0, 0.0]
all_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["tenant_id", "content"],
)
print("\n不带租户条件:")
for hit in all_results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)
本例要求返回四条结果,集合中也恰好有四条数据,因此可以看到两个租户的记录。
这说明设置分区键后,Milvus 不会自行推断“当前用户属于哪个租户”。应用必须在查询中传入对应条件。
2、只搜索租户A
tenant_results = client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
filter='tenant_id == "tenant_a"',
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["tenant_id", "content"],
)
print("\n只搜索租户A:")
for hit in tenant_results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)
本次结果应只包含主键1和2对应的租户 A 数据。虽然 limit=4,但满足条件的记录只有两条。
此处的作用有两层:
tenant_id条件限制哪些记录可以返回。- 分区键帮助 Milvus 定位与该值相关的分区。
六、使用过滤模板封装租户查询
应用中每次手写过滤表达式容易遗漏条件,可以封装统一的搜索函数,并通过 filter_params 传入租户值:
def search_for_tenant(tenant_id, query_vector):
if not isinstance(tenant_id, str) or not tenant_id.strip():
raise ValueError("tenant_id不能为空")
return client.search(
collection_name=collection_name,
data=[query_vector],
anns_field="vector",
filter="tenant_id == {tenant}",
filter_params={
"tenant": tenant_id,
},
limit=4,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["tenant_id", "content"],
)
查询租户 B:
results = search_for_tenant(
tenant_id="tenant_b",
query_vector=query_vector,
)
print("\n通过统一函数搜索租户B:")
for hit in results[0]:
print(
hit["id"],
hit["entity"]["tenant_id"],
hit["entity"]["content"],
)
client.close()
运行完整脚本:
python milvus_partition_key_demo.py
正式应用中,传入函数的 tenant_id 应来自服务端已经确认的登录身份或授权关系。不能直接相信客户端随意提交的租户编号。
写入数据时也采用同一规则,确保记录归属与当前身份一致。
七、分区键与手动分区如何选择
手动分区由应用创建和管理,再决定每条数据写入哪个分区。适合分区数量有限、需要明确管理分区生命周期的场景。
分区键由 Milvus 根据字段值自动分配数据,应用主要维护字段和过滤条件。适合租户较多、各租户使用相同 Schema 的场景。
选择分区键后,不需要让应用维护“租户对应哪个物理分区”的映射表。
如果不同租户需要不同字段结构、独立集合权限或独立加载策略,可以进一步评估按 Collection 或 Database 拆分。
八、常见问题
1、一个租户是否一定独占一个分区?
不会。分区键通过哈希规则分配数据,不同值可能进入同一个物理分区。租户过滤条件仍然必须保留。
2、增加分区数量是否一定更快?
应结合数据规模、租户分布和查询负载测试。分区更多会改变数据分布,也增加管理和执行方面的开销。可以先明确设置一个数量,再使用相同数据和请求比较延迟与资源占用。
3、能否一次搜索多个租户?
普通分区键可以使用包含多个值的过滤条件,例如:
filter='tenant_id in ["tenant_a", "tenant_b"]'
应用应先核对调用者是否拥有这些租户的访问权限。
4、Partition Key Isolation和普通分区键有什么区别?
普通分区键主要帮助定位相关分区;Partition Key Isolation 会进一步按分区键值组织独立索引。
在本教程对应的版本中,后者要求使用 HNSW,并在搜索条件中指定单个分区键值。本例采用 FLAT 和普通分区键,没有启用该功能。
5、按租户查询返回空结果,先检查什么?
先用 Strong 一致性按主键查询,核对记录中实际存储的 tenant_id,再检查字符串大小写、集合名称和查询条件。
如果查到了其他租户的数据,应立即检查请求中是否缺少租户条件,以及封装函数是否被绕过。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。