Milvus多数据库管理
同一套Milvus服务中运行多个知识库项目时,如果所有集合都放在默认数据库里,集合名称和管理操作容易混在一起。可以为不同项目创建独立Database,再分别建立集合。本教程创建两个数据库,在里面使用相同集合名称和主键,验证查询只访问当前选定的数据库。
一、Database与Collection是什么关系
可以将结构理解为:
Milvus实例
├── 项目A数据库
│ └── documents集合
└── 项目B数据库
└── documents集合
数据库是集合之上的逻辑组织层。不同数据库可以拥有同名集合,因此应用除了记录集合名称,还需要明确数据库名称。
创建数据库不会自动移动原有集合。已有数据仍然保留在原数据库中,需要迁移时应单独安排导出和导入。
二、准备运行环境
本教程使用:
- Milvus 2.6.x服务。
- PyMilvus 2.6.x。
- 具备建库、建集合及读写权限的连接账号。
安装SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序保存为:
milvus_database_demo.py
连接默认数据库:
import os
from uuid import uuid4
from pymilvus import MilvusClient
uri = os.getenv(
"MILVUS_URI",
"http://127.0.0.1:19530",
)
token = os.getenv("MILVUS_TOKEN", "")
admin_client = MilvusClient(
uri=uri,
token=token,
db_name="default",
)
这里显式设置 db_name="default",便于确定脚本开始时的操作位置。
三、创建两个项目数据库
为本次实验生成独立名称:
suffix = uuid4().hex[:12]
database_a = f"project_a_{suffix}"
database_b = f"project_b_{suffix}"
for database_name in [database_a, database_b]:
admin_client.create_database(
db_name=database_name,
)
print("项目A数据库:", database_a)
print("项目B数据库:", database_b)
print(
"数据库列表:",
admin_client.list_databases(),
)
查看其中一个数据库的信息:
print(
admin_client.describe_database(
db_name=database_a,
)
)
本例将数据库名称打印出来,后续可以在管理工具或其他程序中使用这些名称连接。
四、切换数据库并创建同名集合
使用 use_database() 切换当前客户端的目标数据库:
collection_name = "documents"
projects = [
(database_a, "项目A的知识库记录"),
(database_b, "项目B的知识库记录"),
]
for database_name, content in projects:
admin_client.use_database(
db_name=database_name,
)
admin_client.create_collection(
collection_name=collection_name,
dimension=4,
metric_type="COSINE",
auto_id=False,
enable_dynamic_field=True,
consistency_level="Strong",
)
admin_client.insert(
collection_name=collection_name,
data=[
{
"id": 1,
"vector": [1.0, 0.0, 0.0, 0.0],
"content": content,
}
],
)
admin_client.flush(
collection_name=collection_name,
)
admin_client.load_collection(
collection_name=collection_name,
)
两个数据库都创建了名为 documents 的集合,并使用相同主键 1。
它们保存不同内容,后面可以通过查询验证各自归属。
四维人工向量用于完成集合创建和写入流程,本例不评估向量检索效果。
五、验证切换后的查询范围
依次切换数据库,查询相同集合和主键:
for database_name in [database_a, database_b]:
admin_client.use_database(
db_name=database_name,
)
rows = admin_client.query(
collection_name=collection_name,
filter="id == 1",
output_fields=["id", "content"],
consistency_level="Strong",
)
print(database_name, rows)
验收目标是:
- 项目A数据库返回“项目A的知识库记录”。
- 项目B数据库返回“项目B的知识库记录”。
如果两个查询返回了同一份内容,先核对是否在查询前完成了数据库切换,以及使用的是不是同一个预期客户端。
还可以查看当前数据库中的集合:
print(
admin_client.list_collections()
)
此时客户端停留在项目B数据库,返回的是项目B中的集合列表。
六、为应用建立固定数据库连接
管理脚本可以顺序切换数据库。实际应用同时处理多个项目时,建议为不同数据库建立固定客户端,减少请求之间切换操作目标的机会。
创建两个客户端:
project_a_client = MilvusClient(
uri=uri,
token=token,
db_name=database_a,
)
project_b_client = MilvusClient(
uri=uri,
token=token,
db_name=database_b,
)
分别查询:
try:
project_a_rows = project_a_client.query(
collection_name="documents",
filter="id == 1",
output_fields=["id", "content"],
consistency_level="Strong",
)
project_b_rows = project_b_client.query(
collection_name="documents",
filter="id == 1",
output_fields=["id", "content"],
consistency_level="Strong",
)
print("项目A固定连接:", project_a_rows)
print("项目B固定连接:", project_b_rows)
finally:
project_a_client.close()
project_b_client.close()
这样,每个客户端在创建时就确定了数据库,不必在每次业务查询前切换。
应用配置中建议同时记录:
Milvus连接地址
数据库名称
集合名称
认证信息
只保存集合名称,容易在部署到另一套环境后连接到错误的数据位置。
七、清理本次测试数据库
确认不再需要测试数据后,先删除两个数据库中的测试集合:
for database_name in [database_a, database_b]:
admin_client.use_database(
db_name=database_name,
)
admin_client.drop_collection(
collection_name="documents",
)
切回默认数据库,再删除两个空数据库:
admin_client.use_database(
db_name="default",
)
for database_name in [database_a, database_b]:
admin_client.drop_database(
db_name=database_name,
)
print(
"清理后的数据库列表:",
admin_client.list_databases(),
)
这段代码会删除本次实验创建的数据。希望继续检查时,跳过本节清理步骤。
最后关闭管理连接:
admin_client.close()
运行完整脚本:
python milvus_database_demo.py
如果包含清理步骤,脚本会依次完成建库、写入、查询验证和删除测试数据。
八、应用中如何安排数据库
可以根据管理需求划分:
- 不同业务项目分别使用数据库。
- 测试数据与正式数据使用不同数据库名称。
- 每个项目内部再按文档、商品或其他对象划分集合。
数据库划分解决数据组织问题。用户能访问哪些数据库,还需要通过身份认证和RBAC权限控制。
同一实例中的数据库仍然使用这套实例提供的资源。若测试任务会产生较大负载,还应单独评估资源分配,不能只改数据库名称就认为不会影响正式业务。
九、常见问题
1、为什么提示集合不存在?
先核对数据库,再核对集合名称。同名集合可以位于不同数据库中,客户端选错数据库时,看不到其他数据库里的集合。
2、创建新数据库后,default中的数据会自动迁移吗?
不会。新数据库提供新的管理空间,原集合和数据仍在原位置。
3、不同数据库可以使用相同主键吗?
可以。主键对应集合内的记录。本例在两个数据库的 documents 集合中都使用主键1,并保存了不同内容。
4、为什么数据库删除失败?
先检查是否仍有集合,再检查账号是否具备删除权限。不要为了清理一个测试数据库,遍历删除其他数据库中的内容。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。