数字化技能提升教程,数字化时代生存宝典

Milvus多数据库管理

浏览:26
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

同一套Milvus服务中运行多个知识库项目时,如果所有集合都放在默认数据库里,集合名称和管理操作容易混在一起。可以为不同项目创建独立Database,再分别建立集合。本教程创建两个数据库,在里面使用相同集合名称和主键,验证查询只访问当前选定的数据库。

一、Database与Collection是什么关系

可以将结构理解为:

Milvus实例
    ├── 项目A数据库
    │       └── documents集合
    └── 项目B数据库
            └── documents集合

数据库是集合之上的逻辑组织层。不同数据库可以拥有同名集合,因此应用除了记录集合名称,还需要明确数据库名称。

创建数据库不会自动移动原有集合。已有数据仍然保留在原数据库中,需要迁移时应单独安排导出和导入。

二、准备运行环境

本教程使用:

  • Milvus 2.6.x服务。
  • PyMilvus 2.6.x。
  • 具备建库、建集合及读写权限的连接账号。

安装SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序保存为:

milvus_database_demo.py

连接默认数据库:

import os
from uuid import uuid4

from pymilvus import MilvusClient

uri = os.getenv(
"MILVUS_URI",
"http://127.0.0.1:19530",
)

token = os.getenv("MILVUS_TOKEN", "")

admin_client = MilvusClient(
uri=uri,
token=token,
db_name="default",
)

这里显式设置 db_name="default",便于确定脚本开始时的操作位置。

三、创建两个项目数据库

为本次实验生成独立名称:

suffix = uuid4().hex[:12]

database_a = f"project_a_{suffix}"
database_b = f"project_b_{suffix}"

for database_name in [database_a, database_b]:
admin_client.create_database(
db_name=database_name,
)

print("项目A数据库:", database_a)
print("项目B数据库:", database_b)

print(
"数据库列表:",
admin_client.list_databases(),
)

查看其中一个数据库的信息:

print(
    admin_client.describe_database(
        db_name=database_a,
    )
)

本例将数据库名称打印出来,后续可以在管理工具或其他程序中使用这些名称连接。

四、切换数据库并创建同名集合

使用 use_database() 切换当前客户端的目标数据库:

collection_name = "documents"

projects = [
(database_a, "项目A的知识库记录"),
(database_b, "项目B的知识库记录"),
]

for database_name, content in projects:
admin_client.use_database(
db_name=database_name,
)

admin_client.create_collection(
collection_name=collection_name,
dimension=4,
metric_type="COSINE",
auto_id=False,
enable_dynamic_field=True,
consistency_level="Strong",
)

admin_client.insert(
collection_name=collection_name,
data=[
{
"id": 1,
"vector": [1.0, 0.0, 0.0, 0.0],
"content": content,
}
],
)

admin_client.flush(
collection_name=collection_name,
)

admin_client.load_collection(
collection_name=collection_name,
)

两个数据库都创建了名为 documents 的集合,并使用相同主键 1。

它们保存不同内容,后面可以通过查询验证各自归属。

四维人工向量用于完成集合创建和写入流程,本例不评估向量检索效果。

五、验证切换后的查询范围

依次切换数据库,查询相同集合和主键:

for database_name in [database_a, database_b]:
    admin_client.use_database(
        db_name=database_name,
    )

rows = admin_client.query(
collection_name=collection_name,
filter="id == 1",
output_fields=["id", "content"],
consistency_level="Strong",
)

print(database_name, rows)

验收目标是:

  • 项目A数据库返回“项目A的知识库记录”。
  • 项目B数据库返回“项目B的知识库记录”。

如果两个查询返回了同一份内容,先核对是否在查询前完成了数据库切换,以及使用的是不是同一个预期客户端。

还可以查看当前数据库中的集合:

print(
    admin_client.list_collections()
)

此时客户端停留在项目B数据库,返回的是项目B中的集合列表。

六、为应用建立固定数据库连接

管理脚本可以顺序切换数据库。实际应用同时处理多个项目时,建议为不同数据库建立固定客户端,减少请求之间切换操作目标的机会。

创建两个客户端:

project_a_client = MilvusClient(
    uri=uri,
    token=token,
    db_name=database_a,
)

project_b_client = MilvusClient(
uri=uri,
token=token,
db_name=database_b,
)

分别查询:

try:
    project_a_rows = project_a_client.query(
        collection_name="documents",
        filter="id == 1",
        output_fields=["id", "content"],
        consistency_level="Strong",
    )

project_b_rows = project_b_client.query(
collection_name="documents",
filter="id == 1",
output_fields=["id", "content"],
consistency_level="Strong",
)

print("项目A固定连接:", project_a_rows)
print("项目B固定连接:", project_b_rows)

finally:
project_a_client.close()
project_b_client.close()

这样,每个客户端在创建时就确定了数据库,不必在每次业务查询前切换。

应用配置中建议同时记录:

Milvus连接地址
数据库名称
集合名称
认证信息

只保存集合名称,容易在部署到另一套环境后连接到错误的数据位置。

七、清理本次测试数据库

确认不再需要测试数据后,先删除两个数据库中的测试集合:

for database_name in [database_a, database_b]:
    admin_client.use_database(
        db_name=database_name,
    )

admin_client.drop_collection(
collection_name="documents",
)

切回默认数据库,再删除两个空数据库:

admin_client.use_database(
    db_name="default",
)

for database_name in [database_a, database_b]:
admin_client.drop_database(
db_name=database_name,
)

print(
"清理后的数据库列表:",
admin_client.list_databases(),
)

这段代码会删除本次实验创建的数据。希望继续检查时,跳过本节清理步骤。

最后关闭管理连接:

admin_client.close()

运行完整脚本:

python milvus_database_demo.py

如果包含清理步骤,脚本会依次完成建库、写入、查询验证和删除测试数据。

八、应用中如何安排数据库

可以根据管理需求划分:

  • 不同业务项目分别使用数据库。
  • 测试数据与正式数据使用不同数据库名称。
  • 每个项目内部再按文档、商品或其他对象划分集合。

数据库划分解决数据组织问题。用户能访问哪些数据库,还需要通过身份认证和RBAC权限控制。

同一实例中的数据库仍然使用这套实例提供的资源。若测试任务会产生较大负载,还应单独评估资源分配,不能只改数据库名称就认为不会影响正式业务。

九、常见问题

1、为什么提示集合不存在?

先核对数据库,再核对集合名称。同名集合可以位于不同数据库中,客户端选错数据库时,看不到其他数据库里的集合。

2、创建新数据库后,default中的数据会自动迁移吗?

不会。新数据库提供新的管理空间,原集合和数据仍在原位置。

3、不同数据库可以使用相同主键吗?

可以。主键对应集合内的记录。本例在两个数据库的 documents 集合中都使用主键1,并保存了不同内容。

4、为什么数据库删除失败?

先检查是否仍有集合,再检查账号是否具备删除权限。不要为了清理一个测试数据库,遍历删除其他数据库中的内容。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。