数字化技能提升教程,数字化时代生存宝典

Milvus数据导出

浏览:36
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

从Milvus导出某个分类、租户或时间范围内的数据时,不需要先构造查询向量。可以使用QueryIterator按字段条件逐批读取记录,再写入JSONL文件,供后续内容检查、数据加工或迁移程序使用。

本教程创建1,200条测试记录,筛选其中600条,分批写入文件,并在导出结束后检查记录数量。

一、QueryIterator与搜索迭代器有什么区别

QueryIterator根据字段条件筛选记录,例如:

category == "guide"

它不计算向量相似度,也不按相似度排序,适合遍历满足条件的数据。

搜索迭代器则需要查询向量,用于分批获取相似结果。

本次导出的目标是“取得所有符合分类条件的记录”,因此使用:

client.query_iterator()

二、准备运行环境

本教程使用Milvus 2.6.x服务和PyMilvus 2.6.x。

安装SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序保存到:

milvus_export_demo.py

建立连接:

import json
import os
from pathlib import Path
from uuid import uuid4

from pymilvus import MilvusClient

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"export_demo_{uuid4().hex[:12]}"

print("测试集合:", collection_name)

远程服务通过 MILVUS_URI 指定地址,启用认证时通过 MILVUS_TOKEN 提供凭证。

三、创建集合并写入测试记录

采用快速创建方式:

client.create_collection(
    collection_name=collection_name,
    dimension=4,
    metric_type="COSINE",
    auto_id=False,
    enable_dynamic_field=True,
    consistency_level="Strong",
)

主键字段为 id,向量字段为 vector。标题和分类通过动态字段保存。

分批插入1,200条记录:

record_count = 1200
insert_batch_size = 200

for batch_start in range(0, record_count, insert_batch_size):
batch_end = min(
batch_start + insert_batch_size,
record_count,
)

rows = [
{
"id": record_id,
"vector": [1.0, 0.0, 0.0, 0.0],
"title": f"测试文档{record_id}",
"category": (
"guide"
if record_id % 2 == 0
else "news"
),
}
for record_id in range(batch_start, batch_end)
]

client.insert(
collection_name=collection_name,
data=rows,
)

client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)

偶数主键属于 guide,奇数主键属于 news,两个分类各有600条记录。

所有记录使用相同人工向量,因为这次只验证字段筛选和数据导出,不执行相似度检索。

四、创建查询迭代器

设置导出条件和返回字段:

filter_expression = 'category == "guide"'

output_fields = [
"id",
"title",
"category",
]

batch_size = 200

创建迭代器时使用以下参数:

iterator = client.query_iterator(
    collection_name=collection_name,
    filter=filter_expression,
    output_fields=output_fields,
    batch_size=batch_size,
    consistency_level="Strong",
)

各参数的作用是:

  • filter:筛选需要导出的记录。
  • output_fields:指定文件中需要保存的字段。
  • batch_size:每批读取的记录数量。
  • consistency_level:指定查询一致性级别。

这里没有设置总数量上限,后续持续调用 next(),直到没有下一批记录。

如果需要导出整个集合,可以把过滤条件设为空字符串:

filter_expression = ""

五、边读取边写入JSONL文件

JSONL每行保存一个独立JSON对象,适合逐条读取和处理。

先准备文件路径:

output_path = Path(
    f"{collection_name}_guide.jsonl"
)

temporary_path = output_path.with_suffix(
".jsonl.part"
)

expected_count = record_count // 2
written_count = 0
batch_count = 0

导出期间先写入 .part 文件,完成检查后再改成正式文件名:

try:
    with temporary_path.open(
        "x",
        encoding="utf-8",
    ) as output_file:
        while True:
            rows = iterator.next()

if not rows:
break

for row in rows:
if row["category"] != "guide":
raise RuntimeError(
"导出结果出现不符合分类条件的记录"
)

output_file.write(
json.dumps(
row,
ensure_ascii=False,
)
+ "\n"
)

batch_count += 1
written_count += len(rows)

print(
f"第{batch_count}批:"
f"{len(rows)}条,"
f"累计{written_count}条"
)

if written_count != expected_count:
raise RuntimeError(
f"预期导出{expected_count}条,"
f"实际导出{written_count}条"
)

temporary_path.rename(output_path)

print("导出完成:", output_path.resolve())
print("记录数量:", written_count)

finally:
try:
iterator.close()
finally:
client.close()

运行:

python milvus_export_demo.py

本例的验收目标是:

  • 导出600条记录。
  • 每条记录的分类均为 guide。
  • 正式文件扩展名为 .jsonl。
  • 文件可以逐行解析。

如果中途发生错误,程序会保留 .part 文件,便于检查已经写入的内容,不会把它标记为完整导出结果。

六、单独检查导出文件

可以新建一个检查脚本,将文件名替换为实际输出路径:

import json
from pathlib import Path

file_path = Path(
"替换为实际导出的文件名.jsonl"
)

record_count = 0

with file_path.open(
"r",
encoding="utf-8",
) as input_file:
for line_number, line in enumerate(
input_file,
start=1,
):
record = json.loads(line)

if record["category"] != "guide":
raise RuntimeError(
f"第{line_number}行分类不正确"
)

if record["id"] % 2 != 0:
raise RuntimeError(
f"第{line_number}行主键不符合测试规则"
)

record_count += 1

print("检查通过,记录数量:", record_count)

这一步检查文件内容,不依赖Milvus连接。

测试数据使用连续主键和固定分类规则,因此可以明确核对600条的结果。正式导出时,应记录集合、过滤条件、导出字段和数据范围,便于复核。

七、按实际用途调整导出内容

1、只导出内容审核需要的字段

如果只是检查标题和分类,保留:

output_fields=["id", "title", "category"]

不返回向量可以减小文件体积。

2、需要后续重新导入时,增加向量字段

output_fields=[
    "id",
    "title",
    "category",
    "vector",
]

向量维度较高时,每条记录会明显增大,可以适当减小 batch_size。

3、使用额外条件限定范围

例如,只导出主键小于500的教程:

filter_expression = (
    'category == "guide" and id < 500'
)

修改筛选范围后,要同步调整本例的 expected_count 检查。

4、不要把所有批次重新放进大列表

导出循环应处理完一批就继续下一批。如果同时执行:

all_rows.extend(rows)

仍然会把全部结果保存在客户端内存中,失去分批处理的主要价值。

八、常见问题

1、为什么导出数量比预期少?

检查是否设置了总数量限制、过滤条件是否正确,以及是否连接到目标数据库和集合。

对于测试脚本,还应确认1,200条记录全部写入成功。

2、能否依靠返回顺序按主键排序?

不要把迭代返回顺序当作业务排序规则。需要按时间或主键排列时,应在后续处理程序中明确排序。

3、脚本中断后,可以直接追加到原文件吗?

本教程没有实现断点恢复。直接创建新迭代器并追加到旧文件,可能重复写入已经导出的记录。

重新运行时使用新的输出文件,或另行设计主键去重和恢复记录。

4、导出的JSONL是不是完整备份?

本例只保存指定字段,没有保存Schema、索引配置和其他数据库信息。它适合内容检查和数据加工;需要恢复整个集合时,应同时准备结构、索引和相关业务配置。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。