Milvus数据导出
从Milvus导出某个分类、租户或时间范围内的数据时,不需要先构造查询向量。可以使用QueryIterator按字段条件逐批读取记录,再写入JSONL文件,供后续内容检查、数据加工或迁移程序使用。
本教程创建1,200条测试记录,筛选其中600条,分批写入文件,并在导出结束后检查记录数量。
一、QueryIterator与搜索迭代器有什么区别
QueryIterator根据字段条件筛选记录,例如:
category == "guide"
它不计算向量相似度,也不按相似度排序,适合遍历满足条件的数据。
搜索迭代器则需要查询向量,用于分批获取相似结果。
本次导出的目标是“取得所有符合分类条件的记录”,因此使用:
client.query_iterator()
二、准备运行环境
本教程使用Milvus 2.6.x服务和PyMilvus 2.6.x。
安装SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序保存到:
milvus_export_demo.py
建立连接:
import json
import os
from pathlib import Path
from uuid import uuid4
from pymilvus import MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"export_demo_{uuid4().hex[:12]}"
print("测试集合:", collection_name)
远程服务通过 MILVUS_URI 指定地址,启用认证时通过 MILVUS_TOKEN 提供凭证。
三、创建集合并写入测试记录
采用快速创建方式:
client.create_collection(
collection_name=collection_name,
dimension=4,
metric_type="COSINE",
auto_id=False,
enable_dynamic_field=True,
consistency_level="Strong",
)
主键字段为 id,向量字段为 vector。标题和分类通过动态字段保存。
分批插入1,200条记录:
record_count = 1200
insert_batch_size = 200
for batch_start in range(0, record_count, insert_batch_size):
batch_end = min(
batch_start + insert_batch_size,
record_count,
)
rows = [
{
"id": record_id,
"vector": [1.0, 0.0, 0.0, 0.0],
"title": f"测试文档{record_id}",
"category": (
"guide"
if record_id % 2 == 0
else "news"
),
}
for record_id in range(batch_start, batch_end)
]
client.insert(
collection_name=collection_name,
data=rows,
)
client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)
偶数主键属于 guide,奇数主键属于 news,两个分类各有600条记录。
所有记录使用相同人工向量,因为这次只验证字段筛选和数据导出,不执行相似度检索。
四、创建查询迭代器
设置导出条件和返回字段:
filter_expression = 'category == "guide"'
output_fields = [
"id",
"title",
"category",
]
batch_size = 200
创建迭代器时使用以下参数:
iterator = client.query_iterator(
collection_name=collection_name,
filter=filter_expression,
output_fields=output_fields,
batch_size=batch_size,
consistency_level="Strong",
)
各参数的作用是:
filter:筛选需要导出的记录。output_fields:指定文件中需要保存的字段。batch_size:每批读取的记录数量。consistency_level:指定查询一致性级别。
这里没有设置总数量上限,后续持续调用 next(),直到没有下一批记录。
如果需要导出整个集合,可以把过滤条件设为空字符串:
filter_expression = ""
五、边读取边写入JSONL文件
JSONL每行保存一个独立JSON对象,适合逐条读取和处理。
先准备文件路径:
output_path = Path(
f"{collection_name}_guide.jsonl"
)
temporary_path = output_path.with_suffix(
".jsonl.part"
)
expected_count = record_count // 2
written_count = 0
batch_count = 0
导出期间先写入 .part 文件,完成检查后再改成正式文件名:
try:
with temporary_path.open(
"x",
encoding="utf-8",
) as output_file:
while True:
rows = iterator.next()
if not rows:
break
for row in rows:
if row["category"] != "guide":
raise RuntimeError(
"导出结果出现不符合分类条件的记录"
)
output_file.write(
json.dumps(
row,
ensure_ascii=False,
)
+ "\n"
)
batch_count += 1
written_count += len(rows)
print(
f"第{batch_count}批:"
f"{len(rows)}条,"
f"累计{written_count}条"
)
if written_count != expected_count:
raise RuntimeError(
f"预期导出{expected_count}条,"
f"实际导出{written_count}条"
)
temporary_path.rename(output_path)
print("导出完成:", output_path.resolve())
print("记录数量:", written_count)
finally:
try:
iterator.close()
finally:
client.close()
运行:
python milvus_export_demo.py
本例的验收目标是:
- 导出600条记录。
- 每条记录的分类均为
guide。 - 正式文件扩展名为
.jsonl。 - 文件可以逐行解析。
如果中途发生错误,程序会保留 .part 文件,便于检查已经写入的内容,不会把它标记为完整导出结果。
六、单独检查导出文件
可以新建一个检查脚本,将文件名替换为实际输出路径:
import json
from pathlib import Path
file_path = Path(
"替换为实际导出的文件名.jsonl"
)
record_count = 0
with file_path.open(
"r",
encoding="utf-8",
) as input_file:
for line_number, line in enumerate(
input_file,
start=1,
):
record = json.loads(line)
if record["category"] != "guide":
raise RuntimeError(
f"第{line_number}行分类不正确"
)
if record["id"] % 2 != 0:
raise RuntimeError(
f"第{line_number}行主键不符合测试规则"
)
record_count += 1
print("检查通过,记录数量:", record_count)
这一步检查文件内容,不依赖Milvus连接。
测试数据使用连续主键和固定分类规则,因此可以明确核对600条的结果。正式导出时,应记录集合、过滤条件、导出字段和数据范围,便于复核。
七、按实际用途调整导出内容
1、只导出内容审核需要的字段
如果只是检查标题和分类,保留:
output_fields=["id", "title", "category"]
不返回向量可以减小文件体积。
2、需要后续重新导入时,增加向量字段
output_fields=[
"id",
"title",
"category",
"vector",
]
向量维度较高时,每条记录会明显增大,可以适当减小 batch_size。
3、使用额外条件限定范围
例如,只导出主键小于500的教程:
filter_expression = (
'category == "guide" and id < 500'
)
修改筛选范围后,要同步调整本例的 expected_count 检查。
4、不要把所有批次重新放进大列表
导出循环应处理完一批就继续下一批。如果同时执行:
all_rows.extend(rows)
仍然会把全部结果保存在客户端内存中,失去分批处理的主要价值。
八、常见问题
1、为什么导出数量比预期少?
检查是否设置了总数量限制、过滤条件是否正确,以及是否连接到目标数据库和集合。
对于测试脚本,还应确认1,200条记录全部写入成功。
2、能否依靠返回顺序按主键排序?
不要把迭代返回顺序当作业务排序规则。需要按时间或主键排列时,应在后续处理程序中明确排序。
3、脚本中断后,可以直接追加到原文件吗?
本教程没有实现断点恢复。直接创建新迭代器并追加到旧文件,可能重复写入已经导出的记录。
重新运行时使用新的输出文件,或另行设计主键去重和恢复记录。
4、导出的JSONL是不是完整备份?
本例只保存指定字段,没有保存Schema、索引配置和其他数据库信息。它适合内容检查和数据加工;需要恢复整个集合时,应同时准备结构、索引和相关业务配置。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。