Milvus一致性级别配置
向 Milvus 写入数据后,程序立即查询却得到空结果,过一会儿又能查到,这类现象需要检查一致性设置。Milvus 支持为集合设置默认一致性级别,也支持在单次查询中覆盖默认值。通过控制查询使用的数据视图,可以明确哪些请求必须看到最新写入,哪些请求可以接受短暂延迟。
一、四种一致性级别有什么区别
Milvus 提供四种一致性级别:
Strong:强一致性
查询需要等待满足最新数据可见性的要求后再执行,适合写入后立即验收、修改后立即查询等场景。
Bounded:有界陈旧一致性
允许查询使用存在一定时间差的数据视图,是 Milvus 的默认一致性级别,适合能够接受短暂更新延迟的业务。
Session:会话一致性
同一客户端能够读取自己已经写入的数据,适合一个客户端完成写入后继续查询的流程。
Eventually:最终一致性
查询直接使用当前已有的数据视图,不等待最新写入全部可见,适合对最新数据即时可见性要求较低的请求。
一致性级别控制的是数据可见性。向量搜索是否命中,还受到查询向量、过滤条件、索引和 TopK 设置的影响。
二、准备运行环境
本教程使用:
- Milvus 2.6.x 服务。
- PyMilvus 2.6.x。
- 一个独立测试集合。
- 四维人工向量。
安装 SDK:
python -m pip install "pymilvus>=2.6,<2.7"
默认连接地址为:
http://127.0.0.1:19530
服务部署在其他主机时,通过 MILVUS_URI 指定地址。启用了认证时,通过 MILVUS_TOKEN 提供凭证。
将下面的 Python 代码按顺序放进同一个文件:
milvus_consistency_demo.py
三、创建具有默认一致性级别的集合
先建立连接:
import os
from time import perf_counter
from uuid import uuid4
from pymilvus import MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"consistency_demo_{uuid4().hex[:12]}"
创建集合:
client.create_collection(
collection_name=collection_name,
dimension=4,
metric_type="COSINE",
auto_id=False,
enable_dynamic_field=True,
consistency_level="Bounded",
)
client.load_collection(collection_name=collection_name)
print("测试集合:", collection_name)
这里采用快速创建方式:
- 主键字段为
id。 - 向量字段为
vector。 - 向量维度为4。
- 默认一致性级别为
Bounded。 - 后续写入的
text保存在动态字段中。
请求没有单独指定一致性级别时,会使用集合的默认设置。
四、写入后立即查询
继续添加下面的代码:
levels = [
"Eventually",
"Bounded",
"Session",
"Strong",
]
for record_id, level in enumerate(levels, start=101):
write_result = client.insert(
collection_name=collection_name,
data=[
{
"id": record_id,
"vector": [1.0, 0.0, 0.0, 0.0],
"text": f"{level}一致性测试记录",
}
],
)
started_at = perf_counter()
rows = client.query(
collection_name=collection_name,
filter=f"id == {record_id}",
output_fields=["id", "text"],
consistency_level=level,
timeout=30,
)
elapsed_ms = (perf_counter() - started_at) * 1000
print(
f"级别={level},"
f"写入数量={write_result['insert_count']},"
f"查询结果={rows},"
f"耗时={elapsed_ms:.2f}ms"
)
每种级别都使用一条新记录,执行顺序是“写入完成后立即查询”。
实验中不加入固定等待时间,也不在写入与查询之间调用 flush(),让查询直接面对刚完成的写入。
如何判断结果
重点看三项:
- 写入数量是否为1。
- 查询是否返回刚插入的主键。
- 查询使用了哪种一致性级别。
Eventually 或 Bounded 返回空结果时,可以继续用 Strong 查询相同主键,判断是否与数据可见性有关。
四种级别都查到数据,说明这轮查询执行时记录已经可见。单次耗时只用于观察请求过程,比较性能需要多轮采样。
Session 的示例始终使用同一个 client 完成写入和查询。多个进程各自建立的客户端,不能直接当成同一个会话。
五、在向量搜索中单独设置一致性级别
集合默认使用 Bounded,并不意味着所有请求都必须使用它。
例如,数据导入后的验证请求可以临时使用 Strong:
results = client.search(
collection_name=collection_name,
data=[[1.0, 0.0, 0.0, 0.0]],
anns_field="vector",
filter="id == 104",
limit=1,
search_params={
"metric_type": "COSINE",
"params": {},
},
output_fields=["text"],
consistency_level="Strong",
timeout=30,
)
print("Strong搜索结果:", results)
client.close()
这里搜索的是前面插入的主键104,并将该次搜索设置为 Strong。它不会修改集合的默认一致性级别。
运行完整脚本:
python milvus_consistency_demo.py
这种配置方式适合将不同请求分开处理:
- 导入验证、更新确认使用
Strong。 - 同一客户端写入后的连续查询使用
Session。 - 可以接受短暂数据延迟的日常查询使用
Bounded。 - 不要求立即看到最新写入的请求再评估
Eventually。
六、写入后查不到,按什么顺序排查
1、先确认写入到了哪里
记录连接地址、数据库名称、集合名称和插入主键。
写入与查询连接到不同实例,或者使用了不同集合,即使改为 Strong 也不会得到目标数据。
2、先按主键查询,再做相似度搜索
按主键查询可以先确认记录是否存在:
rows = client.query(
collection_name=collection_name,
filter="id == 101",
output_fields=["id", "text"],
consistency_level="Strong",
timeout=30,
)
这段代码应在客户端关闭前执行。
如果主键查询能找到记录,而向量搜索没有返回它,下一步检查查询向量、过滤条件、TopK 和索引参数。
3、检查实际生效的过滤条件
临时去掉非必要条件,只保留主键条件,逐项加回租户、状态和时间范围。
例如,记录的状态是 draft,查询却限制为 published,空结果来自过滤条件,与一致性级别无关。
4、检查集合是否已经加载
集合未加载通常会返回明确错误。先完成加载,再分析空结果,不要把服务报错和正常返回空列表混为一谈。
5、Strong请求超时时检查服务状态
提高一致性要求可能增加等待时间。出现超时时,应检查查询节点负载、写入处理进度及服务日志,而不是直接降低一致性来掩盖问题。
七、常见问题
1、所有请求都设置Strong是否最简单?
配置上最直接,但会让所有查询承担等待最新数据可见的要求。可以把写入验收等关键请求设为 Strong,其他请求按业务对更新延迟的容忍度选择。
2、增加sleep能否解决查询不到的问题?
固定等待只能覆盖某些情况下的延迟。对于必须读到已完成写入的请求,应明确设置一致性要求,而不是反复调整等待秒数。
3、Session能保证另一个客户端看到我的写入吗?
Session 主要保证同一客户端读取自己的写入。写入端和读取端由不同客户端承担时,应根据跨客户端的数据可见性要求选择一致性级别。
4、为什么Strong也没有搜到指定文档?
先按主键查询。记录存在但没有进入搜索结果时,继续检查向量模型、过滤条件和检索参数。一致性保证数据可见,不保证某条记录一定进入 TopK。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。