Milvus中文全文搜索
网站文章、产品说明和知识库文档中,经常需要根据具体词语寻找相关内容。例如,输入“数据库备份”,希望先找到包含备份流程、恢复方法的文档。Milvus内置BM25全文搜索能力,可以接收原始文本,完成分词和相关性排序,无需先调用外部Embedding服务生成查询向量。
一、全文搜索需要哪些配置
本教程采用下面的处理流程:
写入中文文本
↓
中文分词器处理文本
↓
BM25函数生成稀疏向量
↓
建立稀疏倒排索引
↓
输入查询文字,返回相关文档
集合中需要准备:
- 主键字段:标识每条记录。
- 文本字段:保存需要搜索的正文。
- 稀疏向量字段:保存BM25函数生成的数据。
- 分类字段:用于限定搜索范围。
本例使用Milvus 2.6.x服务和PyMilvus 2.6.x,通过服务端完成中文分词和BM25处理。
二、安装SDK并连接服务
安装Python SDK:
python -m pip install "pymilvus>=2.6,<2.7"
将后续代码按顺序保存到同一个文件:
milvus_bm25_demo.py
先连接Milvus:
import os
from uuid import uuid4
from pymilvus import DataType, Function, FunctionType, MilvusClient
client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)
collection_name = f"bm25_demo_{uuid4().hex[:12]}"
print("测试集合:", collection_name)
默认地址是本机的19530端口。远程部署时设置 MILVUS_URI,启用认证时设置 MILVUS_TOKEN。
三、检查中文分词结果
中文搜索先要确认文本如何被拆分。
analyzer_params = {
"type": "chinese",
}
tokens = client.run_analyzer(
"数据库备份与恢复",
analyzer_params,
)
print("分词结果:", tokens)
观察结果中是否包含能够表达查询含义的词。后续出现“文章里有相关内容却搜不到”时,也可以用相同方法检查文章和查询词的分词结果。
本例将这套分词配置用于集合中的文本字段,保证写入和搜索使用一致的处理方式。
四、创建文本字段和BM25函数
定义集合结构:
schema = MilvusClient.create_schema(
auto_id=False,
enable_dynamic_field=False,
)
schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=4096,
enable_analyzer=True,
analyzer_params=analyzer_params,
)
schema.add_field(
field_name="category",
datatype=DataType.VARCHAR,
max_length=100,
)
schema.add_field(
field_name="text_sparse",
datatype=DataType.SPARSE_FLOAT_VECTOR,
)
text 必须开启 enable_analyzer,才能进行后续文本分析。max_length 按字节计算,处理长文章时,应先切成适合检索的段落。
接着添加BM25函数:
schema.add_function(
Function(
name="article_text_to_bm25",
input_field_names=["text"],
output_field_names=["text_sparse"],
function_type=FunctionType.BM25,
)
)
这里建立了明确关系:
text → BM25函数 → text_sparse
写入时提供原始文字,text_sparse 由Milvus生成。
五、创建索引并插入测试文章
配置稀疏倒排索引:
index_params = client.prepare_index_params()
index_params.add_index(
field_name="text_sparse",
index_type="SPARSE_INVERTED_INDEX",
metric_type="BM25",
params={
"inverted_index_algo": "DAAT_MAXSCORE",
},
)
client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)
索引建在 text_sparse 字段上,度量类型设置为 BM25。
插入四条记录:
documents = [
{
"id": 1,
"text": "数据库备份需要定期执行,并检查备份文件是否完整。",
"category": "运维",
},
{
"id": 2,
"text": "数据库恢复之前,需要确认备份文件和恢复时间点。",
"category": "运维",
},
{
"id": 3,
"text": "容器部署可以统一应用运行环境,简化服务交付流程。",
"category": "部署",
},
{
"id": 4,
"text": "数据库备份培训课程介绍备份计划和恢复演练方法。",
"category": "培训",
},
]
result = client.insert(
collection_name=collection_name,
data=documents,
)
print("插入数量:", result["insert_count"])
client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)
插入数据没有填写 text_sparse,它是函数输出字段。
六、直接使用中文执行搜索
查询“数据库备份”:
results = client.search(
collection_name=collection_name,
data=["数据库备份"],
anns_field="text_sparse",
search_params={
"metric_type": "BM25",
"params": {},
},
limit=3,
output_fields=["text", "category"],
)
print("\n全文搜索结果:")
for hit in results[0]:
print(
"主键:",
hit["id"],
"得分:",
hit["distance"],
"分类:",
hit["entity"]["category"],
"正文:",
hit["entity"]["text"],
)
这里有三个关键设置:
data直接传入查询文字。anns_field指向BM25生成的稀疏向量字段。output_fields指定需要展示的正文和分类。
返回结构中的 distance 在这里表示BM25相关性得分,分数越高,代表在这次查询中越相关。它不是余弦相似度,也不采用0到1的固定范围。
只搜索运维分类
在搜索请求中增加分类条件:
filtered_results = client.search(
collection_name=collection_name,
data=["数据库备份"],
anns_field="text_sparse",
filter='category == "运维"',
search_params={
"metric_type": "BM25",
"params": {},
},
limit=3,
output_fields=["text", "category"],
)
print("\n运维分类搜索结果:")
for hit in filtered_results[0]:
print(
hit["id"],
hit["entity"]["category"],
hit["entity"]["text"],
)
client.close()
这次结果只应包含运维分类的数据,培训课程不会进入结果。
运行完整脚本:
python milvus_bm25_demo.py
检查返回记录的正文、分类和排序,就能判断文本搜索及分类过滤是否符合预期。
七、搜索效果不好时怎么排查
1、先看分词结果
分别对查询文字和目标文章运行 run_analyzer(),检查关键词是否按预期保留。
如果文档中大量使用产品型号、英文缩写和中英文混合词,应使用实际样本评估分词方案,再决定是否调整。
2、检查搜索字段
BM25搜索的 anns_field 应是:
anns_field="text_sparse"
不能写成原始文本字段 text。
3、检查过滤条件
先去掉分类条件测试,再逐项加回。若去掉过滤后可以搜到记录,重点检查分类值和表达式。
4、检查文档切分方式
整篇长文包含多个主题时,可以按小节或段落拆分,每个片段保留原文编号和标题。这样更容易定位命中的具体内容,也方便后续展示上下文。
八、常见问题
1、需要自己生成稀疏向量吗?
使用本教程的内置BM25函数时,只需提交文本和其他业务字段,稀疏向量由Milvus生成。
2、为什么不能把text_sparse加入返回字段?
BM25函数生成的稀疏向量用于内部检索,不能直接作为全文搜索的输出字段。展示结果时返回原始正文、分类和其他业务信息即可。
3、BM25能否理解所有同义表达?
BM25主要依据分词后的词项匹配和统计信息排序。需要覆盖同义表达、不同措辞的语义关联时,可以进一步结合稠密向量检索。
4、为什么加入新文章后得分或排序发生变化?
BM25评分与词频、文档长度及整个语料的统计信息有关。比较两套方案时,应使用同一份数据和同一组查询词。
广告合作
QQ群号:4114653
- 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
- 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。