数字化技能提升教程,数字化时代生存宝典

Milvus中文全文搜索

浏览:64
Milvus
Milvus
类型:向量数据库

简介:存储、索引和管理由深度神经网络和机器学习(ML)模型生成的大规模嵌入向量。

网站文章、产品说明和知识库文档中,经常需要根据具体词语寻找相关内容。例如,输入“数据库备份”,希望先找到包含备份流程、恢复方法的文档。Milvus内置BM25全文搜索能力,可以接收原始文本,完成分词和相关性排序,无需先调用外部Embedding服务生成查询向量。

一、全文搜索需要哪些配置

本教程采用下面的处理流程:

写入中文文本
    ↓
中文分词器处理文本
    ↓
BM25函数生成稀疏向量
    ↓
建立稀疏倒排索引
    ↓
输入查询文字,返回相关文档

集合中需要准备:

  • 主键字段:标识每条记录。
  • 文本字段:保存需要搜索的正文。
  • 稀疏向量字段:保存BM25函数生成的数据。
  • 分类字段:用于限定搜索范围。

本例使用Milvus 2.6.x服务和PyMilvus 2.6.x,通过服务端完成中文分词和BM25处理。

二、安装SDK并连接服务

安装Python SDK:

python -m pip install "pymilvus>=2.6,<2.7"

将后续代码按顺序保存到同一个文件:

milvus_bm25_demo.py

先连接Milvus:

import os
from uuid import uuid4

from pymilvus import DataType, Function, FunctionType, MilvusClient

client = MilvusClient(
uri=os.getenv("MILVUS_URI", "http://127.0.0.1:19530"),
token=os.getenv("MILVUS_TOKEN", ""),
)

collection_name = f"bm25_demo_{uuid4().hex[:12]}"

print("测试集合:", collection_name)

默认地址是本机的19530端口。远程部署时设置 MILVUS_URI,启用认证时设置 MILVUS_TOKEN。

三、检查中文分词结果

中文搜索先要确认文本如何被拆分。

analyzer_params = {
    "type": "chinese",
}

tokens = client.run_analyzer(
"数据库备份与恢复",
analyzer_params,
)

print("分词结果:", tokens)

观察结果中是否包含能够表达查询含义的词。后续出现“文章里有相关内容却搜不到”时,也可以用相同方法检查文章和查询词的分词结果。

本例将这套分词配置用于集合中的文本字段,保证写入和搜索使用一致的处理方式。

四、创建文本字段和BM25函数

定义集合结构:

schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=False,
)

schema.add_field(
field_name="id",
datatype=DataType.INT64,
is_primary=True,
)

schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=4096,
enable_analyzer=True,
analyzer_params=analyzer_params,
)

schema.add_field(
field_name="category",
datatype=DataType.VARCHAR,
max_length=100,
)

schema.add_field(
field_name="text_sparse",
datatype=DataType.SPARSE_FLOAT_VECTOR,
)

text 必须开启 enable_analyzer,才能进行后续文本分析。max_length 按字节计算,处理长文章时,应先切成适合检索的段落。

接着添加BM25函数:

schema.add_function(
    Function(
        name="article_text_to_bm25",
        input_field_names=["text"],
        output_field_names=["text_sparse"],
        function_type=FunctionType.BM25,
    )
)

这里建立了明确关系:

text → BM25函数 → text_sparse

写入时提供原始文字,text_sparse 由Milvus生成。

五、创建索引并插入测试文章

配置稀疏倒排索引:

index_params = client.prepare_index_params()

index_params.add_index(
field_name="text_sparse",
index_type="SPARSE_INVERTED_INDEX",
metric_type="BM25",
params={
"inverted_index_algo": "DAAT_MAXSCORE",
},
)

client.create_collection(
collection_name=collection_name,
schema=schema,
index_params=index_params,
consistency_level="Strong",
)

索引建在 text_sparse 字段上,度量类型设置为 BM25。

插入四条记录:

documents = [
    {
        "id": 1,
        "text": "数据库备份需要定期执行,并检查备份文件是否完整。",
        "category": "运维",
    },
    {
        "id": 2,
        "text": "数据库恢复之前,需要确认备份文件和恢复时间点。",
        "category": "运维",
    },
    {
        "id": 3,
        "text": "容器部署可以统一应用运行环境,简化服务交付流程。",
        "category": "部署",
    },
    {
        "id": 4,
        "text": "数据库备份培训课程介绍备份计划和恢复演练方法。",
        "category": "培训",
    },
]

result = client.insert(
collection_name=collection_name,
data=documents,
)

print("插入数量:", result["insert_count"])

client.flush(collection_name=collection_name)
client.load_collection(collection_name=collection_name)

插入数据没有填写 text_sparse,它是函数输出字段。

六、直接使用中文执行搜索

查询“数据库备份”:

results = client.search(
    collection_name=collection_name,
    data=["数据库备份"],
    anns_field="text_sparse",
    search_params={
        "metric_type": "BM25",
        "params": {},
    },
    limit=3,
    output_fields=["text", "category"],
)

print("\n全文搜索结果:")

for hit in results[0]:
print(
"主键:",
hit["id"],
"得分:",
hit["distance"],
"分类:",
hit["entity"]["category"],
"正文:",
hit["entity"]["text"],
)

这里有三个关键设置:

  • data 直接传入查询文字。
  • anns_field 指向BM25生成的稀疏向量字段。
  • output_fields 指定需要展示的正文和分类。

返回结构中的 distance 在这里表示BM25相关性得分,分数越高,代表在这次查询中越相关。它不是余弦相似度,也不采用0到1的固定范围。

只搜索运维分类

在搜索请求中增加分类条件:

filtered_results = client.search(
    collection_name=collection_name,
    data=["数据库备份"],
    anns_field="text_sparse",
    filter='category == "运维"',
    search_params={
        "metric_type": "BM25",
        "params": {},
    },
    limit=3,
    output_fields=["text", "category"],
)

print("\n运维分类搜索结果:")

for hit in filtered_results[0]:
print(
hit["id"],
hit["entity"]["category"],
hit["entity"]["text"],
)

client.close()

这次结果只应包含运维分类的数据,培训课程不会进入结果。

运行完整脚本:

python milvus_bm25_demo.py

检查返回记录的正文、分类和排序,就能判断文本搜索及分类过滤是否符合预期。

七、搜索效果不好时怎么排查

1、先看分词结果

分别对查询文字和目标文章运行 run_analyzer(),检查关键词是否按预期保留。

如果文档中大量使用产品型号、英文缩写和中英文混合词,应使用实际样本评估分词方案,再决定是否调整。

2、检查搜索字段

BM25搜索的 anns_field 应是:

anns_field="text_sparse"

不能写成原始文本字段 text。

3、检查过滤条件

先去掉分类条件测试,再逐项加回。若去掉过滤后可以搜到记录,重点检查分类值和表达式。

4、检查文档切分方式

整篇长文包含多个主题时,可以按小节或段落拆分,每个片段保留原文编号和标题。这样更容易定位命中的具体内容,也方便后续展示上下文。

八、常见问题

1、需要自己生成稀疏向量吗?

使用本教程的内置BM25函数时,只需提交文本和其他业务字段,稀疏向量由Milvus生成。

2、为什么不能把text_sparse加入返回字段?

BM25函数生成的稀疏向量用于内部检索,不能直接作为全文搜索的输出字段。展示结果时返回原始正文、分类和其他业务信息即可。

3、BM25能否理解所有同义表达?

BM25主要依据分词后的词项匹配和统计信息排序。需要覆盖同义表达、不同措辞的语义关联时,可以进一步结合稠密向量检索。

4、为什么加入新文章后得分或排序发生变化?

BM25评分与词频、文档长度及整个语料的统计信息有关。比较两套方案时,应使用同一份数据和同一组查询词。

广告合作

广告合作

QQ群号:4114653

QQ群号:4114653

温馨提示:
  1. 本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。
  2. 本站原创内容未经允许不得转载,转载请注明出处“站长百科”和原文地址。