知识库

This commit is contained in:
zengmq 2025-07-17 11:39:55 +08:00
parent 7ee6f3d052
commit 778a89ba76

View File

@ -22,7 +22,9 @@ Link Tool旨在构建一个专业的GIS工具知识库通过自动化手段
## 实现方法 ## 实现方法
将整理好的四个知识库文档上传到阿里云百炼平台采用检索增强生成RAG技术根据用户输入从外部信息源检索相关信息然后将检索到的内容整合到用户输入中从而帮助大模型生成更准确的回答。知识库功能作为阿里云百炼的RAG能力能有效补充私有知识并提供最新信息。 将整理好的四个知识库文档上传到阿里云百炼平台采用检索增强生成RAG技术根据用户输入从外部信息源检索相关信息然后将检索到的内容整合到用户输入中从而帮助大模型生成更准确的回答。知识库功能作为阿里云百炼的RAG能力能有效补充私有知识并提供最新信息。
具体操作为导入Markdown非结构化数据和工具列表结构化数据对知识库进行配置开启多轮会话改写——将基于会话上下文自动调整原始输入Prompt用户问题以提升检索效果。使用官方向量v3DashScope text-embedding-v3模型用于将原始输入Prompt和知识文本转化为数值化向量官方向量v3模型在语种支持、输入长度和向量维度自定义化等方面相比官方向量v2模型进行了全面升级适用于大部分场景。选择官方排序的Rank模型通过语义排序和文本匹配特征以确保相关性。设置20%的相似度阈值该阈值表示允许召回的文本切片的最低相似度分数用于筛选Rank模型返回的文本切片即只有分数超过此数值的文本切片才会被召回。调低此阈值预期会召回更多文本切片但可能导致召回一些相关度较低的文本切片相反提高此阈值会减少召回的文本切片。若设置得过高则可能导致知识库丢弃相关的文本切片。 具体操作为对知识库进行配置开启多轮会话改写——将基于会话上下文自动调整原始输入Prompt用户问题以提升检索效果。使用官方向量v3DashScope text-embedding-v3模型用于将原始输入Prompt和知识文本转化为数值化向量官方向量v3模型在语种支持、输入长度和向量维度自定义化等方面相比官方向量v2模型进行了全面升级适用于大部分场景。选择官方排序的Rank模型通过语义排序和文本匹配特征以确保相关性。设置20%的相似度阈值该阈值表示允许召回的文本切片的最低相似度分数用于筛选Rank模型返回的文本切片即只有分数超过此数值的文本切片才会被召回。调低此阈值预期会召回更多文本切片但可能导致召回一些相关度较低的文本切片相反提高此阈值会减少召回的文本切片。若设置得过高则可能导致知识库丢弃相关的文本切片。
![图1](../assets/ksetting.png) ![](../../assets/2025-07-17-09-25-44.png)
导入Markdown非结构化数据和工具列表结构化数据配置数据处理策略。设置非结构化文档的元数据比如ArcGIS Pro帮助文档的元数据为工具调用名。设置文档切分为智能切分并将这些文本切片通过Embedding模型转换为向量。随后文本切片和向量将以键值对的形式存入向量数据库中。
知识库创建完成后进行各个知识库针对性“命中测试”,根据召回结果调整相似度阈值。
![](../../assets/2025-07-17-10-05-23.png)
知识库构建完成后会生成专属的ID供Link Tool调用。大模型会结合提示词和用户的需求选择性调用对应的知识库。特别地当Link Tool将执行地理信息处理工具时程序会强制其查询Arcgis pro帮助文档知识库确保其调用信息的准确性提高工具执行效率。