知识库
This commit is contained in:
parent
7ee6f3d052
commit
778a89ba76
@ -22,7 +22,9 @@ Link Tool旨在构建一个专业的GIS工具知识库,通过自动化手段
|
||||
|
||||
## 实现方法
|
||||
将整理好的四个知识库文档上传到阿里云百炼平台,采用检索增强生成(RAG)技术,根据用户输入从外部信息源检索相关信息,然后将检索到的内容整合到用户输入中,从而帮助大模型生成更准确的回答。知识库功能作为阿里云百炼的RAG能力,能有效补充私有知识并提供最新信息。
|
||||
具体操作为导入Markdown非结构化数据和工具列表结构化数据,对知识库进行配置,开启多轮会话改写——将基于会话上下文自动调整原始输入Prompt(用户问题)以提升检索效果。使用官方向量v3(DashScope text-embedding-v3)模型,用于将原始输入Prompt和知识文本转化为数值化向量,官方向量v3模型在语种支持、输入长度和向量维度自定义化等方面,相比官方向量v2模型进行了全面升级,适用于大部分场景。选择官方排序的Rank模型,通过语义排序和文本匹配特征以确保相关性。设置20%的相似度阈值,该阈值表示允许召回的文本切片的最低相似度分数,用于筛选Rank模型返回的文本切片,即只有分数超过此数值的文本切片才会被召回。调低此阈值预期会召回更多文本切片,但可能导致召回一些相关度较低的文本切片;相反,提高此阈值会减少召回的文本切片。若设置得过高,则可能导致知识库丢弃相关的文本切片。
|
||||

|
||||
|
||||
|
||||
具体操作为:对知识库进行配置,开启多轮会话改写——将基于会话上下文自动调整原始输入Prompt(用户问题)以提升检索效果。使用官方向量v3(DashScope text-embedding-v3)模型,用于将原始输入Prompt和知识文本转化为数值化向量,官方向量v3模型在语种支持、输入长度和向量维度自定义化等方面,相比官方向量v2模型进行了全面升级,适用于大部分场景。选择官方排序的Rank模型,通过语义排序和文本匹配特征以确保相关性。设置20%的相似度阈值,该阈值表示允许召回的文本切片的最低相似度分数,用于筛选Rank模型返回的文本切片,即只有分数超过此数值的文本切片才会被召回。调低此阈值预期会召回更多文本切片,但可能导致召回一些相关度较低的文本切片;相反,提高此阈值会减少召回的文本切片。若设置得过高,则可能导致知识库丢弃相关的文本切片。
|
||||

|
||||
导入Markdown非结构化数据和工具列表结构化数据,配置数据处理策略。设置非结构化文档的元数据,比如ArcGIS Pro帮助文档的元数据为工具调用名。设置文档切分为智能切分,并将这些文本切片通过Embedding模型转换为向量。随后文本切片和向量将以键值对的形式存入向量数据库中。
|
||||
知识库创建完成后进行各个知识库针对性“命中测试”,根据召回结果调整相似度阈值。
|
||||

|
||||
知识库构建完成后会生成专属的ID供Link Tool调用。大模型会结合提示词和用户的需求选择性调用对应的知识库。特别地,当Link Tool将执行地理信息处理工具时,程序会强制其查询Arcgis pro帮助文档知识库,确保其调用信息的准确性,提高工具执行效率。
|
||||
Loading…
Reference in New Issue
Block a user