langchain-ChatGLM
新加坡
AI生活服务 AI聊天助手
langchain-ChatGLM

基于本地知识的 ChatGLM 应用实现

标签:

🤖️ 一种利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM 应用。

💡 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发,建立了全部基于开源模型实现的本地知识问答应用。

✅ 本项目中 Embedding 选用的是 GanymedeNil/text2vec-large-chinese,LLM 选用的是 ChatGLM-6B。依托上述模型,本项目可实现全部使用开源模型离线私有部署

⛓️ 本项目实现原理如下图所示,过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。

langchain-ChatGLM

🚩 本项目未涉及微调、训练过程,但可利用微调或训练对本项目效果进行优化。

📓 ModelWhale 在线运行项目

赞赏

langchain-ChatGLM微信赞赏langchain-ChatGLM支付宝赞赏

相关导航

暂无评论

暂无评论...