RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-01-24 07:43:16 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,830 Commits 13 Branches 29 Tags
Commit Graph

120 Commits

Author SHA1 Message Date
glide-the
cce2b55719 集成openai plugins插件 2024-03-06 13:42:01 +08:00
glide-the
48fb6b83fd 集成openai plugins插件 2024-03-06 13:41:00 +08:00
liunux4odoo
8063aab7a1 webui 支持文生图 2024-03-06 13:38:12 +08:00
liunux4odoo
6f155aec1f 修复 callback 无效的问题 2024-03-06 13:37:16 +08:00
liunux4odoo
7257521e10 按照 langchain 0.1 重写 qwen agent 2024-03-06 13:37:16 +08:00
zR
df1a508e10 更新chatGLM3 langchain0.1.x Agent写法 2024-03-06 13:37:15 +08:00
zR
5df19d907b 跟新了langchain 0.1.x需要的依赖和修改的代码 2024-03-06 13:37:10 +08:00
liunux4odoo
d144ff47c9 fix: LLMChain no output when no tools selected 2024-03-06 13:36:16 +08:00
zR
36c90e2e2b 更新Agent工具返回 2024-03-06 13:36:13 +08:00
liunux4odoo
e2a46a1d0f fix callback handler 2024-03-06 13:35:41 +08:00
zR
6f04e15aed 对其ChatGLM3-6B与Qwen-14B 2024-03-06 13:35:37 +08:00
liunux4odoo
d6e91e6638 添加 qwen agent 2024-03-06 13:34:19 +08:00
zR
6d3d99639e 支持XPU，修改了glm3部分agent 2024-03-06 13:34:14 +08:00
zR
d44ce6ce21 支持多模态Grounding 
1. 美化了chat的代码
2. 支持视觉工具输出Grounding任务
3. 完善工具调用的流程
 2024-03-06 13:33:48 +08:00
zR
03891cc27a 更新多模态 语音 视觉的内容 
1. 更新本地模型语音 视觉多模态功能并设置了对应工具
 2024-03-06 13:32:45 +08:00
zR
bc225bf9f5 更新一些内容 2024-03-06 13:32:44 +08:00
zR
5714358403 修复模型选择的bug 2024-03-06 13:32:43 +08:00
zR
253168a187 Dev (#2280) 
* 修复Azure 不设置Max token的bug

* 重写agent

1. 修改Agent实现方式，支持多参数，仅剩 ChatGLM3-6b和 OpenAI GPT4 支持，剩余模型将在暂时缺席Agent功能
2. 删除agent_chat 集成到llm_chat中
3. 重写大部分工具，适应新Agent

* 更新架构

* 删除web_chat,自动融合

* 移除所有聊天，都变成Agent控制

* 更新配置文件

* 更新配置模板和提示词

* 更改参数选择bug
 2024-03-06 13:32:36 +08:00
zR
6b61d917a1 支持GLM4 2024-01-22 11:48:13 +08:00
zR
269090ea66 更新0.2.x Agent，之后的Agent在0.3.x更新 2024-01-12 12:01:22 +08:00
liunux4odoo
c179230ce0
remove /chat/fastchat API endpoint (#2506) 2023-12-29 09:44:37 +08:00
liunux4odoo
5cccd5e7aa merge from master 2023-12-29 09:10:01 +08:00
liunux4odoo
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 (#2471) 
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作

修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）

开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档

* fix bug
 2023-12-26 13:44:36 +08:00
hzg0601
129c765a74 新增特性:reranker对向量召回文本进行重排 2023-12-21 19:05:11 +08:00
hzg0601
5891f94c88 temporarily add reranker 2023-12-21 16:05:16 +08:00
Astlvk
7e01e82470
fixed 迭代器参数传递错误，知识库问答报错TypeError: unhashable type: 'list' (#2383) 
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2023-12-15 07:54:36 +08:00
xldistance
7e8391eb55
修复knowledge_base_chat_iterator传参错误 (#2386) 2023-12-15 07:53:36 +08:00
liunux4odoo
472a97a616 所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改 2023-12-13 16:53:24 +08:00
liunux4odoo
c8fef3380c merge from dev 2023-12-13 16:52:40 +08:00
liunux4odoo
2604c9e761
fix: prompt template name error in file_chat (#2366) 2023-12-12 21:12:33 +08:00
liunux4odoo
7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 (#2256) 
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞

* 修复： 使 list_files_from_folder 返回相对路径
 2023-12-02 19:22:44 +08:00
liunux4odoo
4fa28c71b1
修复：chat 接口默认使用 memory获取10条历史消息，导致最终拼接的prompt出错 (#2247) 
修改后默认使用用户传入的history，只有同时传入conversation_id和history_len时才从数据库读取历史消息
使用memory还有一个问题，对话角色是固定的，不能适配不同的模型。

其它：注释一些无用的 print
 2023-12-01 11:35:43 +08:00
imClumsyPanda
c34b4136c0 update file format 2023-11-30 23:33:48 +08:00
zR
b7a50daa0f
更新Langchain依赖到0.0.342以上版本 (#2212) 2023-11-29 15:08:13 +08:00
liunux4odoo
7d580d9a47 修复：*_chat 接口中重设 max_tokens 时导致 local variable 'max_tokens' referenced before assignment 错误 2023-11-28 21:00:00 +08:00
liunux4odoo
8b695dba03 *_chat 接口中，当 max_tokens=0时，将其设为 None,避免 swagger ui 中默认值为0时访问出错 2023-11-26 16:47:58 +08:00
liunux4odoo
1de4258aa0
给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。 (#2169) 
* 给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。
/chat/chat 接口 conversation_id参数改为默认 ""，避免 swagger 页面默认值错误导致历史消息失效

* 修复在线模型一些bug
 2023-11-25 13:51:07 +08:00
liunux4odoo
aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00
qiankunli
1c97673d41
feat: add db memory (#2046) 
* feat: add db memory
* WEBUI 添加多会话功能

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
 2023-11-22 18:38:26 +08:00
liunux4odoo
3b3d948d27
添加文件对话模式 (#2071) 
开发者：
- 添加 /chat/file_chat, /knowledge_base/upload_temp_docs API 接口
- 添加 CACHED_MEMO_VS_NUM, BASE_TEMP_DIR 配置项
 2023-11-16 07:39:27 +08:00
zR
21b079d751
GLM3支持传入提示词 (#2058) 
支持传入提示词的Agent ChatGLM3-6B
 2023-11-14 17:45:22 +08:00
zR
91ff0574df
支持ChatGLM3-6B (#2021) 
* 更新依赖和配置文件中的Agent模型

* 支持基础的glm3_agent
 2023-11-12 16:45:50 +08:00
liunux4odoo
b51ba11f45
支持通过配置项同时启动多个模型，将Wiki纳入samples知识库 (#2002) 
新功能：
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表，同时启动多个模型
- 将 wiki 纳入 samples 知识库

依赖变化：
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误，1.28.0会有无限刷新错误

修复优化：
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
 2023-11-09 22:15:52 +08:00
zR
57612d5232
修复一些bug (#1965) 
* 修改一些bug

* 更新掉了一部分之前的bug
 2023-11-03 18:56:27 +08:00
qiankunli
fa906b33a8
添加对话评分与历史消息保存功能 (#1940) 
* 新功能：
- WEBUI 添加对话评分功能
- 增加 /chat/feedback 接口，用于接收对话评分
- /chat/chat 接口返回值由 str 改为 {"text":str, "chat_history_id": str}
- init_database.py 添加 --create-tables --clear-tables 参数

依赖：
- streamlit-chatbox==1.1.11

开发者：
- ChatHistoryModel 的 id 字段支持自动生成
- SAVE_CHAT_HISTORY 改到 basic_config.py

* 修复：点击反馈后页面未刷新

---------

Co-authored-by: liqiankun.1111 <liqiankun.1111@bytedance.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2023-11-03 11:31:45 +08:00
liunux4odoo
d8e15b57ba
知识库支持子目录（不包括temp和tmp开头的目录），文件相对路径总长度不可超过255 (#1928) 2023-10-31 16:59:40 +08:00
liunux4odoo
65592a45c3
支持在线 Embeddings, Lite 模式支持所有知识库相关功能 (#1924) 
新功能：
- 支持在线 Embeddings：zhipu-api, qwen-api, minimax-api, qianfan-api
- API 增加 /other/embed_texts 接口
- init_database.py 增加 --embed-model 参数，可以指定使用的嵌入模型（本地或在线均可）
- 对于 FAISS 知识库，支持多向量库，默认位置：{KB_PATH}/vector_store/{embed_model}
- Lite 模式支持所有知识库相关功能。此模式下最主要的限制是：
  - 不能使用本地 LLM 和 Embeddings 模型
  - 知识库不支持 PDF 文件
- init_database.py 重建知识库时不再默认情况数据库表，增加 clear-tables 参数手动控制。
- API 和 WEBUI 中 score_threshold 参数范围改为 [0, 2]，以更好的适应在线嵌入模型

问题修复：
- API 中 list_config_models 会删除 ONLINE_LLM_MODEL 中的敏感信息，导致第二轮API请求错误

开发者：
- 统一向量库的识别：以（kb_name,embed_model）为判断向量库唯一性的依据，避免 FAISS 知识库缓存加载逻辑错误
- KBServiceFactory.get_service_by_name 中添加 default_embed_model 参数，用于在构建新知识库时设置 embed_model
- 优化 kb_service 中 Embeddings 操作：
  - 统一加载接口： server.utils.load_embeddings，利用全局缓存避免各处 Embeddings 传参
  - 统一文本嵌入接口：server.knowledge_base.kb_service.base.[embed_texts, embed_documents]
- 重写 normalize 函数，去除对 scikit-learn/scipy 的依赖
 2023-10-31 14:26:50 +08:00
zR
aa7c580974
Dev (#1902) 
修改Agent的内容
 2023-10-27 22:53:43 +08:00
zR
bb72d9ac26
支持GLM (#1896) 
* 支持glm3
 2023-10-27 17:56:27 +08:00
zR
24d1e28a07
一些细节优化 (#1891) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 11:52:44 +08:00