RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-01-19 21:37:20 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,884 Commits 13 Branches 29 Tags
Commit Graph

214 Commits

Author SHA1 Message Date
panhong
d63bf0bda5
添加 react 编写的新版 WEBUI (#3417) 
* feat:提交前端代码

* feat:提交logo样式切换

* feat:替换avatar、部分位置icon、chatchat相关说明、git链接、Wiki链接、关于、设置、反馈与建议等功能，关闭lobehub自检更新功能

* fix:移除多余代码

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2024-03-19 14:30:26 +08:00
Sumkor
4bdb69baf3
fix markdown header split (#1825) (#3324) 2024-03-15 07:17:53 +08:00
dignfei
7b2b24c0bc
使用多进程提高导入知识库的速度 (#3276) 2024-03-13 10:36:14 +08:00
liunux4odoo
51301dfe6a 优化 ES 知识库 
- 开发者
    - get_OpenAIClient 的 local_wrap 默认值改为 False，避免 API 服务未启动导致其它功能受阻（如Embeddings）
    - 修改 ES 知识库服务：
	- 检索策略改为 ApproxRetrievalStrategy
	- 设置 timeout 为 60， 避免文档过多导致 ConnecitonTimeout Error
    - 修改 LocalAIEmbeddings，使用多线程进行  embed_texts，效果不明显，瓶颈可能主要在提供 Embedding 的服务器上
 2024-03-07 11:58:27 +08:00
liunux4odoo
d0846f88cc - pydantic 限定为 v1，并统一项目中所有 pydantic 导入路径，为以后升级 v2 做准备 
- 重构 api.py：
    - 按模块划分为不同的 router
    - 添加 openai 兼容的转发接口，项目默认使用该接口以实现模型负载均衡
    - 添加 /tools 接口，可以获取/调用编写的 agent tools
    - 移除所有 EmbeddingFuncAdapter，统一改用 get_Embeddings
    - 待办：
        - /chat/chat 接口改为 openai 兼容
        - 添加 /chat/kb_chat 接口，openai 兼容
        - 改变 ntlk/knowledge_base/logs 等数据目录位置
 2024-03-06 13:51:34 +08:00
liunux4odoo
65466007ae make torch & transformers optional 
import pydantic Model & Field from langchain.pydantic_v1 instead of pydantic.v1
 2024-03-06 13:50:06 +08:00
liunux4odoo
73eb5e2e32 move document_loaders & text_splitter under server 2024-03-06 13:49:39 +08:00
liunux4odoo
5d422ca9a1 修改模型配置方式，所有模型以 openai 兼容框架的形式接入，chatchat 自身不再加载模型。 
改变 Embeddings 模型改为使用框架 API，不再手动加载，删除自定义 Embeddings Keyword 代码
修改依赖文件，移除 torch transformers 等重依赖
暂时移出对 loom 的集成

后续：
1、优化目录结构
2、检查合并中有无被覆盖的 0.2.10 内容
 2024-03-06 13:49:38 +08:00
glide-the
d6620eb628 知识库在线api接入点配置在线api接入点配置更新逻辑 2024-03-06 13:47:58 +08:00
glide-the
89b0d467ea 集成LOOM在线embedding业务 2024-03-06 13:47:56 +08:00
glide-the
307b973f26 embeddings模块集成openai plugins插件，使用统一api调用 2024-03-06 13:47:15 +08:00
glide-the
cce2b55719 集成openai plugins插件 2024-03-06 13:42:01 +08:00
zR
5df19d907b 跟新了langchain 0.1.x需要的依赖和修改的代码 2024-03-06 13:37:10 +08:00
zR
253168a187 Dev (#2280) 
* 修复Azure 不设置Max token的bug

* 重写agent

1. 修改Agent实现方式，支持多参数，仅剩 ChatGLM3-6b和 OpenAI GPT4 支持，剩余模型将在暂时缺席Agent功能
2. 删除agent_chat 集成到llm_chat中
3. 重写大部分工具，适应新Agent

* 更新架构

* 删除web_chat,自动融合

* 移除所有聊天，都变成Agent控制

* 更新配置文件

* 更新配置模板和提示词

* 更改参数选择bug
 2024-03-06 13:32:36 +08:00
Hans WAN
5460b93ba2
增加对 .htm 扩展名的显式支持 2024-02-06 16:28:41 +08:00
zR
2756996125 更新zhipuai请求方式 2024-02-06 13:50:57 +08:00
fengyaojie
9c5aa5bf2f 修复es 知识库查询bug (#2848) 2024-02-05 16:28:23 +08:00
fengyaojie
36956520ea 修复es 知识库查询bug (#2848) 2024-02-03 18:01:54 +08:00
zqt
cbfbbe5e6b 修复milvus相关bug 2024-01-30 21:28:42 +08:00
zR
042a70c09a 更新了chromadb的打印的符号 2024-01-30 14:18:14 +08:00
showmecodett
0c465faf8b perf delete unused import 2024-01-29 06:09:59 +08:00
showmecodett
c94938bc83 Support Chroma 2024-01-29 05:52:52 +08:00
zR
56d32a9908 删除掉一些没用的注释，已经不需要todo了 2024-01-22 13:42:52 +08:00
zR
17803cb7c1 gemini api 修复调用 2024-01-22 13:14:13 +08:00
zR
8ac255fc55
Merge branch 'chatchat-space:dev' into dev 2024-01-22 11:46:46 +08:00
showmecodett
71deed93df perf typing 2024-01-21 21:00:12 +08:00
showmecodett
3057c29e47 perf typing 2024-01-21 20:56:26 +08:00
zR
8c2019f8b9 pr 2775 maybe need？ 2024-01-20 22:20:02 +08:00
zR
4a77880ee1 Merge branch 'dev' of https://github.com/zRzRzRzRzRzRzR/Langchain-Chatchat into dev 2024-01-20 22:18:25 +08:00
zR
dc07cba1d4 更新依赖 2024-01-20 22:18:22 +08:00
zR
b058e1906f
Merge pull request #2704 from MSZheng20/dev 
1、ES库index_name获取兼容windows和linux系统 2、补充mappings,创建向量索引结构保持一致 3、添加ES测试方法
 2024-01-18 13:11:56 +08:00
zhengmingsheng
2ab944996e fix:1、index_name获取兼容windows和linux系统 2、补充mappings,创建向量索引结构保持一致 3、添加ES向量库的测试方法 2024-01-18 11:25:27 +08:00
zR
e5acf3d2e6
Merge pull request #2688 from MSZheng20/dev 
fix:修复ES库无法向量检索.添加mappings创建向量索引
 2024-01-17 13:22:13 +08:00
zhengmingsheng
b2ea386f60 fix:修复ES库无法使用向量检索.添加mappings创建向量索引 2024-01-17 11:24:13 +08:00
lijia
2c92cd00ae langchain新版本PGVector传入connection，插入、删除操作会回滚 2024-01-16 16:58:19 +08:00
lijia
67ae61d567 langchain新版本PGVector传入connection，插入、删除操作会回滚 2024-01-16 16:38:06 +08:00
zR
241690d593 更新运行数据库报错和项目里程碑 2024-01-14 10:46:41 +08:00
zR
6df4554c8b 更新即将废弃的启动内容 2024-01-13 13:00:01 +08:00
Lijia0
ff91508d8b
每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 (#2480) 2024-01-12 12:34:40 +08:00
Creation
75ff268e88
【功能新增】增强对PPT、DOC知识库文件的OCR识别 (#2013) 
* 【功能新增】增强对PPT、DOC文件的OCR识别

* 【功能新增】增强对PPT、DOC文件的OCR识别

* Update mydocloader.py

---------

Co-authored-by: zR <2448370773@qq.com>
 2024-01-12 11:04:50 +08:00
zR
e615932e7e Merge branch 'master' into dev 2024-01-12 10:27:15 +08:00
xldistance
a5b52e1bd1
elasticsearch更新https连接 (#2390) 2024-01-12 10:17:28 +08:00
HALIndex
29ef5dda64
Update pgvector connection method following updates in langchain_community, to resolve the 'PGVector' object has no attribute 'connect' error. (#2591) 2024-01-12 10:17:04 +08:00
天地
3da68b5ce3
删除重复的引入和纠正拼写错误 (#2599) 
* 1.删除重复的引入
2.拼写错误

* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除，更新为ES部署指南，考虑到doc下的文档经常更新，即使扫描doc文件夹，也可能为空的情况，readme.md大概率不会删除。
 2024-01-11 18:45:09 +08:00
liunux4odoo
17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. (close #2561) (#2564) 2024-01-05 15:06:59 +08:00
liunux4odoo
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 (#2471) 
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作

修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）

开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档

* fix bug
 2023-12-26 13:44:36 +08:00
zR
2e1442a5c1 修复 Langchain 更新之后OpenAI在线embed无法正常使用问题 2023-12-23 11:36:11 +08:00
xldistance
332e1ccfaa
更新self.dims_length赋值错误 (#2380) 2023-12-14 19:56:39 +08:00
liunux4odoo
472a97a616 所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改 2023-12-13 16:53:24 +08:00
hzg0601
db008c1af8 为milvus增加额外索引与搜索配置 2023-12-13 15:52:11 +08:00