RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-01-20 22:12:15 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,835 Commits 13 Branches 29 Tags
Commit Graph

202 Commits

Author SHA1 Message Date
iimm
253d4b9b9a
修复使用pgvector时get_doc_by_ids方法报错的bug及知识库文件删除后向量仍然存在的bug (#3407) 
* 修复使用pgvector无法查询到document

* 修复使用pg/es向量库无法知识库删除文档后向量库并未删除对应记录的bug
 2024-03-20 08:41:41 +08:00
hollowdjj
e48f4a24c9
修复使用Milvus数据库时上传知识库文件报错的问题 (#3155) 
milvus 返回的 Document.metadata 携带了 vector 信息，导致 API 接口序列化失败。

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
 2024-03-06 08:46:46 +08:00
Hans WAN
5460b93ba2
增加对 .htm 扩展名的显式支持 2024-02-06 16:28:41 +08:00
zR
2756996125 更新zhipuai请求方式 2024-02-06 13:50:57 +08:00
fengyaojie
9c5aa5bf2f 修复es 知识库查询bug (#2848) 2024-02-05 16:28:23 +08:00
fengyaojie
36956520ea 修复es 知识库查询bug (#2848) 2024-02-03 18:01:54 +08:00
zqt
cbfbbe5e6b 修复milvus相关bug 2024-01-30 21:28:42 +08:00
zR
042a70c09a 更新了chromadb的打印的符号 2024-01-30 14:18:14 +08:00
showmecodett
0c465faf8b perf delete unused import 2024-01-29 06:09:59 +08:00
showmecodett
c94938bc83 Support Chroma 2024-01-29 05:52:52 +08:00
zR
56d32a9908 删除掉一些没用的注释，已经不需要todo了 2024-01-22 13:42:52 +08:00
zR
17803cb7c1 gemini api 修复调用 2024-01-22 13:14:13 +08:00
zR
8ac255fc55
Merge branch 'chatchat-space:dev' into dev 2024-01-22 11:46:46 +08:00
showmecodett
71deed93df perf typing 2024-01-21 21:00:12 +08:00
showmecodett
3057c29e47 perf typing 2024-01-21 20:56:26 +08:00
zR
8c2019f8b9 pr 2775 maybe need？ 2024-01-20 22:20:02 +08:00
zR
4a77880ee1 Merge branch 'dev' of https://github.com/zRzRzRzRzRzRzR/Langchain-Chatchat into dev 2024-01-20 22:18:25 +08:00
zR
dc07cba1d4 更新依赖 2024-01-20 22:18:22 +08:00
zR
b058e1906f
Merge pull request #2704 from MSZheng20/dev 
1、ES库index_name获取兼容windows和linux系统 2、补充mappings,创建向量索引结构保持一致 3、添加ES测试方法
 2024-01-18 13:11:56 +08:00
zhengmingsheng
2ab944996e fix:1、index_name获取兼容windows和linux系统 2、补充mappings,创建向量索引结构保持一致 3、添加ES向量库的测试方法 2024-01-18 11:25:27 +08:00
zR
e5acf3d2e6
Merge pull request #2688 from MSZheng20/dev 
fix:修复ES库无法向量检索.添加mappings创建向量索引
 2024-01-17 13:22:13 +08:00
zhengmingsheng
b2ea386f60 fix:修复ES库无法使用向量检索.添加mappings创建向量索引 2024-01-17 11:24:13 +08:00
lijia
2c92cd00ae langchain新版本PGVector传入connection，插入、删除操作会回滚 2024-01-16 16:58:19 +08:00
lijia
67ae61d567 langchain新版本PGVector传入connection，插入、删除操作会回滚 2024-01-16 16:38:06 +08:00
zR
241690d593 更新运行数据库报错和项目里程碑 2024-01-14 10:46:41 +08:00
zR
6df4554c8b 更新即将废弃的启动内容 2024-01-13 13:00:01 +08:00
Lijia0
ff91508d8b
每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 (#2480) 2024-01-12 12:34:40 +08:00
Creation
75ff268e88
【功能新增】增强对PPT、DOC知识库文件的OCR识别 (#2013) 
* 【功能新增】增强对PPT、DOC文件的OCR识别

* 【功能新增】增强对PPT、DOC文件的OCR识别

* Update mydocloader.py

---------

Co-authored-by: zR <2448370773@qq.com>
 2024-01-12 11:04:50 +08:00
zR
e615932e7e Merge branch 'master' into dev 2024-01-12 10:27:15 +08:00
xldistance
a5b52e1bd1
elasticsearch更新https连接 (#2390) 2024-01-12 10:17:28 +08:00
HALIndex
29ef5dda64
Update pgvector connection method following updates in langchain_community, to resolve the 'PGVector' object has no attribute 'connect' error. (#2591) 2024-01-12 10:17:04 +08:00
天地
3da68b5ce3
删除重复的引入和纠正拼写错误 (#2599) 
* 1.删除重复的引入
2.拼写错误

* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除，更新为ES部署指南，考虑到doc下的文档经常更新，即使扫描doc文件夹，也可能为空的情况，readme.md大概率不会删除。
 2024-01-11 18:45:09 +08:00
liunux4odoo
17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. (close #2561) (#2564) 2024-01-05 15:06:59 +08:00
liunux4odoo
9ff7bef2c2
新功能：知识库管理界面支持查看、编辑、删除向量库文档 (#2471) 
* 新功能：
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加（aggrid添加新行比较麻烦，需要另外实现）
- 去除知识库管理界面中重建知识库和删除知识库按钮，建议用户到终端命令操作

修复：
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感，所有路径统一为 posix 风格，避免因路径文本不一致导致数据重复和操作失效 （close #2232）

开发者：
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS，暂时未用到，未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID， 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数，可以据此检索文档

* fix bug
 2023-12-26 13:44:36 +08:00
zR
2e1442a5c1 修复 Langchain 更新之后OpenAI在线embed无法正常使用问题 2023-12-23 11:36:11 +08:00
xldistance
332e1ccfaa
更新self.dims_length赋值错误 (#2380) 2023-12-14 19:56:39 +08:00
liunux4odoo
472a97a616 所有 chat 接口都改为 EventSourceResponse；ApiRequest 作对应修改 2023-12-13 16:53:24 +08:00
hzg0601
db008c1af8 为milvus增加额外索引与搜索配置 2023-12-13 15:52:11 +08:00
hzg0601
db1c1e2ee4 解决多次调用es创建索引失败的问题 2023-12-11 10:39:59 +08:00
liunux4odoo
2e9319846e support .xls files 2023-12-08 15:04:08 +08:00
liunux4odoo
7b70776810 fix: doc ext name error in LOADER_DICT 2023-12-08 13:59:55 +08:00
hzg0601
1fac51fe35 temporarily save faiss_cache 2023-12-06 09:45:56 +00:00
liunux4odoo
67b7c99d03
ocr 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 (#2265) 
在 requirements 和 Wiki 中增加对可选文档加载器 SDK 的说明 ( close #2264 )
 2023-12-04 09:39:56 +08:00
liunux4odoo
7d2de47bcf
文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 (#2256) 
* EmbeddingFunAdapter 支持异步操作；文件对话和知识库对话 API 接口实现全异步操作，防止阻塞

* 修复： 使 list_files_from_folder 返回相对路径
 2023-12-02 19:22:44 +08:00
liunux4odoo
509dee0425 fix: empty docs error in KnowledgeFile 2023-11-29 11:33:43 +08:00
glide-the
279ffdf117 单个知识库根据doc_ids摘要 2023-11-25 23:31:13 +08:00
glide-the
248db46187 Merge branch 'dev_summary' into dev_command_summary 
实现summary_chunk 文档分段总结业务实现
使用 MapReduceDocumentsChain 生成摘要
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 22:30:41 +08:00
glide-the
f57837c07a Merge branch 'dev_summary' into dev_tmp 
# Conflicts:
#	server/api.py
#	server/knowledge_base/kb_doc_api.py
#	server/knowledge_base/kb_service/base.py
#	server/knowledge_base/migrate.py
 2023-11-25 21:02:46 +08:00
zR
1b0cf67a57
支持软连接的知识库 (#2167) 
* GLM3支持传入提示词

支持传入提示词的Agent ChatGLM3-6B

* 软连接处理

1. 有效的软连接处理，参考了 #2125
2. 更新了依赖，现在fschat原生支持GLM3的全功能

* 更新了支持的模型列表和依赖
1. 推荐用户使用GLM3-6B取代2代GLM模型
2. 推荐用户使用性能更强的bge模型
3 推荐使用vllm和torch的最新稳定版本
 2023-11-24 22:47:55 +08:00
liunux4odoo
aae4144476
数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 (#2153) 
修复：
- 上传知识库文件名称包括子目录时，自动创建子目录
 2023-11-23 19:54:00 +08:00