1698 Commits

Author SHA1 Message Date
glide-the
f031ebc19e ChatOpenAI为了判断token有没有超过模型的context上下文长度,每个模型的token算法不一样 ,所以这里应该自己实现token长度计算
第一次初始化的时候,openai的类会强制使用3.5,
2024-01-13 16:11:30 +08:00
zR
0a37fe93b8
Merge pull request #2647 from zRzRzRzRzRzRzR/dev
更新即将废弃的启动内容
2024-01-13 13:00:58 +08:00
zR
6df4554c8b 更新即将废弃的启动内容 2024-01-13 13:00:01 +08:00
zR
c5985ae5be
Merge pull request #2638 from zRzRzRzRzRzRzR/dev
0.2.10 Agent更新
2024-01-12 12:50:12 +08:00
zR
3333007e13
Merge branch 'chatchat-space:dev' into dev 2024-01-12 12:45:37 +08:00
Lijia0
ff91508d8b
每次创建对象时从连接池获取连接,避免每次执行方法时都新建连接 (#2480) 2024-01-12 12:34:40 +08:00
zR
4ac510ff4a 版本更新 2024-01-12 12:02:34 +08:00
zR
269090ea66 更新0.2.x Agent,之后的Agent在0.3.x更新 2024-01-12 12:01:22 +08:00
Creation
75ff268e88
【功能新增】增强对PPT、DOC知识库文件的OCR识别 (#2013)
* 【功能新增】增强对PPT、DOC文件的OCR识别

* 【功能新增】增强对PPT、DOC文件的OCR识别

* Update mydocloader.py

---------

Co-authored-by: zR <2448370773@qq.com>
2024-01-12 11:04:50 +08:00
zR
e615932e7e Merge branch 'master' into dev 2024-01-12 10:27:15 +08:00
xldistance
a5b52e1bd1
elasticsearch更新https连接 (#2390) 2024-01-12 10:17:28 +08:00
HALIndex
29ef5dda64
Update pgvector connection method following updates in langchain_community, to resolve the 'PGVector' object has no attribute 'connect' error. (#2591) 2024-01-12 10:17:04 +08:00
yhfgyyf
03eb5e9d2e
Gemini api (#2630)
* Gemini-pro api

* Update gemini.py

* Update gemini.py
2024-01-12 10:16:31 +08:00
zR
4f07384c66
0.2.x稳定依赖更新 (#2627)
0.2.x不会支持langchain 0.1.x以上的内容
2024-01-11 19:58:25 +08:00
天地
3da68b5ce3
删除重复的引入和纠正拼写错误 (#2599)
* 1.删除重复的引入
2.拼写错误

* 1.参数或者文档拼写错误纠正
2.doc下的faq、install已经删除,更新为ES部署指南,考虑到doc下的文档经常更新,即使扫描doc文件夹,也可能为空的情况,readme.md大概率不会删除。
2024-01-11 18:45:09 +08:00
chatgpt-bot
b653c25fbc
Fix device detection and fallback logic and add 'xpu' (#2570)
Co-authored-by: zR <2448370773@qq.com>
2024-01-11 18:36:38 +08:00
高厉害
e7bba6bd0a
fix: automatically replace unsupported torch device (#2514) 2024-01-11 18:16:31 +08:00
imClumsyPanda
b5064813af
Update README.md 2024-01-11 15:06:59 +08:00
imClumsyPanda
01bac077bc
Add files via upload 2024-01-11 15:06:35 +08:00
liunux4odoo
448c99f969
fix: 过滤 sse_starlette 返回的 ping 包,避免 JSON Decoder error : ping -... (#2585) 2024-01-09 09:14:29 +08:00
imClumsyPanda
6f85119f03
Update README.md 2024-01-07 21:59:06 +08:00
imClumsyPanda
440307fa94
Add files via upload 2024-01-07 21:58:35 +08:00
liunux4odoo
17e8bc072b
fix: make_text_splitter use wrong chunk_* parameters when exception. (close #2561) (#2564) 2024-01-05 15:06:59 +08:00
liunux4odoo
67034669a9 Merge branch 'panda-master' into panda-dev 2024-01-05 15:05:38 +08:00
Zhi-guo Huang
3d66899b0f
Merge pull request #2540 from chatchat-space/hzg0601-patch-1
修复milvus_kwargs问题
2024-01-03 17:14:48 +08:00
Zhi-guo Huang
ce29d14f46
修复milvus_kwargs问题 2024-01-03 17:14:38 +08:00
imClumsyPanda
50aeb24582
Update README.md 2024-01-03 15:30:24 +08:00
imClumsyPanda
fc75c4513a
Add files via upload 2024-01-03 15:30:02 +08:00
liunux4odoo
aeb7a7e93f
增加 PDF_OCR_THRESHOLD 配置项,只对宽高超过页面一定比例(图片宽/页面宽,图片高/页面高)的图片进行 OCR。 (#2525)
这样可以避免 PDF 中一些小图片的干扰,提高非扫描版 PDF 处理速度
2024-01-02 16:28:36 +08:00
liunux4odoo
61bc815540
fix: Chinese comma in requirements (#2523) 2024-01-02 11:26:03 +08:00
liunux4odoo
7d4a6b5edf
fix: ApiRequest.agent_chat 应当返回 dict 而非 str (#2520) 2024-01-02 09:54:23 +08:00
imClumsyPanda
3c33ca7b89 Release v0.2.9 v0.2.9 2023-12-31 20:15:35 +08:00
imClumsyPanda
f1ae95c8ca fix typos 2023-12-31 20:14:01 +08:00
imClumsyPanda
719e2713ed fix typos 2023-12-31 20:13:14 +08:00
imClumsyPanda
349de9b955 Merge branch 'master' into dev 2023-12-31 19:25:01 +08:00
imClumsyPanda
e6c376fba0 update pics 2023-12-31 19:24:42 +08:00
liunux4odoo
c179230ce0
remove /chat/fastchat API endpoint (#2506) 2023-12-29 09:44:37 +08:00
liunux4odoo
3b28f40c6a update requirements: 统一各文件依赖顺序,便于比对;移出streamlit-antd-components; jq默认安装; numexpr 限定 2.8.6 以兼容 py38 2023-12-29 09:35:02 +08:00
liunux4odoo
5cccd5e7aa merge from master 2023-12-29 09:10:01 +08:00
imClumsyPanda
af38f75b29
Update README.md 2023-12-28 15:50:30 +08:00
imClumsyPanda
a8f94dd595
Add files via upload 2023-12-28 15:49:59 +08:00
liunux4odoo
1f3a32ebaf
fix Yi-34b model config error(close #2491) (#2492) 2023-12-28 07:57:25 +08:00
liunux4odoo
9ff7bef2c2
新功能:知识库管理界面支持查看、编辑、删除向量库文档 (#2471)
* 新功能:
- 知识库管理界面支持查看、编辑、删除向量库文档。暂不支持增加(aggrid添加新行比较麻烦,需要另外实现)
- 去除知识库管理界面中重建知识库和删除知识库按钮,建议用户到终端命令操作

修复:
- 所有与知识库名称、文件名称有关的数据库操作函数都改成大小写不敏感,所有路径统一为 posix 风格,避免因路径文本不一致导致数据重复和操作失效 (close #2232)

开发者:
- 添加 update_docs_by_id 函数与 API 接口。当前仅支持 FAISS,暂时未用到,未将来对知识库做更细致的修改做准备
- 统一 DocumentWithScore 与 DocumentWithVsId
- FAISS 返回的 Document.metadata 中包含 ID, 方便后续查找比对
- /knowledge_base/search_docs 接口支持 file_name, metadata 参数,可以据此检索文档

* fix bug
2023-12-26 13:44:36 +08:00
zR
2e1442a5c1 修复 Langchain 更新之后OpenAI在线embed无法正常使用问题 2023-12-23 11:36:11 +08:00
liunux4odoo
4e5bc8b399 修复: zhipu-api 请求出错时返回准确的错误信息 2023-12-22 10:17:00 +08:00
imClumsyPanda
4e69033d33
Update README.md 2023-12-21 22:19:41 +08:00
imClumsyPanda
778d2d906a
Add files via upload 2023-12-21 22:19:12 +08:00
Zhi-guo Huang
d77f778e0d
Merge pull request #2435 from chatchat-space/reranker
新增特性:使用Reranker模型对召回语句进行重排
2023-12-21 19:06:59 +08:00
hzg0601
129c765a74 新增特性:reranker对向量召回文本进行重排 2023-12-21 19:05:11 +08:00
hzg0601
5891f94c88 temporarily add reranker 2023-12-21 16:05:16 +08:00