453 Commits

Author SHA1 Message Date
glide-the
301c7c3d8c
Revert "xinference的代码" 2024-03-13 20:16:42 +08:00
Leb
980f321bec
diiii
diii
2024-03-13 19:51:36 +08:00
Leb
9208627138
Create khazic 2024-03-13 19:49:02 +08:00
Leb
4939e736e1
Delete server/xinference directory 2024-03-13 16:56:53 +08:00
Leb
eec8d51a91
xinference的代码
先传 我后面来改
2024-03-13 16:37:37 +08:00
dignfei
7b2b24c0bc
使用多进程提高导入知识库的速度 (#3276) 2024-03-13 10:36:14 +08:00
liunux4odoo
08c155949b
make qwen agent work with langchain>=0.1 (#3228) 2024-03-07 19:14:33 +08:00
glide-the
87c912087c 修复glm3 agent被注释的agent会话文本结构解析代码
看起来输出的文本占位符如下,目前解析代码是有问题的
Thought <|assistant|> Action\r
```python
tool_call(action_input)
```<|observation|>
2024-03-07 13:56:07 +08:00
liunux4odoo
51301dfe6a 优化 ES 知识库
- 开发者
    - get_OpenAIClient 的 local_wrap 默认值改为 False,避免 API 服务未启动导致其它功能受阻(如Embeddings)
    - 修改 ES 知识库服务:
	- 检索策略改为 ApproxRetrievalStrategy
	- 设置 timeout 为 60, 避免文档过多导致 ConnecitonTimeout Error
    - 修改 LocalAIEmbeddings,使用多线程进行  embed_texts,效果不明显,瓶颈可能主要在提供 Embedding 的服务器上
2024-03-07 11:58:27 +08:00
liunux4odoo
1118922387 调整根目录结构,kb/logs/media/nltk_data 移动到专用数据目录(可配置,默认 data)。注意知识库文件要做相应移动 2024-03-07 09:17:11 +08:00
liunux4odoo
e06d56b8bc 重写 calculate 工具 2024-03-07 09:01:50 +08:00
liunux4odoo
1dc069fa9c model_config 中补充 oneapi 默认在线模型;/v1/models 接口支持 oneapi 平台,统一返回模型列表 2024-03-07 08:31:47 +08:00
liunux4odoo
82dfcd97e6 fix merge conflict 2024-03-06 14:02:30 +08:00
liunux4odoo
77c3fa65c2 移除 llama-index 依赖;修复 /v1/models 错误 2024-03-06 13:51:57 +08:00
liunux4odoo
d0846f88cc - pydantic 限定为 v1,并统一项目中所有 pydantic 导入路径,为以后升级 v2 做准备
- 重构 api.py:
    - 按模块划分为不同的 router
    - 添加 openai 兼容的转发接口,项目默认使用该接口以实现模型负载均衡
    - 添加 /tools 接口,可以获取/调用编写的 agent tools
    - 移除所有 EmbeddingFuncAdapter,统一改用 get_Embeddings
    - 待办:
        - /chat/chat 接口改为 openai 兼容
        - 添加 /chat/kb_chat 接口,openai 兼容
        - 改变 ntlk/knowledge_base/logs 等数据目录位置
2024-03-06 13:51:34 +08:00
liunux4odoo
65466007ae make torch & transformers optional
import pydantic Model & Field from langchain.pydantic_v1 instead of pydantic.v1
2024-03-06 13:50:06 +08:00
liunux4odoo
73eb5e2e32 move document_loaders & text_splitter under server 2024-03-06 13:49:39 +08:00
liunux4odoo
5d422ca9a1 修改模型配置方式,所有模型以 openai 兼容框架的形式接入,chatchat 自身不再加载模型。
改变 Embeddings 模型改为使用框架 API,不再手动加载,删除自定义 Embeddings Keyword 代码
修改依赖文件,移除 torch transformers 等重依赖
暂时移出对 loom 的集成

后续:
1、优化目录结构
2、检查合并中有无被覆盖的 0.2.10 内容
2024-03-06 13:49:38 +08:00
glide-the
d6620eb628 知识库在线api接入点配置在线api接入点配置更新逻辑 2024-03-06 13:47:58 +08:00
glide-the
54ffdcab8b 本地知识库搜索字段修改 2024-03-06 13:47:56 +08:00
glide-the
89b0d467ea 集成LOOM在线embedding业务 2024-03-06 13:47:56 +08:00
glide-the
307b973f26 embeddings模块集成openai plugins插件,使用统一api调用 2024-03-06 13:47:15 +08:00
glide-the
217bb61448 fix model_config是系统关键词问题 2024-03-06 13:45:15 +08:00
glide-the
4e358db525 升级agent,pydantic升级到2 2024-03-06 13:44:43 +08:00
glide-the
a7b28adc09 删除本地fschat workers 2024-03-06 13:44:43 +08:00
glide-the
175db6710e 删除本地fschat配置,pydantic升级到2 2024-03-06 13:43:26 +08:00
glide-the
cce2b55719 集成openai plugins插件 2024-03-06 13:42:01 +08:00
glide-the
49f6760702 删除fastchat的配置 2024-03-06 13:42:00 +08:00
glide-the
48fb6b83fd 集成openai plugins插件 2024-03-06 13:41:00 +08:00
liunux4odoo
8063aab7a1 webui 支持文生图 2024-03-06 13:38:12 +08:00
liunux4odoo
17ba487074 添加文生图工具 2024-03-06 13:37:46 +08:00
liunux4odoo
6f155aec1f 修复 callback 无效的问题 2024-03-06 13:37:16 +08:00
liunux4odoo
7257521e10 按照 langchain 0.1 重写 qwen agent 2024-03-06 13:37:16 +08:00
zR
df1a508e10 更新chatGLM3 langchain0.1.x Agent写法 2024-03-06 13:37:15 +08:00
zR
5df19d907b 跟新了langchain 0.1.x需要的依赖和修改的代码 2024-03-06 13:37:10 +08:00
liunux4odoo
d144ff47c9 fix: LLMChain no output when no tools selected 2024-03-06 13:36:16 +08:00
zR
36c90e2e2b 更新Agent工具返回 2024-03-06 13:36:13 +08:00
liunux4odoo
e2a46a1d0f fix callback handler 2024-03-06 13:35:41 +08:00
zR
6f04e15aed 对其ChatGLM3-6B与Qwen-14B 2024-03-06 13:35:37 +08:00
liunux4odoo
d6e91e6638 添加 qwen agent 2024-03-06 13:34:19 +08:00
zR
6d3d99639e 支持XPU,修改了glm3部分agent 2024-03-06 13:34:14 +08:00
zR
d44ce6ce21 支持多模态Grounding
1. 美化了chat的代码
2. 支持视觉工具输出Grounding任务
3. 完善工具调用的流程
2024-03-06 13:33:48 +08:00
zR
03891cc27a 更新多模态 语音 视觉的内容
1. 更新本地模型语音 视觉多模态功能并设置了对应工具
2024-03-06 13:32:45 +08:00
zR
bc225bf9f5 更新一些内容 2024-03-06 13:32:44 +08:00
zR
5714358403 修复模型选择的bug 2024-03-06 13:32:43 +08:00
zR
253168a187 Dev (#2280)
* 修复Azure 不设置Max token的bug

* 重写agent

1. 修改Agent实现方式,支持多参数,仅剩 ChatGLM3-6b和 OpenAI GPT4 支持,剩余模型将在暂时缺席Agent功能
2. 删除agent_chat 集成到llm_chat中
3. 重写大部分工具,适应新Agent

* 更新架构

* 删除web_chat,自动融合

* 移除所有聊天,都变成Agent控制

* 更新配置文件

* 更新配置模板和提示词

* 更改参数选择bug
2024-03-06 13:32:36 +08:00
Hans WAN
5460b93ba2
增加对 .htm 扩展名的显式支持 2024-02-06 16:28:41 +08:00
zR
2756996125 更新zhipuai请求方式 2024-02-06 13:50:57 +08:00
fengyaojie
9c5aa5bf2f 修复es 知识库查询bug (#2848) 2024-02-05 16:28:23 +08:00
fengyaojie
36956520ea 修复es 知识库查询bug (#2848) 2024-02-03 18:01:54 +08:00