imClumsyPanda
995c5e300e
Pre-release v0.3.0 ( #4159 )
...
* publish 0.2.10 (#2797 )
新功能:
- 优化 PDF 文件的 OCR,过滤无意义的小图片 by @liunux4odoo #2525
- 支持 Gemini 在线模型 by @yhfgyyf #2630
- 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
- elasticsearch更新https连接 by @xldistance #2390
- 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
- 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
- 每次创建对象时从连接池获取连接,避免每次执行方法时都新建连接 by @Lijia0 #2480
- 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
- 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
- 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
- 添加日文版 readme by @eltociear #2787
修复:
- langchain 更新后,PGVector 向量库连接错误 by @HALIndex #2591
- Minimax's model worker 错误 by @xyhshen
- ES库无法向量检索.添加mappings创建向量索引 by MSZheng20 #2688
* Update README.md
* Add files via upload
* Update README.md
* 修复PDF旋转的BUG
* Support Chroma
* perf delete unused import
* 忽略测试代码
* 更新文件
* API前端丢失问题解决
* 更新了chromadb的打印的符号
* autodl代号错误
* Update README.md
* Update README.md
* Update README.md
* 修复milvus相关bug
* 支持星火3.5模型
* 修复es 知识库查询bug (#2848 )
* 修复es 知识库查询bug (#2848 )
* 更新zhipuai请求方式
* 增加对 .htm 扩展名的显式支持
* 更新readme
* Docker镜像制作与K8S YAML部署操作说明 (#2892 )
* Dev (#2280 )
* 修复Azure 不设置Max token的bug
* 重写agent
1. 修改Agent实现方式,支持多参数,仅剩 ChatGLM3-6b和 OpenAI GPT4 支持,剩余模型将在暂时缺席Agent功能
2. 删除agent_chat 集成到llm_chat中
3. 重写大部分工具,适应新Agent
* 更新架构
* 删除web_chat,自动融合
* 移除所有聊天,都变成Agent控制
* 更新配置文件
* 更新配置模板和提示词
* 更改参数选择bug
* 修复模型选择的bug
* 更新一些内容
* 更新多模态 语音 视觉的内容
1. 更新本地模型语音 视觉多模态功能并设置了对应工具
* 支持多模态Grounding
1. 美化了chat的代码
2. 支持视觉工具输出Grounding任务
3. 完善工具调用的流程
* 支持XPU,修改了glm3部分agent
* 添加 qwen agent
* 对其ChatGLM3-6B与Qwen-14B
* fix callback handler
* 更新Agent工具返回
* fix: LLMChain no output when no tools selected
* 跟新了langchain 0.1.x需要的依赖和修改的代码
* 更新chatGLM3 langchain0.1.x Agent写法
* 按照 langchain 0.1 重写 qwen agent
* 修复 callback 无效的问题
* 添加文生图工具
* webui 支持文生图
* 集成openai plugins插件
* 删除fastchat的配置
* 增加openai插件
* 集成openai plugins插件
* 更新模型执行列表和今晚修改的内容
* 集成openai_plugins/imitater插件
* 集成openai_plugins/imitater插件
* 集成openai_plugins/imitater插件
* 减少错误的显示
* 标准配置
* vllm参数配置
* 增加智谱插件
* 删除本地fschat配置
* 删除本地fschat配置,pydantic升级到2
* 删除本地fschat workers
* openai-plugins-list.json
* 升级agent,pydantic升级到2
* fix model_config是系统关键词问题
* embeddings模块集成openai plugins插件,使用统一api调用
* loom模型服务update_store更新逻辑
* 集成LOOM在线embedding业务
* 本地知识库搜索字段修改
* 知识库在线api接入点配置在线api接入点配置更新逻辑
* Update model_config.py.example
* 修改模型配置方式,所有模型以 openai 兼容框架的形式接入,chatchat 自身不再加载模型。
改变 Embeddings 模型改为使用框架 API,不再手动加载,删除自定义 Embeddings Keyword 代码
修改依赖文件,移除 torch transformers 等重依赖
暂时移出对 loom 的集成
后续:
1、优化目录结构
2、检查合并中有无被覆盖的 0.2.10 内容
* move document_loaders & text_splitter under server
* make torch & transformers optional
import pydantic Model & Field from langchain.pydantic_v1 instead of pydantic.v1
* - pydantic 限定为 v1,并统一项目中所有 pydantic 导入路径,为以后升级 v2 做准备
- 重构 api.py:
- 按模块划分为不同的 router
- 添加 openai 兼容的转发接口,项目默认使用该接口以实现模型负载均衡
- 添加 /tools 接口,可以获取/调用编写的 agent tools
- 移除所有 EmbeddingFuncAdapter,统一改用 get_Embeddings
- 待办:
- /chat/chat 接口改为 openai 兼容
- 添加 /chat/kb_chat 接口,openai 兼容
- 改变 ntlk/knowledge_base/logs 等数据目录位置
* 移除 llama-index 依赖;修复 /v1/models 错误
* 原因:windows下启动失败提示补充python-multipart包 (#3184 )
改动:requirements添加python-multipart==0.0.9
版本:0.0.9 Requires: Python >=3.8
Co-authored-by: XuCai <liangxc@akulaku.com>
* 添加 xinference 本地模型和自定义模型配置 UI: streamlit run model_loaders/xinference_manager.py
* update xinference manager ui
* fix merge conflict
* model_config 中补充 oneapi 默认在线模型;/v1/models 接口支持 oneapi 平台,统一返回模型列表
* 重写 calculate 工具
* 调整根目录结构,kb/logs/media/nltk_data 移动到专用数据目录(可配置,默认 data)。注意知识库文件要做相应移动
* update kb_config.py.example
* 优化 ES 知识库
- 开发者
- get_OpenAIClient 的 local_wrap 默认值改为 False,避免 API 服务未启动导致其它功能受阻(如Embeddings)
- 修改 ES 知识库服务:
- 检索策略改为 ApproxRetrievalStrategy
- 设置 timeout 为 60, 避免文档过多导致 ConnecitonTimeout Error
- 修改 LocalAIEmbeddings,使用多线程进行 embed_texts,效果不明显,瓶颈可能主要在提供 Embedding 的服务器上
* 修复glm3 agent被注释的agent会话文本结构解析代码
看起来输出的文本占位符如下,目前解析代码是有问题的
Thought <|assistant|> Action\r
```python
tool_call(action_input)
```<|observation|>
* make qwen agent work with langchain>=0.1 (#3228 )
* make xinference model manager support xinference 0.9.x
* 使用多进程提高导入知识库的速度 (#3276 )
* xinference的代码
先传 我后面来改
* Delete server/xinference directory
* Create khazic
* diiii
diii
* Revert "xinference的代码"
* fix markdown header split (#1825 ) (#3324 )
* dify model_providers configuration
This module provides the interface for invoking and authenticating various models, and offers Dify a unified information and credentials form rule for model providers.
* fix merge conflict: langchain Embeddings not imported in server.utils
* 添加 react 编写的新版 WEBUI (#3417 )
* feat:提交前端代码
* feat:提交logo样式切换
* feat:替换avatar、部分位置icon、chatchat相关说明、git链接、Wiki链接、关于、设置、反馈与建议等功能,关闭lobehub自检更新功能
* fix:移除多余代码
---------
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
* model_providers bootstrap
* model_providers bootstrap
* update to pydantic v2 (#3486 )
* 使用poetry管理项目
* 使用poetry管理项目
* dev分支解决pydantic版本冲突问题,增加ollama配置,支持ollama会话和向量接口 (#3508 )
* dev分支解决pydantic版本冲突问题,增加ollama配置,支持ollama会话和向量接口
1、因dev版本的pydantic升级到了v2版本,由于在class History(BaseModel)中使用了from server.pydantic_v1,而fastapi的引用已变为pydantic的v2版本,所以fastapi用v2版本去校验用v1版本定义的对象,当会话历史histtory不为空的时候,会报错:TypeError: BaseModel.validate() takes 2 positional arguments but 3 were given。经测试,解方法为在class History(BaseModel)中也使用v2版本即可;
2、配置文件参照其它平台配置,增加了ollama平台相关配置,会话模型用户可根据实际情况自行添加,向量模型目前支持nomic-embed-text(必须升级ollama到0.1.29以上)。
3、因ollama官方只在会话部分对openai api做了兼容,向量api暂未适配,好在langchain官方库支持OllamaEmbeddings,因而在get_Embeddings方法中添加了相关支持代码。
* 修复 pydantic 升级到 v2 后 DocumentWithVsID 和 /v1/embeddings 兼容性问题
---------
Co-authored-by: srszzw <srszzw@163.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
* 对python的要求降级到py38
* fix bugs; make poetry using tsinghua mirror of pypi
* update gitignore; remove unignored files
* update wiki sub module
* 20240326
* 20240326
* qqqq
* 删除历史文件
* 移动项目模块
* update .gitignore; fix model version error in api_schemas
* 封装ModelManager
* - 重写 tool 部分: (#3553 )
- 简化 tool 的定义方式
- 所有 tool 和 tool_config 支持热加载
- 修复:json_schema_extra warning
* 使用yaml加载用户配置适配器
* 格式化代码
* 格式化
* 优化工具定义;添加 openai 兼容的统一 chat 接口 (#3570 )
- 修复:
- Qwen Agent 的 OutputParser 不再抛出异常,遇到非 COT 文本直接返回
- CallbackHandler 正确处理工具调用信息
- 重写 tool 定义方式:
- 添加 regist_tool 简化 tool 定义:
- 可以指定一个用户友好的名称
- 自动将函数的 __doc__ 作为 tool.description
- 支持用 Field 定义参数,不再需要额外定义 ModelSchema
- 添加 BaseToolOutput 封装 tool 返回结果,以便同时获取原始值、给LLM的字符串值
- 支持工具热加载(有待测试)
- 增加 openai 兼容的统一 chat 接口,通过 tools/tool_choice/extra_body 不同参数组合支持:
- Agent 对话
- 指定工具调用(如知识库RAG)
- LLM 对话
- 根据后端功能更新 webui
* 修复:search_local_knowledge_base 工具返回值错误;/tools 路由错误;webui 中“正在思考”一直显示 (#3571 )
* 添加 openai 兼容的 files 接口 (#3573 )
* 使用BootstrapWebBuilder适配RESTFulOpenAIBootstrapBaseWeb加载
* 格式化和代码检查说明
* 模型列表适配
* make format
* chat_completions接口报文适配
* make format
* xinference 插件示例
* 一些默认参数
* exec path fix
* 解决ollama部署的qwen,执行agent,返回的json格式不正确问题。
* provider_configuration.py
查询所有的平台信息,包含计费策略和配置schema_validators(参数必填信息校验规则)
/workspaces/current/model-providers
查询平台模型分类的详细默认信息,包含了模型类型,模型参数,模型状态
workspaces/current/models/model-types/{model_type}
* 开发手册
* 兼容model_providers,集成webui及API中平台配置的初始化 (#3625 )
* provider_configuration init of MODEL_PLATFORMS
* 开发手册
* 兼容model_providers,集成webui及API中平台配置的初始化
* Dev model providers (#3628 )
* gemini 初始化参数问题
* gemini 同步工具调用
* embedding convert endpoint
* 修复 --api -w命令
* /v1/models 接口返回值由 List[Model] 改为 {'data': List[Model]},兼容最新版 xinference
* 3.8兼容 (#3769 )
* 增加使用说明
* 3.8兼容性配置
* fix
* formater
* 不同平台兼容测试用例
* embedding兼容
* 增加日志信息
* pip源仓库设置,一些版本问题,启动说明 配置说明 (#3854 )
* 仓库设置,一些版本问题
* pip源仓库设置,一些版本问题,启动说明
* 配置说明
* 泛型标记错误 (#3855 )
* 仓库设置,一些版本问题
* pip源仓库设置,一些版本问题,启动说明
* 配置说明
* 发布的依赖信息
* 泛型标记错误
* 泛型标记错误
* CICD github action build publish pypi、Release Tag (#3886 )
* 测试用例
* CICD 流程
* CICD 流程
* CICD 流程
* 一些agent数据处理的问题,model_runtime模块的说明文档 (#3943 )
* 一些agent数据出来的问题
* Changes:
- Translated and updated the Model Runtime documentation to reflect the latest changes and features.
- Clarified the decoupling benefits of the Model Runtime module from the Chatchat service.
- Removed outdated information regarding the model configuration storage module.
- Detailed the retained functionalities post-removal of the Dify configuration page.
- Provided a comprehensive overview of the Model Runtime's three-layered structure.
- Included the status of the `fetch-from-remote` feature and its non-implementation in Dify.
- Added instructions for custom service provider model capabilities.
* - 新功能 (#3944 )
- streamlit 更新到 1.34,webui 支持 Dialog 操作
- streamlit-chatbox 更新到 1.1.12,更好的多会话支持
- 开发者
- 在 API 中增加项目图片路由(/img/{file_name}),方便前端使用
* 修改包名
* 修改包信息
* ollama配置解析问题
* 用户配置动态加载 (#3951 )
* version = "0.3.0.20240506"
* version = "0.3.0.20240506"
* version = "0.3.0.20240506"
* version = "0.3.0.20240506"
* 启动说明
* 一些bug
* 修复了一些配置重载的bug
* 配置的加载行为修改
* 配置的加载行为修改
* agent代码优化
* ollama 代码升级,使用openai协议
* 支持deepseek客户端
* contributing (#4043 )
* 添加了贡献说明 docs/contributing,包含了一些代码仓库说明和开发规范,以及在model_providers下面编写了一些单元测试的示例
* 关于providers的配置说明
* python3.8兼容
* python3.8兼容
* ollama兼容
* ollama兼容
* 一些兼容 pydantic<3,>=1.9.0 的代码,
* 一些兼容 pydantic<3,>=1.9.0 model_config 的代码,
* make format
* test
* 更新版本
* get_img_base64
* get_img_base64
* get_img_base64
* get_img_base64
* get_img_base64
* 统一模型类型编码
* 向量处理问题
* 优化目录结构 (#4058 )
* 优化目录结构
* 修改一些测试问题
---------
Co-authored-by: glide-the <2533736852@qq.com>
* repositories
* 调整日志
* 调整日志zdf
* 增加可选依赖extras
* feat:Added some documentation. (#4085 )
* feat:Added some documentation.
* feat:Added some documentation.
* feat:Added some documentation.
---------
Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>
* fix code.md typos
* fix chatchat-server/pyproject.toml typos
* feat:README (#4118 )
Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>
* 初始化数据库集成model_providers
* 关闭守护进程
* 1、修改知识库列表接口,返回全量属性字段,同时修改受影响的相关代码。 (#4119 )
2、run_in_process_pool改为run_in_thread_pool,解决兼容性问题。
3、poetry配置文件修复。
* 动态更新Prompt中的知识库描述信息,使大模型更容易判断使用哪个知识库。 (#4121 )
* 1、修改知识库列表接口,返回全量属性字段,同时修改受影响的相关代码。
2、run_in_process_pool改为run_in_thread_pool,解决兼容性问题。
3、poetry配置文件修复。
* 1、动态更新Prompt中的知识库描述信息,使大模型更容易判断使用哪个知识库。
* fix: 补充 xinference 配置信息 (#4123 )
* feat:README
* feat:补充 xinference 平台 llm 和 embedding 模型配置.
---------
Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>
* 知识库工具的下拉列表改为动态获取,不必重启服务。 (#4126 )
* 1、知识库工具的下拉列表改为动态获取,不必重启服务。
* update README and imgs
* update README and imgs
* update README and imgs
* update README and imgs
* 修改安装说明描述问题
* make formater
* 更新版本"0.3.0.20240606
* Update code.md
* 优化知识库相关功能 (#4153 )
- 新功能
- pypi 包新增 chatchat-kb 命令脚本,对应 init_database.py 功能
- 开发者
- _model_config.py 中默认包含 xinference 配置项
- 所有涉及向量库的操作,前置检查当前 Embed 模型是否可用
- /knowledge_base/create_knowledge_base 接口增加 kb_info 参数
- /knowledge_base/list_files 接口返回所有数据库字段,而非文件名称列表
- 修正 xinference 模型管理脚本
* 消除警告
* 一些依赖问题
* 增加text2sql工具,支持特定表、智能判定表,支持对表名进行额外说明 (#4154 )
* 1、增加text2sql工具,支持特定表、智能判定表,支持对表名进行额外说明
* 支持SQLAlchemy大部分数据库、新增read-only模式,提高安全性、增加text2sql使用建议 (#4155 )
* 1、修改text2sql连接配置,支持SQLAlchemy大部分数据库;
2、新增read-only模式,若有数据库写保护需求,会从大模型判断、SQLAlchemy拦截器两个层面进行写拦截,提高安全性;
3、增加text2sql使用建议;
* dotenv
* dotenv 配置
* 用户工作空间操作 (#4156 )
工作空间的配置预设,提供ConfigBasic建造方法产生实例。
该类的实例对象用于存储工作空间的配置信息,如工作空间的路径等
工作空间的配置信息存储在用户的家目录下的.config/chatchat/workspace/workspace_config.json文件中。
注意:不存在则读取默认
提供了操作入口
指令` chatchat-config` 工作空间配置
options:
```
-h, --help show this help message and exit
-v {true,false}, --verbose {true,false}
是否开启详细日志
-d DATA, --data DATA 数据存放路径
-f FORMAT, --format FORMAT
日志格式
--clear 清除配置
```
* 配置路径问题
* fix faiss_cache bug
* Feature(File RAG): add file_rag in chatchat-server, add ensemble retriever and vectorstore retriever.
* Feature(File RAG): add file_rag in chatchat-server, add ensemble retriever and vectorstore retriever.
* fix xinference manager bug
* Fix(File RAG): use jieba instead of cutword
* Fix(File RAG): update kb_doc_api.py
* 工作空间的配置预设,提供ConfigBasic建造 实例。 (#4158 )
- ConfigWorkSpace接口说明
```text
ConfigWorkSpace是一个配置工作空间的抽象类,提供基础的配置信息存储和读取功能。
提供ConfigFactory建造方法产生实例。
该类的实例对象用于存储工作空间的配置信息,如工作空间的路径等
工作空间的配置信息存储在用户的家目录下的.chatchat/workspace/workspace_config.json文件中。
注意:不存在则读取默认
```
* 编写配置说明
* 编写配置说明
---------
Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
Co-authored-by: glide-the <2533736852@qq.com>
Co-authored-by: tonysong <tonysong@digitalgd.com.cn>
Co-authored-by: songpb <songpb@gmail.com>
Co-authored-by: showmecodett <showmecodett@gmail.com>
Co-authored-by: zR <2448370773@qq.com>
Co-authored-by: zqt <1178747941@qq.com>
Co-authored-by: zqt996 <67185303+zqt996@users.noreply.github.com>
Co-authored-by: fengyaojie <fengyaojie@xdf.cn>
Co-authored-by: Hans WAN <hanswan@tom.com>
Co-authored-by: thinklover <thinklover@gmail.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: xucailiang <74602715+xucailiang@users.noreply.github.com>
Co-authored-by: XuCai <liangxc@akulaku.com>
Co-authored-by: dignfei <913015993@qq.com>
Co-authored-by: Leb <khazzz1c@gmail.com>
Co-authored-by: Sumkor <sumkor@foxmail.com>
Co-authored-by: panhong <381500590@qq.com>
Co-authored-by: srszzw <741992282@qq.com>
Co-authored-by: srszzw <srszzw@163.com>
Co-authored-by: yuehua-s <41819795+yuehua-s@users.noreply.github.com>
Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>
2024-06-10 22:48:35 +08:00
hzg0601
c1440c2609
增加ElasticSearch支持
2023-11-10 16:04:41 +08:00
liunux4odoo
b51ba11f45
支持通过配置项同时启动多个模型,将Wiki纳入samples知识库 ( #2002 )
...
新功能:
- 将 LLM_MODEL 配置项改为 LLM_MODELS 列表,同时启动多个模型
- 将 wiki 纳入 samples 知识库
依赖变化:
- 指定 streamlit~=1.27.0。1.26.0会报rerun错误,1.28.0会有无限刷新错误
修复优化:
- 优化 get_default_llm_model 逻辑
- 适配 Qwen 在线 API 做 Embeddings 时最大 25 行的限制
- 列出知识库磁盘文件时跳过 . 开头的文件
2023-11-09 22:15:52 +08:00
Orion
e07bbf6efb
Add: standard python ignore files ( #1530 )
2023-09-19 18:04:34 +08:00
唐国梁
4c5fc6ab01
edit model_config.py.example
2023-09-14 12:38:37 +08:00
imClumsyPanda
2020f5bb88
merge master
2023-09-12 15:51:28 +08:00
liunux4odoo
f94f2793f8
update startup.py: ( #1416 )
...
1. 恢复模型切换功能
2. --model-name支持多个名称(空格分开),同时启动多个模型
3. 优化服务启动顺序。严格按照顺序启动:controller -> [openai-api,
model_worker, api_worker]并行 -> api.py -> webui.py
4. 修复:从在线API模型切换到本地模型时失败
2023-09-08 15:18:13 +08:00
Kyle Zhang
6e9a7e0c89
chore: update .gitignore ( #1364 )
...
Added '/' before knowledge_base/ and configs/*.py to make them match
directories at root folder only.
Signed-off-by: Kyle Zhang <zhangk1985@gmail.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-09-08 13:29:40 +08:00
liunux4odoo
16fb19d2c3
优化LLM和Embedding模型运行设备配置,可设为auto自动检测
2023-08-31 17:41:09 +08:00
liunux4odoo
3acbf4d5d1
增加数据库字段,重建知识库使用多线程 ( #1280 )
...
* close #1172 : 给webui_page/utils添加一些log信息,方便定位错误
* 修复:重建知识库时页面未实时显示进度
* skip model_worker running when using online model api such as chatgpt
* 修改知识库管理相关内容:
1.KnowledgeFileModel增加3个字段:file_mtime(文件修改时间),file_size(文件大小),custom_docs(是否使用自定义docs)。为后面比对上传文件做准备。
2.给所有String字段加上长度,防止mysql建表错误(pr#1177)
3.统一[faiss/milvus/pgvector]_kb_service.add_doc接口,使其支持自定义docs
4.为faiss_kb_service增加一些方法,便于调用
5.为KnowledgeFile增加一些方法,便于获取文件信息,缓存file2text的结果。
* 修复/chat/fastchat无法流式输出的问题
* 新增功能:
1、KnowledgeFileModel增加"docs_count"字段,代表该文件加载到向量库中的Document数量,并在WEBUI中进行展示。
2、重建知识库`python init_database.py --recreate-vs`支持多线程。
其它:
统一代码中知识库相关函数用词:file代表一个文件名称或路径,doc代表langchain加载后的Document。部分与API接口有关或含义重叠的函数暂未修改。
---------
Co-authored-by: liunux4odoo <liunux@qq.com>, hongkong9771
2023-08-28 13:50:35 +08:00
liunux4odoo
f92b002342
add startup.py: start specified servers with one command. see python startup.py --help
2023-08-17 13:24:53 +08:00
imClumsyPanda
7d79b676d5
add model_config.py.example instead of model_config.py
2023-08-01 14:55:00 +08:00
liunux4odoo
70c6870776
增加api_one.py,把fastchat
...
3个服务端整合在一起。后面考虑把api.py也整合进来。
3个进程变成1个进程可能带来少许性能损失,但对于个人用户降低了部署难度。
2023-07-28 16:41:45 +08:00
imClumsyPanda
dcf49a59ef
v0.2.0 first commit
2023-07-27 23:22:07 +08:00
hzg0601
32122ee225
update gitignore
2023-07-21 15:29:36 +08:00
glide-the
c5bc21781c
修改模型生成的调用方式,兼容Chain调用
...
修改模型切换的bug
2023-07-12 23:09:28 +08:00
imClumsyPanda
ed7c54858a
add delete knowledge base and delete files from knowledge base to webui
2023-06-15 00:21:41 +08:00
imClumsyPanda
37b2fb18b7
update .gitignore
2023-05-13 09:51:46 +08:00
imClumsyPanda
6e23253013
update pdf_loader.py and image_loader.py
2023-05-13 09:50:30 +08:00
Bing Han
e0cf26019b
Use fastapi to implement API ( #209 )
...
* Use fastapi to implement API
* Update model_config.py
---------
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
2023-05-03 21:29:28 +08:00
wangxinkai
3eaa25c9ba
feat: add api for knowledge_based QA
2023-04-18 10:08:13 +08:00
glide-the
da6be02589
子文件的__pycache__忽略
2023-04-15 12:45:00 +08:00
Calcitem
6bb9dcccce
Update .gitignore
2023-04-14 23:05:40 +08:00
glide-the
57efaa5492
chatglm_with_shared_memory_openai_llm:这个demo,基于openai的任务处理,实现本地文…
...
…档调用链的示例,可以使用chatgml处理一部分任务事件,也可以使用chatgml来完成记忆共享(SharedMemory),至于为什么使用openai原因主要有两个现象,第一点,因为大模型chatgml受限,导致很多langchain的demo只能部分实现,跟群主聊了下,这种问题只能通过微调模型,增加一部分指令集和状态术语的数据集进去,微调方案只能大家自己尝试了,对显卡要去较高.当然也可以考虑只训练一个任务格式化的gml,模型微调参考这个仓库的方式 https://github.com/liucongg/ChatGLM-Finetuning
2023-04-14 22:15:02 +08:00
imClumsyPanda
5f70ce191c
update cli_demo.py
2023-04-14 00:43:35 +08:00
zmf
d472f8bed7
.gitignore
...
.gitignore
2023-04-14 00:02:18 +08:00