RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-01-26 00:33:35 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
2,021 Commits 13 Branches 29 Tags
Commit Graph

56 Commits

Author SHA1 Message Date
imClumsyPanda
995c5e300e
Pre-release v0.3.0 (#4159) 
* publish 0.2.10 (#2797)

新功能：
- 优化 PDF 文件的 OCR，过滤无意义的小图片 by @liunux4odoo #2525
- 支持 Gemini 在线模型 by @yhfgyyf #2630
- 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
- elasticsearch更新https连接 by @xldistance #2390
- 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
- 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
- 每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 by @Lijia0 #2480
- 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
- 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
- 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
- 添加日文版 readme by @eltociear #2787

修复：
- langchain 更新后，PGVector 向量库连接错误 by @HALIndex #2591
- Minimax's model worker 错误 by @xyhshen 
- ES库无法向量检索.添加mappings创建向量索引 by MSZheng20 #2688

* Update README.md

* Add files via upload

* Update README.md

* 修复PDF旋转的BUG

* Support Chroma

* perf delete unused import

* 忽略测试代码

* 更新文件

* API前端丢失问题解决

* 更新了chromadb的打印的符号

* autodl代号错误

* Update README.md

* Update README.md

* Update README.md

* 修复milvus相关bug

* 支持星火3.5模型

* 修复es 知识库查询bug (#2848)

* 修复es 知识库查询bug (#2848)

* 更新zhipuai请求方式

* 增加对 .htm 扩展名的显式支持

* 更新readme

* Docker镜像制作与K8S YAML部署操作说明 (#2892)

* Dev (#2280)

* 修复Azure 不设置Max token的bug

* 重写agent

1. 修改Agent实现方式，支持多参数，仅剩 ChatGLM3-6b和 OpenAI GPT4 支持，剩余模型将在暂时缺席Agent功能
2. 删除agent_chat 集成到llm_chat中
3. 重写大部分工具，适应新Agent

* 更新架构

* 删除web_chat,自动融合

* 移除所有聊天，都变成Agent控制

* 更新配置文件

* 更新配置模板和提示词

* 更改参数选择bug

* 修复模型选择的bug

* 更新一些内容

* 更新多模态 语音 视觉的内容

1. 更新本地模型语音 视觉多模态功能并设置了对应工具

* 支持多模态Grounding

1. 美化了chat的代码
2. 支持视觉工具输出Grounding任务
3. 完善工具调用的流程

* 支持XPU，修改了glm3部分agent

* 添加 qwen agent

* 对其ChatGLM3-6B与Qwen-14B

* fix callback handler

* 更新Agent工具返回

* fix: LLMChain no output when no tools selected

* 跟新了langchain 0.1.x需要的依赖和修改的代码

* 更新chatGLM3 langchain0.1.x Agent写法

* 按照 langchain 0.1 重写 qwen agent

* 修复 callback 无效的问题

* 添加文生图工具

* webui 支持文生图

* 集成openai plugins插件

* 删除fastchat的配置

* 增加openai插件

* 集成openai plugins插件

* 更新模型执行列表和今晚修改的内容

* 集成openai_plugins/imitater插件

* 集成openai_plugins/imitater插件

* 集成openai_plugins/imitater插件

* 减少错误的显示

* 标准配置

* vllm参数配置

* 增加智谱插件

* 删除本地fschat配置

* 删除本地fschat配置,pydantic升级到2

* 删除本地fschat workers

* openai-plugins-list.json

* 升级agent,pydantic升级到2

* fix model_config是系统关键词问题

* embeddings模块集成openai plugins插件，使用统一api调用

* loom模型服务update_store更新逻辑

* 集成LOOM在线embedding业务

* 本地知识库搜索字段修改

* 知识库在线api接入点配置在线api接入点配置更新逻辑

* Update model_config.py.example

* 修改模型配置方式，所有模型以 openai 兼容框架的形式接入，chatchat 自身不再加载模型。
改变 Embeddings 模型改为使用框架 API，不再手动加载，删除自定义 Embeddings Keyword 代码
修改依赖文件，移除 torch transformers 等重依赖
暂时移出对 loom 的集成

后续：
1、优化目录结构
2、检查合并中有无被覆盖的 0.2.10 内容

* move document_loaders & text_splitter under server

* make torch & transformers optional
import pydantic Model & Field from langchain.pydantic_v1 instead of pydantic.v1

* - pydantic 限定为 v1，并统一项目中所有 pydantic 导入路径，为以后升级 v2 做准备
- 重构 api.py：
    - 按模块划分为不同的 router
    - 添加 openai 兼容的转发接口，项目默认使用该接口以实现模型负载均衡
    - 添加 /tools 接口，可以获取/调用编写的 agent tools
    - 移除所有 EmbeddingFuncAdapter，统一改用 get_Embeddings
    - 待办：
        - /chat/chat 接口改为 openai 兼容
        - 添加 /chat/kb_chat 接口，openai 兼容
        - 改变 ntlk/knowledge_base/logs 等数据目录位置

* 移除 llama-index 依赖；修复 /v1/models 错误

* 原因：windows下启动失败提示补充python-multipart包 (#3184)

改动：requirements添加python-multipart==0.0.9
版本：0.0.9  Requires: Python >=3.8

Co-authored-by: XuCai <liangxc@akulaku.com>

* 添加 xinference 本地模型和自定义模型配置 UI: streamlit run model_loaders/xinference_manager.py

* update xinference manager ui

* fix merge conflict

* model_config 中补充 oneapi 默认在线模型；/v1/models 接口支持 oneapi 平台，统一返回模型列表

* 重写 calculate 工具

* 调整根目录结构，kb/logs/media/nltk_data 移动到专用数据目录（可配置，默认 data）。注意知识库文件要做相应移动

* update kb_config.py.example

* 优化 ES 知识库
- 开发者
    - get_OpenAIClient 的 local_wrap 默认值改为 False，避免 API 服务未启动导致其它功能受阻（如Embeddings）
    - 修改 ES 知识库服务：
	- 检索策略改为 ApproxRetrievalStrategy
	- 设置 timeout 为 60， 避免文档过多导致 ConnecitonTimeout Error
    - 修改 LocalAIEmbeddings，使用多线程进行  embed_texts，效果不明显，瓶颈可能主要在提供 Embedding 的服务器上

* 修复glm3 agent被注释的agent会话文本结构解析代码
看起来输出的文本占位符如下，目前解析代码是有问题的
Thought <|assistant|> Action\r
```python
tool_call(action_input)
```<|observation|>

* make qwen agent work with langchain>=0.1 (#3228)

* make xinference model manager support xinference 0.9.x

* 使用多进程提高导入知识库的速度 (#3276)

* xinference的代码

先传 我后面来改

* Delete server/xinference directory

* Create khazic

* diiii

diii

* Revert "xinference的代码"

* fix markdown header split (#1825) (#3324)

* dify model_providers configuration
This module provides the interface for invoking and authenticating various models, and offers Dify a unified information and credentials form rule for model providers.

* fix merge conflict: langchain Embeddings not imported in server.utils

* 添加 react 编写的新版 WEBUI (#3417)

* feat:提交前端代码

* feat:提交logo样式切换

* feat:替换avatar、部分位置icon、chatchat相关说明、git链接、Wiki链接、关于、设置、反馈与建议等功能，关闭lobehub自检更新功能

* fix:移除多余代码

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>

* model_providers bootstrap

* model_providers bootstrap

* update to pydantic v2 (#3486)

* 使用poetry管理项目

* 使用poetry管理项目

* dev分支解决pydantic版本冲突问题，增加ollama配置，支持ollama会话和向量接口 (#3508)

* dev分支解决pydantic版本冲突问题，增加ollama配置，支持ollama会话和向量接口
1、因dev版本的pydantic升级到了v2版本，由于在class History(BaseModel)中使用了from server.pydantic_v1，而fastapi的引用已变为pydantic的v2版本，所以fastapi用v2版本去校验用v1版本定义的对象，当会话历史histtory不为空的时候，会报错：TypeError: BaseModel.validate() takes 2 positional arguments but 3 were given。经测试，解方法为在class History(BaseModel)中也使用v2版本即可;
2、配置文件参照其它平台配置，增加了ollama平台相关配置，会话模型用户可根据实际情况自行添加，向量模型目前支持nomic-embed-text（必须升级ollama到0.1.29以上）。
3、因ollama官方只在会话部分对openai api做了兼容，向量api暂未适配，好在langchain官方库支持OllamaEmbeddings，因而在get_Embeddings方法中添加了相关支持代码。

* 修复 pydantic 升级到 v2 后 DocumentWithVsID 和 /v1/embeddings 兼容性问题

---------

Co-authored-by: srszzw <srszzw@163.com>
Co-authored-by: liunux4odoo <liunux@qq.com>

* 对python的要求降级到py38

* fix bugs; make poetry using tsinghua mirror of pypi

* update gitignore; remove unignored files

* update wiki sub module

* 20240326

* 20240326

* qqqq

* 删除历史文件

* 移动项目模块

* update .gitignore; fix model version error in api_schemas

* 封装ModelManager

* - 重写 tool 部分： (#3553)

- 简化 tool 的定义方式
    - 所有 tool 和 tool_config 支持热加载
    - 修复：json_schema_extra warning

* 使用yaml加载用户配置适配器

* 格式化代码

* 格式化

* 优化工具定义；添加 openai 兼容的统一 chat 接口 (#3570)

- 修复：
    - Qwen Agent 的 OutputParser 不再抛出异常，遇到非 COT 文本直接返回
    - CallbackHandler 正确处理工具调用信息

- 重写 tool 定义方式：
    - 添加 regist_tool 简化 tool 定义:
        - 可以指定一个用户友好的名称
        - 自动将函数的 __doc__ 作为 tool.description
	- 支持用 Field 定义参数，不再需要额外定义 ModelSchema
        - 添加 BaseToolOutput 封装 tool	返回结果，以便同时获取原始值、给LLM的字符串值
        - 支持工具热加载（有待测试）

- 增加 openai 兼容的统一 chat 接口，通过 tools/tool_choice/extra_body 不同参数组合支持：
    - Agent 对话
    - 指定工具调用（如知识库RAG）
    - LLM 对话

- 根据后端功能更新 webui

* 修复：search_local_knowledge_base 工具返回值错误；/tools 路由错误；webui 中“正在思考”一直显示 (#3571)

* 添加 openai 兼容的 files 接口 (#3573)

* 使用BootstrapWebBuilder适配RESTFulOpenAIBootstrapBaseWeb加载

* 格式化和代码检查说明

* 模型列表适配

* make format

* chat_completions接口报文适配

* make format

* xinference 插件示例

* 一些默认参数

* exec path fix

* 解决ollama部署的qwen,执行agent,返回的json格式不正确问题。

* provider_configuration.py
查询所有的平台信息，包含计费策略和配置schema_validators(参数必填信息校验规则)
/workspaces/current/model-providers
查询平台模型分类的详细默认信息，包含了模型类型，模型参数，模型状态
workspaces/current/models/model-types/{model_type}

* 开发手册

* 兼容model_providers，集成webui及API中平台配置的初始化 (#3625)

* provider_configuration init of MODEL_PLATFORMS

* 开发手册

* 兼容model_providers，集成webui及API中平台配置的初始化

* Dev model providers (#3628)


* gemini 初始化参数问题

* gemini 同步工具调用

* embedding convert endpoint

* 修复 --api -w命令

* /v1/models 接口返回值由 List[Model] 改为 {'data': List[Model]}，兼容最新版 xinference

* 3.8兼容 (#3769)

* 增加使用说明

* 3.8兼容性配置

* fix

* formater

* 不同平台兼容测试用例

* embedding兼容

* 增加日志信息

* pip源仓库设置，一些版本问题，启动说明  配置说明 (#3854)

* 仓库设置，一些版本问题

* pip源仓库设置，一些版本问题，启动说明

* 配置说明

* 泛型标记错误 (#3855)

* 仓库设置，一些版本问题

* pip源仓库设置，一些版本问题，启动说明

* 配置说明

* 发布的依赖信息

* 泛型标记错误

* 泛型标记错误

* CICD github action build publish pypi、Release Tag (#3886)

* 测试用例

* CICD 流程

* CICD 流程

* CICD 流程

* 一些agent数据处理的问题，model_runtime模块的说明文档 (#3943)

* 一些agent数据出来的问题

* Changes:
- Translated and updated the Model Runtime documentation to reflect the latest changes and features.
- Clarified the decoupling benefits of the Model Runtime module from the Chatchat service.
- Removed outdated information regarding the model configuration storage module.
- Detailed the retained functionalities post-removal of the Dify configuration page.
- Provided a comprehensive overview of the Model Runtime's three-layered structure.
- Included the status of the `fetch-from-remote` feature and its non-implementation in Dify.
- Added instructions for custom service provider model capabilities.

* - 新功能 (#3944)

- streamlit 更新到 1.34，webui 支持 Dialog 操作
    - streamlit-chatbox 更新到 1.1.12，更好的多会话支持
- 开发者
    - 在 API 中增加项目图片路由(/img/{file_name})，方便前端使用

* 修改包名

* 修改包信息

* ollama配置解析问题

* 用户配置动态加载 (#3951)

* version = "0.3.0.20240506"

* version = "0.3.0.20240506"

* version = "0.3.0.20240506"

* version = "0.3.0.20240506"

* 启动说明

* 一些bug

* 修复了一些配置重载的bug

* 配置的加载行为修改

* 配置的加载行为修改

* agent代码优化

* ollama 代码升级，使用openai协议

* 支持deepseek客户端

* contributing (#4043)

* 添加了贡献说明 docs/contributing，包含了一些代码仓库说明和开发规范，以及在model_providers下面编写了一些单元测试的示例

* 关于providers的配置说明

* python3.8兼容

* python3.8兼容

* ollama兼容

* ollama兼容

* 一些兼容 pydantic<3,>=1.9.0  的代码，

* 一些兼容 pydantic<3,>=1.9.0 model_config 的代码，

* make format

* test

* 更新版本

* get_img_base64

* get_img_base64

* get_img_base64

* get_img_base64

* get_img_base64

* 统一模型类型编码

* 向量处理问题

* 优化目录结构 (#4058)

* 优化目录结构

* 修改一些测试问题

---------

Co-authored-by: glide-the <2533736852@qq.com>

* repositories

* 调整日志

* 调整日志zdf

* 增加可选依赖extras

* feat:Added some documentation. (#4085)

* feat:Added some documentation.

* feat:Added some documentation.

* feat:Added some documentation.

---------

Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>

* fix code.md typos

* fix chatchat-server/pyproject.toml typos

* feat:README (#4118)

Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>

* 初始化数据库集成model_providers

* 关闭守护进程

* 1、修改知识库列表接口，返回全量属性字段，同时修改受影响的相关代码。 (#4119)

2、run_in_process_pool改为run_in_thread_pool，解决兼容性问题。
3、poetry配置文件修复。

* 动态更新Prompt中的知识库描述信息，使大模型更容易判断使用哪个知识库。 (#4121)

* 1、修改知识库列表接口，返回全量属性字段，同时修改受影响的相关代码。
2、run_in_process_pool改为run_in_thread_pool，解决兼容性问题。
3、poetry配置文件修复。

* 1、动态更新Prompt中的知识库描述信息，使大模型更容易判断使用哪个知识库。

* fix: 补充 xinference 配置信息 (#4123)

* feat:README

* feat:补充 xinference 平台 llm 和 embedding 模型配置.

---------

Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>

* 知识库工具的下拉列表改为动态获取，不必重启服务。 (#4126)

* 1、知识库工具的下拉列表改为动态获取，不必重启服务。

* update README and imgs

* update README and imgs

* update README and imgs

* update README and imgs

* 修改安装说明描述问题

* make formater

* 更新版本"0.3.0.20240606

* Update code.md

* 优化知识库相关功能 (#4153)

- 新功能
    - pypi 包新增 chatchat-kb 命令脚本，对应 init_database.py 功能

- 开发者
    - _model_config.py 中默认包含 xinference 配置项
    - 所有涉及向量库的操作，前置检查当前 Embed 模型是否可用
    - /knowledge_base/create_knowledge_base 接口增加 kb_info 参数
    - /knowledge_base/list_files 接口返回所有数据库字段，而非文件名称列表
    - 修正 xinference 模型管理脚本

* 消除警告

* 一些依赖问题

* 增加text2sql工具，支持特定表、智能判定表，支持对表名进行额外说明 (#4154)

* 1、增加text2sql工具，支持特定表、智能判定表，支持对表名进行额外说明

* 支持SQLAlchemy大部分数据库、新增read-only模式，提高安全性、增加text2sql使用建议 (#4155)

* 1、修改text2sql连接配置，支持SQLAlchemy大部分数据库；
2、新增read-only模式，若有数据库写保护需求，会从大模型判断、SQLAlchemy拦截器两个层面进行写拦截，提高安全性;
3、增加text2sql使用建议；

* dotenv

* dotenv 配置

* 用户工作空间操作 (#4156)

工作空间的配置预设，提供ConfigBasic建造方法产生实例。
  该类的实例对象用于存储工作空间的配置信息，如工作空间的路径等
  工作空间的配置信息存储在用户的家目录下的.config/chatchat/workspace/workspace_config.json文件中。
  注意：不存在则读取默认

提供了操作入口
指令` chatchat-config` 工作空间配置

options:
```
  -h, --help            show this help message and exit
  -v {true,false}, --verbose {true,false}
                        是否开启详细日志
  -d DATA, --data DATA  数据存放路径
  -f FORMAT, --format FORMAT
                        日志格式
  --clear               清除配置
```

* 配置路径问题

* fix faiss_cache bug

* Feature(File RAG): add file_rag in chatchat-server, add ensemble retriever and vectorstore retriever.

* Feature(File RAG): add file_rag in chatchat-server, add ensemble retriever and vectorstore retriever.

* fix xinference manager bug

* Fix(File RAG): use jieba instead of cutword

* Fix(File RAG): update kb_doc_api.py

* 工作空间的配置预设，提供ConfigBasic建造 实例。 (#4158)

- ConfigWorkSpace接口说明
```text

ConfigWorkSpace是一个配置工作空间的抽象类，提供基础的配置信息存储和读取功能。
提供ConfigFactory建造方法产生实例。
该类的实例对象用于存储工作空间的配置信息，如工作空间的路径等
工作空间的配置信息存储在用户的家目录下的.chatchat/workspace/workspace_config.json文件中。
注意：不存在则读取默认
```

* 编写配置说明

* 编写配置说明

---------

Co-authored-by: liunux4odoo <41217877+liunux4odoo@users.noreply.github.com>
Co-authored-by: glide-the <2533736852@qq.com>
Co-authored-by: tonysong <tonysong@digitalgd.com.cn>
Co-authored-by: songpb <songpb@gmail.com>
Co-authored-by: showmecodett <showmecodett@gmail.com>
Co-authored-by: zR <2448370773@qq.com>
Co-authored-by: zqt <1178747941@qq.com>
Co-authored-by: zqt996 <67185303+zqt996@users.noreply.github.com>
Co-authored-by: fengyaojie <fengyaojie@xdf.cn>
Co-authored-by: Hans WAN <hanswan@tom.com>
Co-authored-by: thinklover <thinklover@gmail.com>
Co-authored-by: liunux4odoo <liunux@qq.com>
Co-authored-by: xucailiang <74602715+xucailiang@users.noreply.github.com>
Co-authored-by: XuCai <liangxc@akulaku.com>
Co-authored-by: dignfei <913015993@qq.com>
Co-authored-by: Leb <khazzz1c@gmail.com>
Co-authored-by: Sumkor <sumkor@foxmail.com>
Co-authored-by: panhong <381500590@qq.com>
Co-authored-by: srszzw <741992282@qq.com>
Co-authored-by: srszzw <srszzw@163.com>
Co-authored-by: yuehua-s <41819795+yuehua-s@users.noreply.github.com>
Co-authored-by: yuehuazhang <yuehuazhang@tencent.com>
 2024-06-10 22:48:35 +08:00
hzg0601
c1440c2609 增加ElasticSearch支持 2023-11-10 16:04:41 +08:00
zR
d054244e55
Dev (#1895) 
* 修复科大讯飞token问题和Azure的token问题

* 合并PR并改变位置

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-10-27 14:38:24 +08:00
charlesyju
f19211b1f5
support adding keywords to model tokenizer (#1622) 
* support adding keywords to model tokenizer

* add keyword_preprocess.py usage doc

* init new token with good weights

---------

Co-authored-by: Charles Ju <charlesyju@gmail.com>
 2023-10-27 13:57:14 +08:00
zR
c41d7add7d
Dev (#1814) 
* 更新了最新的readme

* 更新readme，加上目录

* 删掉所有没用的材料，之后都转wiki
 2023-10-20 23:02:21 +08:00
hzg0601
195929b518 支持加载p-tuning，详细步骤见docs/chatchat加载ptuing.md 2023-10-20 19:22:24 +08:00
zR
efd8edda16
Dev (#1618) 
* 增加了仅限GPT4的agent功能，陆续补充，中文版readme已写

* issue提到的一个bug

* 温度最小改成0，但是不应该支持负数

* 修改了最小的温度

* 增加了部分Agent支持和修改了启动文件的部分bug

* 修改了GPU数量配置文件

* 1

1

* 修复配置文件错误

* 更新readme，稳定测试
 2023-09-28 20:19:26 +08:00
hzg0601
2d823aa4b1 1. debug vllm加速框架完毕；2. 修改requirements,requirements_api对vllm的依赖；3.注释掉serve_config中baichuan-7b的device为cpu的配置 2023-09-24 02:05:40 +08:00
hzg0601
810145c5fb 新增特性：1.支持vllm推理加速框架；2. 更新支持模型列表 2023-09-23 01:37:37 +08:00
zR
598eb298df
第一版初步agent实现 (#1503) 
* 第一版初步agent实现

* 增加steaming参数

* 修改了weather.py

---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-09-17 11:19:16 +08:00
imClumsyPanda
20eef45a58 update README.md 2023-09-15 09:53:58 +08:00
imClumsyPanda
17985c7f8e update splitter.md 2023-09-14 22:24:58 +08:00
唐国梁
6ad8aee88c add ES function 2023-09-14 07:54:42 +08:00
zR
769d75d784
修复测试文件 (#1467) 
Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-09-13 17:12:05 +08:00
zR
bfdbe69fa1
增加了自定义分词器适配 (#1462) 
* 添加了自定义分词器适配和测试文件
---------

Co-authored-by: zR <zRzRzRzRzRzRzR>
 2023-09-13 15:42:12 +08:00
mz
78e79af68b
update INSTALL.md (#1250) 
Co-authored-by: zzflybird <cmz1@qq.com>
 2023-08-26 12:30:54 +08:00
zqt
b3450bfc96 添加milvus 和 pg QA说明 2023-08-20 18:03:23 +08:00
imClumsyPanda
e196ef0b17 update docs 2023-08-12 17:04:38 +08:00
imClumsyPanda
18fe1b97f9 merge dev_fastchat 2023-08-12 16:30:07 +08:00
imClumsyPanda
8c289e4974 update README.md 2023-08-12 11:21:29 +08:00
liunux4odoo
802ddb7b55 update docs 2023-08-11 23:30:07 +08:00
liunux4odoo
22c8f277bf update readme: describe requirements to install 2023-08-10 17:10:40 +08:00
zqt
d4f728dfa2 添加向量数据库pg支持，和向量库docker-compose.ym环境文件 2023-08-10 11:16:52 +08:00
imClumsyPanda
22260af16f update README.md and INSTALL.md 2023-08-09 22:04:28 +08:00
YikunHan
0ad63aee63
Update FAQ.md (#1006) 2023-08-06 16:39:58 +08:00
imClumsyPanda
dcf49a59ef v0.2.0 first commit 2023-07-27 23:22:07 +08:00
YuhaoWU
466f0c9c97
安装教程conda create新增默认的/envs下面，而不只是只能要额外指定路径 用-p (#482) 
* Update 安装教程中conda虚拟环境的创建与激活
 2023-07-25 16:58:25 +08:00
imClumsyPanda
0f43845a98 merge master 2023-07-23 18:38:51 +08:00
Ma Zhiming
3f76cb5f47
[Fix] INSTALL.md (#907) 
* Update INSTALL.md

* Update INSTALL.md
 2023-07-21 16:42:53 +08:00
hzg0601
50c872c0b8 update faq for 2023-07-19 23:09:19 +08:00
hzg0601
3d082bf566 在FAQ中给出加载量化版本失败的原因和解决方案 2023-07-14 13:45:07 +08:00
Zhi-guo Huang
a5ca4bf26a
1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py

* stream_chat_bing

* 修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

* 优化cli_demo.py的逻辑：支持 输入提示；多输入；重新输入

* update cli_demo.py

* add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1

* 1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有api,未测试)；5.增加了llama-cpp模型部署的说明

* llama模型兼容性说明

* modified:   ../configs/model_config.py
	modified:   ../docs/INSTALL.md
在install.md里增加对llama-cpp模型调用的说明

* 修改llama_llm.py以适应llama-cpp模型

* 完成llama-cpp模型的支持；

* make fastchat and openapi compatiable

* 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;

* set default model be chatglm-6b

* 在多卡情况下也支持自定义GPU设备

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-07-11 19:36:50 +08:00
Fan
10abb8d781
添加启动API的参数，支持https、wss方式API调用 (#728) 
* update README.md

* 添加启动API的参数，支持https、wss方式API调用。（CA证书自备）
添加启动API服务的markdown说明文档。

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
Co-authored-by: 一帆 <zhang.f@digitalcnzz.com>
 2023-07-04 19:52:17 +08:00
Zhi-guo Huang
a70df98825
更新FAQ,model_config.py,bing_search.py文件，增加bing搜索问答相关问题的原因和可能解决方案，修复了一些typo;修改loader.py中load_in_8bit失败的原因和详细解决方案 (#610) 
* 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

* 更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

* 修改loader.py中load_in_8bit失败的原因和详细解决方案

* update loader.py
 2023-06-14 21:31:26 +08:00
Zhi-guo Huang
27a9bf2433
更新FAQ和requirements,解决upload_file接口的两个异常 (#593) 2023-06-11 21:25:02 +08:00
imClumsyPanda
20f1daff1a add fastchat.md 2023-05-31 22:50:35 +08:00
imClumsyPanda
99e9d1d730 update FAQ.md 2023-05-31 21:13:21 +08:00
imClumsyPanda
06f6e1913e merge master 2023-05-22 00:24:07 +08:00
imClumsyPanda
e352a04cbb merge master 2023-05-22 00:18:48 +08:00
glide-the
d9cc4e918c
Update INSTALL.md 2023-05-19 11:04:28 +08:00
glide-the
4c008c25d4 增加项目可选启动项说明、增加项目结构说明 
cli_demo.py、api.py: 兼容loader加载器
 2023-05-18 22:55:50 +08:00
CHANGXUBO
a5417e1cf5
更新install说明，解决PaddleOCR依赖问题 (#387) 2023-05-17 13:28:10 +08:00
zqt996
a0cb14de23
添加命令行管理脚本 (#355) 
* 添加加命令行工具

* 添加加命令行工具

---------

Co-authored-by: zqt <1178747941@qq.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-15 19:13:12 +08:00
imClumsyPanda
1a1989d860 update README.md 2023-05-13 11:24:06 +08:00
zhenkaivip
d2716addd6
使用paddleocr实现实现UnstructuredPaddlePDFLoader和UnstructuredPaddleImageLoader (#344) 
* jpg and png ocr

* fix

* write docs to tmp file

* fix

* image loader

* fix

* fix

* add pdf_loader

* fix

* update INSTALL.md

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-13 11:13:40 +08:00
imClumsyPanda
6e23253013 update pdf_loader.py and image_loader.py 2023-05-13 09:50:30 +08:00
zhenkaivip
dd93837343
使用paddleocr实现 (#342) 
* jpg and png ocr

* fix

* write docs to tmp file

* fix

* [BUGFIX] local_doc_qa.py line 172: logging have no end args. (#323)

* image loader

* fix

* fix

* update api.py

* update api.py

* update api.py

* update README.md

* update api.py

* add pdf_loader

* fix

---------

Co-authored-by: RainGather <3255329+RainGather@users.noreply.github.com>
Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-13 08:45:17 +08:00
miller
09f57741fa
Update INSTALL.md (#223) 2023-05-04 13:34:01 +08:00
imClumsyPanda
b03634fb7c add api.py 2023-05-03 22:35:05 +08:00
Bing Han
e0cf26019b
Use fastapi to implement API (#209) 
* Use fastapi to implement API

* Update model_config.py

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
 2023-05-03 21:29:28 +08:00