RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-01-19 21:37:20 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

update README.md structure

Browse Source
This commit is contained in:
imClumsyPanda 2024-06-12 20:46:00 +08:00
parent 3d88db412b
commit 9cfc8f75f3
1 changed files with 20 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

20
README.md
View File

@ -71,6 +71,26 @@ _仅仅是入门教程，能够基础运行__。
## 已支持的模型部署框架与模型
通过一套llm加载器支持模型加载，支持异构部署，有图形操作界面，支持tcp、http形式的客户端，部署方面有很多兼容问题、缺少运维文档 项目架构集成了各种语言（C++，Golang，Python等）通过编写一套GRPC实现不同模型加速服务接入、支持模型特殊token的提示模板配置。 支持目前多种模型推理形式、多端编译支持、
有丰富的调度api，运维层面有一套基于docker构建的系统手册、有windows、linux、mac系统部署手册，项目编译复杂、操作流程繁琐 仅支持本地大型语言模型终端工具。有着完整的社区支持，包括但不限langchain、Transformers、llama-index、idea,在RAG方面提供很多的解决方案、有技术博客提供复现细节,提供多端一键运行脚本、侧重于命令终端管理模型 提供模型服务适配转发功能、支持多端部署、模型服务调度、图形操作界面、计费策略支持,平台推广等toC业务
支持 支持 部分支持 支持
GPT, embeddings、Functions、Image generation 、Audio generation GPT, embeddings、V-GPT,Functions、Audio generation and Voice cloning、Image generation 、Audio generation GPT, Functions,V-GPT,Image generation
https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html https://localai.io/model-compatibility/ https://github.com/ollama/ollama?tab=readme-ov-file#model-library
GPTQ、GGML、vllm、TensorRT GPTQ、GGML、vllm、TensorRT GGUF、GGML
支持 支持 不支持
支持 支持 不支持
python、c go、c go、c、shell
| 模型部署框架 | xinference | ollama | oneapi | localAI |
|--------|---|---|---|---|
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
我们支持市面上主流的本地大语言模型和Embedding模型，支持开源的本地向量数据库。
支持列表详见 [Wiki](https://github.com/chatchat-space/Langchain-Chatchat/wiki/)