diff --git a/README.md b/README.md index 5a392565..3c51b84c 100644 --- a/README.md +++ b/README.md @@ -71,6 +71,26 @@ _仅仅是入门教程,能够基础运行__。 ## 已支持的模型部署框架与模型 + +通过一套llm加载器支持模型加载,支持异构部署,有图形操作界面,支持tcp、http形式的客户端,部署方面有很多兼容问题、缺少运维文档 项目架构集成了各种语言(C++,Golang,Python等)通过编写一套GRPC实现不同模型加速服务接入、支持模型特殊token的提示模板配置。 支持目前多种模型推理形式、多端编译支持、 +有丰富的调度api,运维层面有一套基于docker构建的系统手册、有windows、linux、mac系统部署手册,项目编译复杂、操作流程繁琐 仅支持本地大型语言模型终端工具。有着完整的社区支持,包括但不限langchain、Transformers、llama-index、idea,在RAG方面提供很多的解决方案、有技术博客提供复现细节,提供多端一键运行脚本、侧重于命令终端管理模型 提供模型服务适配转发功能、支持多端部署、模型服务调度、图形操作界面、计费策略支持,平台推广等toC业务 +支持 支持 部分支持 支持 +GPT, embeddings、Functions、Image generation 、Audio generation GPT, embeddings、V-GPT,Functions、Audio generation and Voice cloning、Image generation 、Audio generation GPT, Functions,V-GPT,Image generation +https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html https://localai.io/model-compatibility/ https://github.com/ollama/ollama?tab=readme-ov-file#model-library +GPTQ、GGML、vllm、TensorRT GPTQ、GGML、vllm、TensorRT GGUF、GGML +支持 支持 不支持 +支持 支持 不支持 +python、c go、c go、c、shell + +| 模型部署框架 | xinference | ollama | oneapi | localAI | +|--------|---|---|---|---| +| | | | | | +| | | | | | +| | | | | | +| | | | | | +| | | | | | + + 我们支持市面上主流的本地大语言模型和Embedding模型,支持开源的本地向量数据库。 支持列表详见 [Wiki](https://github.com/chatchat-space/Langchain-Chatchat/wiki/)