From b104aafe5042bb87527c8fcb22aaf3d16fd40766 Mon Sep 17 00:00:00 2001 From: glide-the <2533736852@qq.com> Date: Mon, 10 Jun 2024 22:53:42 +0800 Subject: [PATCH] =?UTF-8?q?=E6=A8=A1=E5=9E=8B=E8=AF=B4=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- libs/chatchat-server/README.md | 20 +++++++++++++++++--- 1 file changed, 17 insertions(+), 3 deletions(-) diff --git a/libs/chatchat-server/README.md b/libs/chatchat-server/README.md index 7e00a061..3ce95c58 100644 --- a/libs/chatchat-server/README.md +++ b/libs/chatchat-server/README.md @@ -42,8 +42,14 @@ options: ``` +### 模型服务配置 + 如果您已经有了一个openai endpoint的能力的地址,可以在`configs._model_config.py`文件中MODEL_PLATFORMS直接配置 + - platform_name 可以任意填写,不要重复即可 + - platform_type 以后可能根据平台类型做一些功能区分,与platform_name一致即可 + - 将框架部署的模型填写到对应列表即可。不同框架可以加载同名模型,项目会自动做负载均衡。 - - 自定义平台加载 +### 自定义平台加载 +可以通过 model_providers 提供转换不同平台的接口为openai endpoint的能力,启动后下面变量会自动增加相应的平台 > 配置*CHATCHAT_ROOT*文件夹configs中的`model_providers.yaml`文件,即可完成自定义平台加载 ```shell @@ -54,12 +60,20 @@ vim model_providers.yaml > > 详细配置请参考[README.md](../model-providers/README.md) -- 初始化知识库 +### 初始化知识库 ```shell chatchat-kb -r ``` -- 启动服务 +### 启动服务 ```shell chatchat -a ``` + +### 模型? +```text +chatchat 0.3版本中,为保证平台、模型、及本地服务的兼容,在保证可扩展性的同时, +我们对模型的加载进行了重新设计. chatchat 0.3之后的版本,我们将分离模型加载和服务启动. 您可以使用提供了`openaiEndpoint`任何服务, +可以在`configs._model_config.py`文件中MODEL_PLATFORMS直接配置 + +```