RYDE-WORK/Langchain-Chatchat
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/Langchain-Chatchat.git synced 2026-02-05 22:33:24 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

update README.md

Browse Source
This commit is contained in:
imClumsyPanda 2023-10-11 06:13:48 +08:00
parent 76e21c87da
commit c313f99b40
1 changed files with 5 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

7
README.md
View File

@ -85,8 +85,11 @@ docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/ch
+ 最低显存要求: 40GB + 最低显存要求: 40GB
+ 推荐显卡: A100, A40, A6000 + 推荐显卡: A100, A40, A6000
如果使用 int8 推理，则以显存x1.5倍要求；使用 fp16 推理，则以显存x2.5倍要求。 若使用 int8 推理，则显存大致为 int4 推理要求的 1.5 倍；
例如，使用 Qwen-7B-Chat 模型 fp16 推理，则需要使用 16GB 显存。
若使用 fp16 推理，则显存大致为 int4 推理要求的 2.5 倍。
💡 例如：使用 fp16 推理 Qwen-7B-Chat 模型，则需要使用 16GB 显存。
以上仅为估算，实际情况以 nvidia-smi 占用为准。 以上仅为估算，实际情况以 nvidia-smi 占用为准。