From 823a8ba8b6444c4dac1ca25501b7334ab9f1f469 Mon Sep 17 00:00:00 2001 From: SillyXu Date: Thu, 1 Feb 2024 12:24:05 +0800 Subject: [PATCH] Update README.md --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index b0ff8f4..f922426 100644 --- a/README.md +++ b/README.md @@ -72,7 +72,7 @@ MiniCPM 是面壁与清华大学自然语言处理实验室共同开源的系列 #### vLLM 推理 * 安装支持 MiniCPM 的 vLLM - — 因为 MiniCPM 采用 MUP 结构，在矩阵乘法中存在一定的放缩计算，与Llama类模型结构有细微差别。 + - 因为 MiniCPM 采用 MUP 结构，在矩阵乘法中存在一定的放缩计算，与Llama类模型结构有细微差别。 - 我们基于版本为 0.2.2 的 vLLM 实现了 MiniCPM 的推理，代码位于仓库[inference](https://github.com/OpenBMB/MiniCPM/tree/main/inference)文件夹下，未来将会支持更新的vLLM 版本。 * 安装支持 MiniCPM 的 vLLM 版本