RYDE-WORK/MiniCPM
1
0
Fork 0
mirror of https://github.com/RYDE-WORK/MiniCPM.git synced 2026-01-19 12:53:36 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

Update README.md

Browse Source
This commit is contained in:
SillyXu 2024-02-01 14:03:03 +08:00 committed by GitHub
parent bece563fe0
commit 4de97a6984
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
1 changed files with 3 additions and 3 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

6
README.md
View File

@ -193,18 +193,18 @@ print(responds)
* 使用开源框架MLC-LLM进行模型适配。
* 支持文本模型、多模态模型。
* 适用于MiniCPM-2B-SFT-INT4、MiniCPM-2B-DPO-INT4、MiniCPM-V。
* [编译安装MiniCPM指南](https://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md)
* [编译安装MiniCPM指南](https://github.com/OpenBMB/mlc-MiniCPM)
* iOS
* 使用开源框架LLMFarm进行模型适配。
* 支持文本模型。
* 适用于MiniCPM-2B-SFT-INT4、MiniCPM-2B-DPO-INT4
* 适用于MiniCPM-2B-SFT-INT4、MiniCPM-2B-DPO-INT4。
* [编译安装MiniCPM指南](https://github.com/OpenBMB/LLMFarm)
#### 部署性能
* 我们未针对手机推理模型进行深度优化和系统测试，仅验证MiniCPM使用手机芯片进行推理的可行性。
* 此前尚未有工作尝试在手机上部署多模态大模型。我们此次在MLC-LLM上验证了手机部署MiniCPM-V的可行性，能够正常输入输出，但也存在图片处理时间较长的问题，需要进一步优化 :)。
* **我们也欢迎更多开发者进一步调优并更新下面的测试列表，不断提升端侧大模型在手机上的推理性能。**
* **我们也欢迎更多开发者进一步调优并更新下面的测试列表，不断提升端侧大模型在手机上的推理性能**。
|手机型号|操作系统|处理器|Memory（GB）|文本吞吐（token/s）|
|-|-|-|-|-|