diff --git a/README.md b/README.md index 24f4530..790d01c 100644 --- a/README.md +++ b/README.md @@ -54,45 +54,85 @@ XXXXXX ## 评测结果 - #### 中文知识 - |-|-| - | | | - - #### 英文知识 - - |-|-| - | | | - - #### 代码 - - |-|-| - | | | - - #### 逻辑 - - |-|-| - | | | + +## 多模态 + +|Models|MME(P)|MMB-dev(en)|MMB-dev(zh)|MMMU-val|CMMMU-val| +|-|-|-|-|-|-| +|LLaVA-Phi|1335.1|59.8|/|/|/| +|MobileVLM|1288.9|59.6|/|/|/| +|Imp-v1|1434.0|66.5|/|/|/| +|Qwen-VL-Chat|**1487**|60.6|56.7|**35.9**|30.7 +|**MiniCPM-V**|1446|**67.3**|**61.9**|34.7|**32.1**| + +## DPO + + +|Models|MT-bench| +|---|---| +|GPT-4-turbo|9.32| +|GPT-3.5-turbo|8.39| +|Mistral-8*7b-Instruct-v0.1|8.30| +|Claude-2.1|8.18| +|Zephyr-7B-beta|7.34| +|**MiniCPM-2B**|**7.25**| +|Vicuna-33B|7.12| +|Zephyr-7B-alpha|6.88| +|LLaMA-2-70B-chat|6.86| +|Mistral-7B-Instruct-v0.1|6.84| +|LLaMA-2-13B-chat|6.65| +|Vicuna-13B|6.57| +|MPT-34B-instruct|6.39| +|LLaMA-2-7B-chat|6.27| +|Vicuna-7B|6.17| +|MPT-7B-chat|5.42| + + +## 端侧部署 + +进行Int4量化后,MiniCPM只占2GB空间,具备在端侧手机进行模型部署的条件。 +对此,我们针对Android和Harmony系统使用开源框架MLC-LLM进行模型适配,针对iPhone系统使用开源框架LLMFarm进行模型适配,并分别选取了部分端侧手机设备进行了测试。 + + + +### 部署步骤 + + #### 安卓 + + #### IOS + #### 多模态 - |-|-| - | | | +### 部署性能 -## 手机部署 - - #### 性能评测 - - |-|-| - | | | - - #### 部署步骤 - - 安卓: - - IOS: +我们并为针对手机部署进行深度优化,仅验证MiniCPM使用手机芯片进行推理的可行性。 +**我们也欢迎更多开发者进一步调优并更新下面的测试列表,不断提升端侧大模型在手机上的推理性能。** +|手机型号|操作系统|处理器|Memory(GB)|推理吞吐(token/s)| +|-|-|-|-|-| +|OPPO Find N3|Android 13|snapdragon 8 Gen2|12|6.5| +|Samsung S23 Ultra|Android 14|snapdragon 8 Gen2|12|6.4| +|Meizu M182Q|Android 11|snapdragon 888Plus|8|3.7| +|Xiaomi 12 Pro|Android 13|snapdragon 8 Gen1|8+3|3.7| +|Xiaomi Redmi K40|Android 11|snapdragon 870|8|3.5| +|Oneplus LE 2100|Android 13|snapdragon 870|12|3.5| +|Oneplus HD1900|Android 11|snapdragon 865|8|3.2| +|Oneplus HD1900|Android 11|snapdragon 855|8|3.0| +|Oneplus HD1905|Android 10|snapdragon 855|8|3.0| +|Oneplus HD1900|Android 11|snapdragon 855|8|3.0| +|Xiaomi MI 8|Android 9|snapdragon 845|6|2.3| +|Huawei Nova 11SE|Harmony 4.0.0|snapdragon 778|12|1.9| +|Xiaomi MIX 2|Android 9|snapdragon 835|6|1.3| +|iPhone 15 Pro|iOS 17.2.1|A16|8|18.0| +|iPhone 15|iOS 17.2.1|A16|6|15.0| +|iPhone 12 Pro|iOS 16.5.1|A14|6|5.8| +|iPhone 12|iOS 17.2.1|A14|4|5.8| +|iPhone 11|iOS 16.6|A13|4|4.6| + ## Demo & API -### 基于Gradio的网页版Demo + +#### 基于Gradio的网页版Demo 使用如下命令启动基于Gradio的网页版demo: ```shell python demo/gradio_based_demo.py