MiniCPM/README.md

MiniCPM

Hugging Face | ModelScope | Hugging Face | 技术报告

XXXXXX XXXXXX

在面壁露卡体验更大规模的模型。

中文 | English

目录

• 模型介绍
• 模型下载
• 评测结果
  • 中文
  • 英文
  • 代码
  • 逻辑
  • 多模态
• 手机部署
• Demo & API
• 高效参数微调
• 开源协议
• 工作引用
• 典型示例

模型介绍

模型下载

HuggingFace仓库 ModelScope仓库 XX仓库

评测结果

多模态

Models	MME(P)	MMB-dev(en)	MMB-dev(zh)	MMMU-val	CMMMU-val
LLaVA-Phi	1335.1	59.8	/	/	/
MobileVLM	1288.9	59.6	/	/	/
Imp-v1	1434.0	66.5	/	/	/
Qwen-VL-Chat	1487	60.6	56.7	35.9	30.7
MiniCPM-V	1446	67.3	61.9	34.7	32.1

DPO

Models	MT-bench
GPT-4-turbo	9.32
GPT-3.5-turbo	8.39
Mistral-8*7b-Instruct-v0.1	8.30
Claude-2.1	8.18
Zephyr-7B-beta	7.34
MiniCPM-2B	7.25
Vicuna-33B	7.12
Zephyr-7B-alpha	6.88
LLaMA-2-70B-chat	6.86
Mistral-7B-Instruct-v0.1	6.84
LLaMA-2-13B-chat	6.65
Vicuna-13B	6.57
MPT-34B-instruct	6.39
LLaMA-2-7B-chat	6.27
Vicuna-7B	6.17
MPT-7B-chat	5.42

端侧部署

进行Int4量化后，MiniCPM只占2GB空间，具备在端侧手机进行模型部署的条件。 对此，我们针对Android和Harmony系统使用开源框架MLC-LLM进行模型适配，针对iPhone系统使用开源框架LLMFarm进行模型适配，并分别选取了部分端侧手机设备进行了测试。

部署步骤

安卓

android编译安装MiniCPM指南

IOS

ios编译安装MiniCPM指南

多模态

部署性能

我们并为针对手机部署进行深度优化，仅验证MiniCPM使用手机芯片进行推理的可行性。 我们也欢迎更多开发者进一步调优并更新下面的测试列表，不断提升端侧大模型在手机上的推理性能。

手机型号	操作系统	处理器	Memory（GB）	推理吞吐（token/s）
OPPO Find N3	Android 13	snapdragon 8 Gen2	12	6.5
Samsung S23 Ultra	Android 14	snapdragon 8 Gen2	12	6.4
Meizu M182Q	Android 11	snapdragon 888Plus	8	3.7
Xiaomi 12 Pro	Android 13	snapdragon 8 Gen1	8+3	3.7
Xiaomi Redmi K40	Android 11	snapdragon 870	8	3.5
Oneplus LE 2100	Android 13	snapdragon 870	12	3.5
Oneplus HD1900	Android 11	snapdragon 865	8	3.2
Oneplus HD1900	Android 11	snapdragon 855	8	3.0
Oneplus HD1905	Android 10	snapdragon 855	8	3.0
Oneplus HD1900	Android 11	snapdragon 855	8	3.0
Xiaomi MI 8	Android 9	snapdragon 845	6	2.3
Huawei Nova 11SE	Harmony 4.0.0	snapdragon 778	12	1.9
Xiaomi MIX 2	Android 9	snapdragon 835	6	1.3
iPhone 15 Pro	iOS 17.2.1	A16	8	18.0
iPhone 15	iOS 17.2.1	A16	6	15.0
iPhone 12 Pro	iOS 16.5.1	A14	6	5.8
iPhone 12	iOS 17.2.1	A14	4	5.8
iPhone 11	iOS 16.6	A13	4	4.6

Demo & API

基于Gradio的网页版Demo

使用如下命令启动基于Gradio的网页版demo：

python demo/gradio_based_demo.py

高效参数微调

开源协议

模型协议

本仓库中代码依照 Apache-2.0 协议开源，MiniCPM 模型权重的使用则需要遵循 “通用模型许可协议-来源说明-宣传限制-商业授权”。 MiniCPM 模型权重对学术研究完全开放。如需将模型用于商业用途，请联系cpm@modelbest.cn来获取书面授权，在登记后亦允许免费商业使用。

声明

作为一个语言模型，MiniCPM 通过学习大量的文本来生成内容，但它无法理解、表达个人观点或价值判断，它所输出的任何内容都不代表模型开发者的观点和立场。 因此用户在使用 MiniCPM 生成的内容时，应自行负责对其进行评估和验证。

工作引用

如果觉得MiniCPM有助于您的工作，请考虑引用下列技术报告

@inproceedings{han2022bminf,
	title={MiniCPM: todo},
	booktitle={OpenBMB Blog},
	year={2024}
}

典型示例

代码生成

Case 1:

	<用户>: 给这段代码逐行加上注释\n#include <stdio.h>\nint rabbit(int n) {\nif (n == 1 || n == 2) {\nreturn 1;\n} else {\nreturn rabbit(n - 1) + rabbit(n - 2);\n}\n}\nint main() {\nint n;\nfor(n=1;n<41;n++){\n    printf(\"第%d个月时有%d对兔子\\n\", n, rabbit(n));\n}\nreturn 0;\n}
	<AI>:
	 以下是包含详细注释的代码：
	
	```c
	// 引入标准输入输出库
	#include <stdio.h>
	
	// 定义一个递归函数，计算第n个月有多少对兔子
	int rabbit(int n) {
	    // 如果n等于1或2，说明是第一个月或第二个月，此时有1对兔子
	    if (n == 1 || n == 2) {
	        return 1;
	    }
	    // 否则，递归调用自身，计算前一个月和上个月兔子数量之和
	    else {
	        return rabbit(n - 1) + rabbit(n - 2);
	    }
	}
	
	// 主函数
	int main() {
	    int n;
	
	    // 从1开始循环到第40个月
	    for(n=1; n<41; n++) {
	        // 输出当前月的编号和对应的兔子对数
	        printf("第%d个月时有%d对兔子\n", n, rabbit(n));
	    }
	
	    return 0;
	}
	```
	
	这段代码首先定义了一个名为`rabbit`的递归函数，用于计算第n个月有多少对兔子。在主函数中，我们使用一个for循环从1遍历到第40个月，并调用`rabbit`函数来计算每个月的兔子对数，并使用`printf`函数输出结果。

Case 2:

	<用户>: 编写一个Python程序来实现一个MiniCPM模型（Transformer结构, 40层，每层维度为2304, 词表大小为122753）。
	<AI>:
	 Mini-CPM（Mini-Contrastive Pretraining）模型是一种基于Transformer结构的自然语言处理模型。它使用自注意力机制和多层编码器-解码器结构来学习序列到序列的转换任务。在实现Mini-CPM模型时，我们需要遵循以下步骤：
	
	1. 导入所需库
	2. 定义模型结构
	3. 训练模型
	4. 测试模型
	
	以下是实现Mini-CPM模型的Python代码：
	
	```python
	import torch
	import torch.nn as nn
	from torch.autograd import Variable
	
	class MiniCpmModel(nn.Module):
	    def __init__(self, vocab_size, d_model, num_layers, dropout=0.1):
	        super(MiniCpmModel, self).__init__()
	        self.vocab_size = vocab_size
	        self.d_model = d_model
	        self.num_layers = num_layers
	        self.dropout = dropout
	
	        # 自注意力层
	        self.self_attn = nn.SelfAttention(d_model, dropout=dropout)
	        self.attn_layer = nn.TransformerEncoderLayer(d_model, num_layers, dropout=dropout)
	        self.transformer_encoder = nn.TransformerEncoder(self.attn_layer, num_layers)
	
	        # 全连接层
	        self.fc = nn.Linear(d_model * 8, vocab_size)
	
	    def forward(self, x):
	        x = self.self_attn(x)
	        x = x.view(x.size(0), -1)
	        x = self.transformer_encoder(x)
	        x = self.fc(x)
	        return x
	
	def train_mini_cpm(model, device, train_loader, optimizer, epochs):
	    model.train()
	    for epoch in range(epochs):
	        for i, (text, target) in enumerate(train_loader):
	            text = text.to(device)
	            target = target.to(device)
	
	            optimizer.zero_grad()
	            output = model(text)
	            loss = nn.CrossEntropyLoss()(output, target)
	            loss.backward()
	            optimizer.step()
	
	def test_mini_cpm(model, device, test_loader):
	    model.eval()
	    correct = 0
	    total = 0
	    with torch.no_grad():
	        for text, target in test_loader:
	            text = text.to(device)
	            target = target.to(device)
	            output = model(text)
	            _, predicted = torch.max(output, 1)
	            total += target.size(0)
	            correct += (predicted == target).sum().item()
	
	    print(f'Test Accuracy: {100 * correct / total}%')
	
	if __name__ == "__main__":
	    # 参数设置
	    vocab_size = 122753
	    d_model = 2304
	    num_layers = 40
	    dropout = 0.1
	
	    # 初始化模型
	    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
	    model = MiniCpmModel(vocab_size, d_model, num_layers, dropout).to(device)
	
	    # 训练模型
	    optimizer = torch.optim.Adam(model.parameters(), lr=1e-5)
	    epochs = 10
	    train_mini_cpm(model, device, train_data, optimizer, epochs)
	
	    # 测试模型
	    test_mini_cpm(model, device, test_data)
	```
	
	请注意，您需要将`train_data`和`test_data`替换为您的训练和测试数据。同时，您需要准备包含文本和目标标签的数据集。

数理逻辑

Case 1:

	<用户>: 直接给出以下算式的计算结果15 + 25 + 33 + 22 + 9=
	<AI>:
	 15 + 25 + 33 + 22 + 9 = 104
	
	结果是104。

Case 2:

	<用户>: 如果以下算式中减号均表示加号，而加号实际上是减号，给出算式的计算结果15 - 25 - 12 + 34=
	<AI>:
	 如果在算式中将减号表示为加号，并且加号实际上表示减号，那么算式将变为：
	15 + 25 + 12 - 34
	
	按照数学运算的优先级（先乘除后加减），我们首先计算括号内的加法：
	15 + 25 = 40
	40 + 12 = 52
	
	然后，我们进行减法操作：
	52 - 34 = 18
	
	所以，原算式的计算结果仍然是 18。

知识推理

Case 1:

	<用户>: 山东省最高的山是哪座山, 它比黄山高还是矮？差距多少？
	<AI>:
	山东省最高的山是泰山，海拔1545米。黄山位于中国安徽省，海拔1864米。从海拔上来看，黄山比泰山高。两者之间的差距为：
	
	黄山 - 泰山 = 319米
	
	请注意，这个数据可能随着气候变化和测量方法的变化而有所变化。

Case 2:

内容创作

Case 1:

	<用户>: 晚上睡不着，可以写哪些简短高级的朋友圈文案？
	<AI>:
	1. "夜深人静，思绪万千。愿此刻的宁静，能驱散心中的纷扰。"
	2. "夜幕降临，星光闪烁。在这宁静的时刻，愿我的心灵得到片刻的慰藉。"
	3. "月光如水，洒满窗台。此刻的我，只想静静聆听内心的声音。"
	4. "繁星点点，照亮了黑暗。今晚的星空，让我感受到无尽的希望与力量。"
	5. "夜深人静，独享这宁静的时光。愿所有的烦恼都能随风而逝，留下美好的回忆。"
	6. "夜色渐浓，思念渐深。愿这份思念，能温暖我孤独的心房。"
	7. "月光如水，洒满心间。在这宁静的夜晚，愿我能找到内心的安宁与平静。"
	8. "夜深人静，独自品味生活的酸甜苦辣。愿每一个经历，都能成为成长的养分。"
	9. "月光如诗，诗意如画。在这宁静的夜晚，愿我能感受到生活的美好与温馨。"
	10. "夜深人静，倾听内心的呼唤。愿我能在这宁静的时刻，找到心灵的归宿。"

Case 2:

文本翻译

Case 1:

	<用户>: Translate this sentence into Russian: '如何用Python创建一个简单的网页爬虫？'.
	<AI>:
	 'Как создать простый скрипт для собирания страниц в скрипте Python?'

Case 2:

	<用户>: Translate this sentence into French: "I am a fresh man on Chinese, do you know how this sentence is translated: 如何用Python创建一个简单的网页爬虫？"
	<AI>:
	 Je suis un nouveau-né en chinois, sais-tu comment on crée un simple web scraper en Python ?
	
	Note : Voici la traduction en français de la phrase originale : "How to create a simple web crawler in Python".

指令跟随

Case 1:

	<用户>: 请帮小明写一份东京旅游的游记，要求每一句话以“哇太好玩了！”开头。
	<AI>:
	 哇太好玩了！第一天，我们抵达了东京的成田国际机场。哇太壮观了！机场内的设施和服务都让我惊叹不已。
	
	哇太兴奋了！我们搭乘高速列车前往东京站，准备开始我们的旅程。哇太刺激了！列车穿行在城市的上空，让我们感受到了日本的现代科技。
	
	哇太兴奋了！我们抵达了东京塔，这座标志性的建筑给我们留下了深刻的印象。哇太壮观了！从塔顶俯瞰整个城市，景色美不胜收。
	
	哇太好玩了！我们在浅草寺参观，感受到了日本传统文化的魅力。哇太神奇了！寺庙内的神像和佛像让我们感受到了宗教的力量。
	
	哇太好玩了！我们去了东京迪士尼乐园，这里充满了欢声笑语和快乐。哇太梦幻了！我们乘坐了各种游乐设施，体验了不同的游戏和表演。
	
	哇太好玩了！我们还去了东京迪士尼海洋，这里有更多的海洋主题景点和表演。哇太精彩了！我们欣赏了精彩的烟花表演，结束了这个美好的夜晚。
	
	哇太好玩了！我们的东京之旅结束了，但留下了许多美好的回忆。我们学到了很多关于日本文化和历史的知识，也体验了日本的美食和娱乐。这次旅行真是太棒了！

Case 2: ``` <用户>: 给我一个藏头(“雪碧”)的春联, 分别按顺序给出上联（七个字），下联（七个字），横批。 : 以下是符合要求的藏头春联：

上联：雪消冰释瑞气来
下联：碧海青天春意浓
横批：瑞雪兆丰年

#### 特殊字符
Case 1:

<用户>: 请给以下句子加上emoji让它更生动: 亲爱的妻子：今天是你的生日，请收下我的蛋糕和玫瑰。
<AI>:
 亲爱的妻子：🎉今天是你的生日，💖请收下我的蛋糕🎂和玫瑰花🌹。

（注：emoji需要根据具体语言环境进行替换，以下仅作示例展示）

Case 2:

<用户>: 请给我一个json, 每个key是一个emoji，每个value是这个emoji对应的意思，给出10个左右
<AI>:
 以下是一个包含10个emoji及其对应意义的JSON对象：
```json
{
  "😊": "表示满意和喜悦",
  "😡": "表示愤怒或不满",
  "🤣": "表示搞笑的跌倒动作，代表轻松和幽默",
  "🚀": "表示兴奋和期待，通常与太空探索相关",
  "💡": "表示光亮和智慧，代表新想法或创意",
  "💤": "表示休息和放松，通常用于结束对话",
  "🌟": "表示成就和优秀，代表成功和激励",
  "🌱": "表示成长和发展，代表进步和积极变化",
  "🦋": "表示自然和生命的循环，代表希望和重生",
  "👥": "表示人与人之间的联系和团结，代表友谊和支持"
}
```