From 96af3091913808718a3dfda0cf9f096901437c91 Mon Sep 17 00:00:00 2001
From: root <403644786@qq.com>
Date: Fri, 26 Jul 2024 15:07:06 +0800
Subject: [PATCH] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E4=BA=86qlora=E7=9A=84reamd?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 finetune/README.md | 1 +
 1 file changed, 1 insertion(+)

diff --git a/finetune/README.md b/finetune/README.md
index 2b5e252..099ea03 100644
--- a/finetune/README.md
+++ b/finetune/README.md
@@ -22,6 +22,7 @@ pip install -r requirements.txt
 
 + SFT 全量微调: 4张显卡平均分配，每张显卡占用 `30245MiB` 显存。
 + LORA 微调: 1张显卡，占用 `10619MiB` 显存。
++ qlora 微调+cpu+offload: 1张显卡，占用 `5500MiB` 显存。
 
 > 请注意，该结果仅供参考，对于不同的参数，显存占用可能会有所不同。请结合你的硬件情况进行调整。