diff --git a/finetune/README.md b/finetune/README.md index 2b5e252..099ea03 100644 --- a/finetune/README.md +++ b/finetune/README.md @@ -22,6 +22,7 @@ pip install -r requirements.txt + SFT 全量微调: 4张显卡平均分配,每张显卡占用 `30245MiB` 显存。 + LORA 微调: 1张显卡,占用 `10619MiB` 显存。 ++ qlora 微调+cpu+offload: 1张显卡,占用 `5500MiB` 显存。 > 请注意,该结果仅供参考,对于不同的参数,显存占用可能会有所不同。请结合你的硬件情况进行调整。