微调基础设施：大规模 LoRA、QLoRA 和 PEFT
全量微调 7B 模型需要 100-120GB 显存（约 5 万美元的 H100）。QLoRA 可在 1500 美元的 RTX 4090 上完成同样的微调。PEFT 方法将内存占用降低 10-20 倍，同时保持 90-95% 的质量。LoRA 适配器通过与基础权重合并实现零推理延迟。QLoRA 结合 4 位量化与 LoRA，实现最大内存效率。
None