不少人用LoRA微调大模型后，推理输出的效果远低于预期：要么答非所问，要么输出格式混乱，甚至比微调前还差。排查数据质量、训练轮数之后，问题往往出在两个最基础却最容易被忽视的超参数上——秩r和缩放系数Alpha。这两个参数共同决定了LoRA适配器究竟能对原模型施加多大的影响，理解它们的作用机制是调优的第一步。
理解Rank与Alpha的数学含义
LoRA的核心思想是用两个低秩矩阵的乘积来近似微调时的权重增量。假设原模型某一层的权重是W，LoRA在旁边并联一条支路，用矩阵A（形状为r×d）和矩阵B（形状为d×r）来学习增量，实际生效的权重变化就是A与B的乘积再乘以一个缩放系数。写成公式就是：W' = W + (Alpha / r) × B×A。
从这个公式能直接看出两个参数的分工。秩r决定了矩阵乘积B×A的秩的上限，也就是这条支路最多能容纳多少信息量。r越大，可学习的参数越多，表达能力越强，但显存占用和过拟合风险也随之上升。Alpha则是一个纯粹的缩放因子，它除以r之后的商，决定了学到的增量以多大强度叠加到原模型上。换句话说，r管容量，Alpha管音量。
一个常见的误解是认为Alpha越大越好，或者随便填一个数无所谓。实际上如果固定r不变而大幅调高Alpha，等于把学到的权重变化强行放大，模型输出会变得不稳定，表现为胡言乱语或者过度拟合训练语料的风格。反之Alpha太小，增量几乎被抹平，微调等于没调，推理效果自然和原模型差不多。
Rank取值不当带来的典型问题
秩r的取值直接影响适配器的学习能力。在PEFT库中常见的默认值是8或16，这对简单的风格迁移任务通常够用，但对知识密集型任务（比如让模型学习一个新的业务领域知识库）就显得容量不足。具体表现为：训练损失下降到一定程度就停滞，推理时模型能模仿格式，但回答内容空洞、缺乏细节，这是典型的欠拟合症状。
反过来，r取到64甚至128时，可学习参数量接近全量微调的相当比例，在小数据集上很容易过拟合。过拟合的特征也很明显：训练集上的损失很低，验证集损失却开始回升，推理时模型对训练样本几乎能逐字复述，但换一种问法就完全失效。此外，高秩还会带来推理延迟的增加，虽然LoRA矩阵可以合并回原权重，但合并前显存占用明显更高。
经验上可以参考这样的区间：简单指令跟随和风格调整用r=4到8；通用对话能力微调用r=8到16；领域知识注入或多任务适配用r=16到64。每次调整建议按2到4倍的幅度变化，观察验证集表现再决定下一步，不要一次跨太大步长。
Alpha的设置原则与学习率的配合
原论文给出的推荐做法是固定Alpha为r的两倍，也就是缩放系数保持2。这个比例在很多实践中被证明是稳妥的起点。当r=8时Alpha设16，r=16时Alpha设32，以此类推。如果你调整了r，最好同步调整Alpha保持比例不变，这样可以把变量控制在同一个维度上，便于归因分析。
Alpha与学习率之间存在隐性的配合关系。缩放系数实际上放大了梯度的有效作用，因此调高Alpha相当于变相调大了学习率。如果你发现训练过程中损失剧烈震荡或者出现NaN，除了降低学习率，也可以考虑降低Alpha。一个实用的排查顺序是：先固定Alpha/r比例为2，用较小的学习率（如1e-4）训练，如果收敛太慢再逐步上调，不要同时动多个参数。
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
config = LoraConfig(
r=16, # 秩：决定适配器容量
lora_alpha=32, # 缩放系数：保持为r的两倍
lora_dropout=0.05, # dropout防止过拟合
target_modules=["q_proj", "v_proj"], # 挂载到注意力层
task_type="CAUSAL_LM"
)
model = get_peft_model(model, config)
model.print_trainable_parameters()上面的代码展示了典型配置。target_modules的选择同样影响效果，只在q_proj和v_proj上挂载LoRA时参数量小、训练快，但表达能力有限；如果任务复杂，可以扩展到k_proj、o_proj甚至FFN层的gate_proj、up_proj、down_proj，这比单纯提高r往往更有效。
推理效果差的排查清单与调优建议
当微调后的模型推理效果不佳时，建议按以下顺序排查。第一，确认推理时适配器是否正确加载，如果用了合并方式，检查merge_and_unload是否在保存前调用，很多效果异常其实是加载了裸模型。第二，检查推理时的temperature和top_p等采样参数，过高的temperature会让微调后的模型输出失控。第三，确认训练数据格式与推理提示词格式完全一致，LoRA对格式非常敏感，训练时用的模板和推理时的模板差一个符号都会明显劣化输出。
排除了以上工程问题后，再回到参数本身。如果模型欠拟合（学不会任务），优先提高r并同时保持Alpha为两倍关系；如果过拟合（只会背训练集），优先降低r或者提高lora_dropout，而不是急着减少训练轮数。还可以尝试把r固定在16，只微调Alpha在8到48之间扫几个值，很多时候比例调整到1倍或3倍会带来意想不到的提升。
最后需要说明的是，参数调优没有万能公式，不同基座模型、不同数据分布下的最优组合差异很大。但掌握r管容量、Alpha管强度这一基本框架后，大部分推理效果问题都能定位到具体原因，再有针对性地做小范围实验，比盲目堆砌训练轮数有效得多。