导读:近期更新了《Rank参数》的相关内容,包括《LoRA推理效果差?详解Rank与Alpha参数如何影响模型微调效果》。如果 Rank参数 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
LoRA推理效果差?详解Rank与Alpha参数如何影响模型微调效果 微调后模型推理效果不理想,LoRA的秩r和缩放系数Alpha往往是被忽视的关键。秩r决定了低秩矩阵的表达能力上限,取值过小会导致模型学不到足够的任务知识,取值过大又容易过拟合且浪费显存;而Alpha作为缩放因子,直接控制适配器权重对原模型输出的影响强度,通常按Alpha等于r的两倍来... 栏目:语言推理 时间:09-16 LoRA Rank参数 Alpha参数