归纳推理（inductive reasoning）任务要求模型从若干观测示例中总结出潜在规律，再将规律应用到新样本上。这类任务在抽象推理、程序合成、函数学习等场景中大量存在。实践中一个常见的现象是：训练集准确率一路飙升到接近百分之百，验证集却迟迟上不去，甚至换个随机种子的数据就彻底失效。这背后的原因多半不是模型容量不够，而是模型选择了抄近路——记住训练示例的表面特征，而不是学习真正的归纳规则。本文围绕这个问题展开，重点介绍多样性正则化这一思路。
为什么归纳推理任务特别容易过拟合
归纳推理任务的数据通常由一个规则生成器批量产生。如果规则空间有限、而采样又不够均匀，训练集中某些规则与答案的映射关系会呈现统计偏斜。比如在函数归纳任务中，若训练时线性函数的输出大多为正数，模型很可能学到一个“输出取正”的捷径，而不是真正去拟合函数形式。
更隐蔽的问题是示例之间的相关性。一个归纳任务往往由若干示例组成一个查询组，组内示例高度相关。模型如果对整个组做了记忆式编码，即使组内换掉一个示例，预测也可能崩塌。这种过拟合在指标上表现为训练损失快速下降、验证损失不降反升，是典型的死记硬背信号。
从优化角度讲，记忆是模型的低阻路径。神经网络容量充足时，梯度下降优先收敛到能把训练样本逐个“索引”出来的解，而不是泛化的规则解。要打破这种倾向，必须主动干预，正则化就是主要干预手段之一。
多样性正则化的核心思想
多样性正则化的出发点是：真正学到了规则的模型，其内部表示不应该与具体示例的身份绑定。如果模型对同一规则下的不同示例产生高度相似的中间特征，说明它记住的是示例本身；反之，若中间表示在规则层面一致、在示例层面保持可区分的多样性，泛化能力通常更好。
具体实现上有几条路线。第一种是基于熵的分布约束：让模型对答案的预测分布在训练早期保持较高的熵，防止过早收敛到某个记忆化映射。可以在损失中加入一项预测分布的平均熵奖励，随训练进程逐步衰减权重，让模型先探索再收敛。
第二种是特征去相关。对同一规则下的多个示例提取中间特征，计算特征间的余弦相似度矩阵，对过高的相似度施加惩罚。直觉上，这迫使模型把不同示例编码为不同的表示，从而压缩记忆空间，逼它转向规则层面的抽象。
数学上可以写成总损失的形式：
import torch
import torch.nn.functional as F
def total_loss(pred_logits, targets, group_features, entropy_weight=0.1, diversity_weight=0.1):
# 基础监督损失
base_loss = F.cross_entropy(pred_logits, targets)
# 熵正则项：鼓励预测分布保持一定不确定性，抑制过早记忆
probs = F.softmax(pred_logits, dim=-1)
entropy = -(probs * torch.log(probs + 1e-8)).sum(dim=-1).mean()
entropy_reg = -entropy # 取负号使损失越小熵越大
# 多样性正则项：组内特征两两余弦相似度的平方和惩罚
feat_norm = F.normalize(group_features, dim=-1)
sim_matrix = torch.mm(feat_norm, feat_norm.t())
off_diag = sim_matrix - torch.eye(sim_matrix.size(0), device=sim_matrix.device)
diversity_reg = (off_diag ** 2).sum() / (sim_matrix.size(0) ** 2 - sim_matrix.size(0))
return base_loss + entropy_weight * entropy_reg + diversity_weight * diversity_reg
代码里三个损失项各司其职：交叉熵负责监督信号，熵正则在训练前期防止预测分布过早尖锐化，多样性项则约束组内示例特征不能坍缩到同一个点上。权重的设置很关键，一般熵项权重从0.1起步，在前十分之一的训练步数内线性退火到零；多样性项则可以全程保持较小值。
与其他正则化手段的对比
数据增强是最先值得尝试的方案。对归纳任务而言，有效的增强不是普通的加噪声，而是“规则等价变换”：比如交换示例顺序、重命名输入符号、对数值做保持规则不变的变换。如果增强设计得好，能从源头稀释记忆的价值，成本也低。但它依赖对任务的先验理解，规则复杂时不容易设计周全。
Dropout和权重衰减是通用工具，作用是降低模型有效容量。它们对归纳任务有效但比较钝——不区分模型记的是什么，只是笼统压制。当模型本身容量就偏紧时，这两者可能伤及规则的正常学习。多样性正则化更精准，它只针对“示例表示坍缩”这一具体病症，对规则层面的学习干扰较小。
三者的组合往往是最佳实践：数据增强从源头治理，dropout做容量兜底，多样性正则化做定向纠偏。实际项目里可以先用小规模消融实验确认每一项的贡献，避免盲目堆叠。
实践中的调参与验证建议
判断多样性正则化是否生效，不能只看最终准确率。建议在训练过程中监控两个信号：一是组内特征平均余弦相似度，加入正则后应明显下降并稳定在较低水平；二是训练与验证准确率的差距，理想情况下差距应逐步收窄而非扩大。
权重调节上有个常见误区：把多样性权重设得过大。这会导致特征被强行推开到不合理的方向，模型连规则本身的相似结构都无法表达，训练损失会明显抬升。稳妥做法是从小值起步，按数量级逐步放大，观察验证曲线的变化。
最后要强调验证集的构造。归纳推理任务的验证集必须使用未见过的规则实例，而不仅仅是同一规则下的新输入。只有同时更换规则与输入，才能真正检验模型是学会了归纳还是仅仅记住了示例。配合早停策略，在验证准确率首次停滞时保存模型，通常能拿到更稳的泛化表现。