往模型输入里加一点肉眼几乎察觉不到的扰动，就能让一个准确率高达百分之九十九的推理模型彻底翻车，把熊猫认成长臂猿，把停止标志看成限速标志。这就是对抗样本攻击的威力。本文从对抗样本的产生原理讲起，分析FGSM、PGD等经典攻击方法的扰动构造思路，再从对抗训练、输入预处理...

栏目：语言推理 时间：09-16 对抗样本 对抗训练 模型鲁棒性

机器学习模型的可解释性并非总是等同于可靠性，有时我们看到的特征重要性可能只是一种解释性假象。当模型对输入特征的微小扰动表现出极端敏感时，其给出的解释往往缺乏鲁棒性，导致我们在高维数据上得出错误的因果推断。要真正解决这种假象，必须从底层剖析模型的决策边界，并引入...

栏目：AI大模型 时间：08-24 解释性假象 模型鲁棒性 敏感性分析

如果把一张正常图片加入人眼几乎无法察觉的噪声，神经网络就可能以极高置信度给出错误分类，这种被精心构造的输入就是对抗样本。对抗训练的核心做法是在每轮训练中动态生成对抗扰动并加入原始样本，强制模型在扰动边界内保持稳定预测。FGSM利用梯度符号做单步扰动，计算快但防御...

栏目：安全运维 时间：08-24 对抗训练 对抗样本 模型鲁棒性