蒸馏攻击的逻辑

蒸馏攻击的逻辑，本质上是一种模仿学习。可以用一个简单的比喻来理解：学生通过偷看老师的答题思路，来学会解决同类问题，而老师却不知道自己被利用了。

其核心逻辑可以拆解为以下三个关键环节：

1. 核心类比：模仿输出，反推能力

• 受害者（教师模型）：一个部署在云端的付费AI，拥有强大的能力，但内部构造保密（黑盒）。

• 攻击者（学生模型）：一个本地的、能力较弱的普通模型。

• 攻击手段：攻击者没有教材（原始训练数据），但他可以向老师提问（发送API请求）。

• 学习过程：老师每回答一个问题（返回预测标签和概率），学生就把这个问题和答案记下来，当作标准案例来学习。

2. 具体的工作流程逻辑

蒸馏攻击的逻辑通过以下步骤实现：

第一步：获取“标准答案”
攻击者收集或生成大量输入数据 $X$（例如几万张图片）。他将这些数据逐条发送给目标模型 API。

• 关键点：目标模型返回的不仅是“这是猫”这个结论（硬标签），更关键的是返回“90%是猫，8%是狗，2%是老鼠”这样的概率分布（软标签）。

• 逻辑意义：软标签包含了教师模型的“思考过程”和“模糊判断”，这是知识蒸馏能成功的精髓。

第二步：本地“上课”
攻击者用刚才收集到的数据对 $(X,\text{软标签})$ 来训练自己的本地小模型。

• 损失函数：训练时，攻击者要求本地模型的输出不仅要猜对正确答案，还要尽量模仿教师模型那种概率分布。

• 逻辑意义：这使得本地模型能够学到教师模型的决策边界和泛化能力，而不仅仅是死记硬背答案。

第三步：功能等价
训练完成后，攻击者的本地模型在功能上已经近似于云端模型。对于新的输入，两者的输出结果会非常相似。

3. 为什么这个逻辑成立？

• 信息泄露：AI模型的知识不仅存储在其参数中，也体现在它对输入的响应上。API只要返回结果，就在泄露信息。

• 高维模仿：人类看一张图知道是猫就够了，但模型内部会产生复杂的概率分布。攻击者正是利用这种高维度的输出，逆向还原了模型的功能。

• 低成本复制：攻击者不需要知道模型的权重，也不需要原始训练数据，只需要能发起查询。这相当于用少量的推理成本，窃取了昂贵的训练成果。

4. 一句话总结

蒸馏攻击的逻辑是：利用目标模型对海量输入的精确响应作为“教材”，训练一个本地替代模型，从而在功能上完全克隆那个原本受保护的商业模型。