虚拟对抗训练

功能介绍:虚拟对抗训练是一种正则化方法，正则化是深度学习中防止过拟合的方法。

正则化我就不多展开了，这里可以理解为提高泛化能力。

最常见的正则化是直接限制模型参数的大小。

对抗训练

对抗性训练可以作为一种正则化方法来提高泛化性能，防止深度学习模型的过拟合。

机器学习方法(包括深度学习)对对抗样本非常敏感，对抗样本与非对抗样本非常相似，但模型(在非对抗样本中训练过的模型)会对这些样本进行误分类。为了更好地对这类样本进行分类，提出了对抗训练的概念。

对模型的训练进行总结，以便使训练模型更好地对对抗样本进行分类。

这里就不重点说了，详情请看我上一篇文章:

神经网络中的反击和反击样本

由于本文是对图对抗训练的改进:基于图结构的动态正则化(GAT)，这里就不详细推导了。

GAT详情请见:图对抗训练:基于图结构的动态正则化(GAT)。

这篇文章是在前一篇文章的基础上进行的讨论。本文将沿用上一篇文章的象征意义，不再赘述。如有需要，请在之前的手写推演注释中查找。

改进:

1.局部平滑度

变化:损失函数中真实标签的分布被当前迭代下的预测标签分布所代替。有了真实分布，具体参数可以动态迭代多次，多次迭代，参数数量可以急剧增加，平滑度更好。

2.快速计算对抗的方向

用幂迭代法计算矩阵最大特征值对应的特征向量。

3.添加了额外的正则化项。

加入条件熵作为额外的正则项，使得输出的概率分布更集中，更确定。达到更好的预测效果。

数学推导；