因果推理推荐系统工具箱-CFF (1)

针对现有基于评论的推荐系统中评论稀疏和不平衡的问题，提出在特征感知的推荐场景中使用反事实样本来提高模型的性能。作者通过干预用户的偏好(反映在用户的一些评论中)生成反事实样本，利用观察样本和反事实样本共同训练推荐模型，提高模型的性能。当生成反事实样本时，使用基于学习的方法而不是随机生成来生成能够最好地改善模型性能的反事实样本。此外，作者还进行了理论分析，讨论了生成样本数与模型噪声干扰的关系。

现有的基于评论的方法可以分为两类，具体情况如下图A所示。

然而，上述方法都没有触及评论推荐的本质问题，即数据稀疏和不平衡。评论信息可以极大地提高推荐系统的性能，但是它的稀疏性和不平衡性给准确高效的推荐带来了很大的挑战。要使模型达到令人满意的性能，需要付出巨大的努力。在亚马逊数据集上的统计结果显示，经常评论的用户很少，提到的条目和方面很少。

因此，作者借鉴反事实的思想，通过最小程度地调整用户偏好来改变用户偏好的排序结果，从而生成反事实样本。

笔者使用BPR loss[19]两两学习，具体损失函数如下图所示。其中训练样本是sigmoid函数，推荐模型(这里应该是排名模型)，第二项整体代表正则项。指示用户对项目的偏好分数。

如前所述，用户评论稀疏。同时，用户对商品不同特征(方面)的关注影响用户的偏好。比如下图，用户如果关注品牌会选择“IPhone”，如果更关注价格会选择“小米”。因此，可以通过干预用户的特征注意力来获得反事实，并通过使用(现有的，可能是预先训练的)推荐模型来预测样本，从而获得反事实样本的标签。

比较Naive的方法是用用户的注意力特征代替随机样本，但由于样本和特征的重要性不同，这种方法显然是次优的[12]。作者采用基于学习的方法学习反事实样本生成(这应该是现在反事实样本生成的基本操作)。借鉴[1，12]，作者学习如何通过改变用户对特征的关注(特征代表用户偏好)来改变模型的决策结果，生成反事实样本，实际上是利用模型的决策边界来反映数据潜在结构或模式的特征。其原理图见上图中的子图B。

具体来说，作者引入了扰动，扰动向量的每个元素作用于文章的每个特征(也可以是特征的隐向量表示)。其中代表所有特征的集合。然后使用下图所示的公式找到最佳扰动。

其中，的计算公式如下图所示，分别代表用户和物品的特征矩阵，即每个用户对该特征的关注程度和该特征中每个物品的质量。

值得注意的是，在学习优化的过程中，参数是固定的损失函数中第一项的目标是寻找最小扰动，第二项的目标是改变模型对两项的偏好排序。

本节阐述了作者的研究背景、基本模型和生成反事实样本的思路，下一节继续介绍反事实生成的控制细节和理论分析。

本文作者也是罗格斯大学的大佬，所以套路很像因果推理推荐系统工具箱——CCF(一)和因果推理推荐系统工具箱——DCCF(一)。两者都是先用反事实样本来增强模型，生成方法主要是基于学习的方法，目标是生成所谓的“硬样本”，使模型的性能最大化。最后，分析了模型的错误率与样本数和噪声的关系。

同时，生成反事实的过程是用一个预先训练好的弱推荐模型来判断反事实样本的标签，然后在训练模型中得到一个更高的性能(或者感觉有点像bootstrap)。

[1] Ehsan Abbasnejad、Damien Teney、Amin Parvaneh、Javen Shi和Anton van den

亨格尔。2020.反事实视觉与语言学习。IEEE/CVF计算机视觉和模式识别会议论文集。10044–10054.

[4]罗丝·卡特琳娜和威廉·科恩。2017.TransNets:学习转化为推荐。arXiv预印本arXiv:1704.02298(2017)。

[7]，尹宏志，，叶，，，王蒙. 2020 .试着这样做:个性化和可解释的代课推荐.(2020).

[12]雅什·戈亚尔、吴梓嫣、扬·恩斯特、德茹夫·巴特拉、德维·帕里克和斯特凡·李。2019.反事实的视觉解释。arXiv预印本arXiv:1904.07451(2019)。

Steffen Rendle、Christoph Freudenthaler、Zeno Gantner和Lars Schmidt-Thieme。2009.BPR:基于隐式反馈的贝叶斯个性化排序。《第二十五届人工智能不确定性会议论文集》。AUAI出版社，452–461。