论文笔记——Multimodal Counterfactual Learning Network for Multimedia-based Recommendation

基于多媒体的推荐（MMRec）利用多模态内容（图像、文字描述等）作为历史交互的辅助信息来确定用户偏好。 大多数 MMRec 方法通过利用大量用户互动项目的多模态内容来预测用户兴趣，而忽略了用户未互动项目的多模态内容的潜在影响。现有的 MMRec 方案虽然可以捕捉到多模态内容中尽可能多的特征，但是往往忽略了这些特征中与用户偏好无关的部分。这些无关特征的混入不仅对预测用户偏好没有实际作用，反而还可能会干扰其他有用特征的作用。

比如下图中的这个例子中，有两件样式相近的连衣裙，且用户购买了上面这件颜色为淡蓝色的棉质裙子（不过原因可能是仅仅因为这是一件棉质裙子）。如果通过神经网络对多模态信息进行处理，可以捕捉到颜色、款式、材质等特征。然而，如果直接使用传统的 MMRec 方案的话，很可能会直接因为下面这件裙子与上面这件裙子的颜色和款式非常相似，认为当前用户也喜欢下面这件裙子，忽略了本例中 颜色和款式可能是无关特征 的情况。因此，本文提出了一个名为 “多模态反事实学习网络”（Mul-timodal Counterfactual Learning Network，MCLN）的新型 MMRec 模型，可以帮助剔除与用户偏好无关的特征，提升推荐系统的准确度。