论文阅读《Bootstrap Latent Representations for Multi-modal Recommendation》

论文概况

本文是2023年的一篇多模态推荐论文，不依靠辅助图来进行建模，大大节省训练时间得到非常优秀的推荐效果。

Introduction

作者认为当前推荐模型使用GNN以及辅助图会导致以下限制：（1）贝叶斯损失在大型图上产生过高的成本，并将噪声监督信号带入训练过程；（2） 当在大规模辅助图上构建和训练时，利用辅助图结构的方法可能会产生过高的内存成本。
针对上述问题，作者提出BM3模型：（1）使用简单的潜在表示丢弃机制而不是图扩充来生成用户或项目的目标视图，以便在没有负样本的情况下进行对比学习；（2） 设计了一个多模态对比损失（MMCL）函数；

Method

A.多模态潜在空间变换器

首先BM3进行了一个常规的多模态特征转化，将不同长度的多模态特征转化为等长
$${\mathrm{h}}_m={\mathrm{e}}_m{W}_m+{\mathrm{b}}_m,\text{\hspace{1em}(1)}$$
然后，利用邻接图对IDembedding进行聚合传播，
$${\mathrm{H}}^{l+1}=\sigma \left({\hat{\mathrm{A}}\mathrm{H}}^l{\mathrm{W}}^l\right),\text{\hspace{1em}(2)}$$
其中$\mathrm{A}={\hat{\mathrm{D}}}^{-1/2}(\mathrm{A}+\mathrm{I}){\hat{\mathrm{D}}}^{-1/2}$
将每一层的embedding进行平均，再添加残差网络，最终得到传播后的物品、用户ID embedding
$$\begin{array}{rl}{\mathrm{H}}_{\mathrm{u}}& =\mathrm{ReADour}({\mathrm{H}}_u^0,{\mathrm{H}}_u^1,{\mathrm{H}}_u^2,...,{\mathrm{H}}_u^L);\\ {\mathrm{H}}_{\mathrm{i}}& =\mathrm{ReADour}({\mathrm{H}}_i^0,{\mathrm{H}}_i^1,{\mathrm{H}}_i^2,...,{\mathrm{H}}_i^L)+{\mathrm{H}}_i^0,\end{array},\text{\hspace{1em}(3)}$$

B.多模态对比损失

下面是BM3的损失函数设计，首先使用dropout对原本embedding进行处理：
$$\dot{\mathrm{h}}=\mathrm{h}\cdot \mathrm{Bernoulli}(p),\text{\hspace{1em}(4)}$$
然后设计一个简单的MLP的predictor：
$$\tilde{\mathrm{h}}={\mathrm{hW}}_p+{\mathrm{b}}_p,\text{\hspace{1em}(5)}$$
图形重建损失：BM3希望预测器的预测结果能尽可能与原本邻接的ID embedding相靠近
$${\mathcal{L}}_{rec}=C({\tilde{\mathrm{h}}}_u,sg({\dot{\mathrm{h}}}_i))+C(sg({\dot{\mathrm{h}}}_u),{\tilde{\mathrm{h}}}_i),\text{\hspace{1em}(6)}$$
相似度的计算公式为
$$C({\mathrm{h}}_u,{\mathrm{h}}_i)=-\frac{{\mathrm{h}}_u^T{\mathrm{h}}_i}{||{\mathrm{h}}_u|{|}_2||{\mathrm{h}}_i|{|}_2},,\text{\hspace{1em}(7)}$$
模态间特征对齐丢失：BM3进一步将项目的多模态特征与其目标ID嵌入对齐。鼓励ID嵌入在具有类似多模态特征的项目上彼此靠近
$${\mathcal{L}}_{align}=C({\tilde{\mathrm{h}}}_m^i,{\dot{\mathrm{h}}}_i),\text{\hspace{1em}(8)}$$

模态内特征掩蔽损失:BM3使用模内特征掩蔽损失来进一步鼓励学习具有潜在嵌入的稀疏表示的预测器
$${\mathcal{L}}_{mask}=C({\tilde{\mathrm{h}}}_m^i,{\dot{\mathrm{h}}}_m^i).\text{\hspace{1em}(9)}$$

C.TOP-K推荐

最终，BM3利用预测器进行推荐
$$s({\mathrm{h}}_u,{\mathrm{h}}_i)={\tilde{\mathrm{h}}}_u\cdot {\tilde{\mathrm{h}}}_i^T.,\text{\hspace{1em}(10)}$$
取top-k得分物品作为推荐结果

D.结果

可以看到，结果非常不错。
最重要的是，BM3真的很快。

总结

BM3利用了简单的方式进行多模态特征的利用，省去了复杂的图结构构建，结果又快又准。