论文阅读《Knowledge-enhanced Multi-View Graph Neural Networks for Session-based Recommendation》

论文概况

本文是2023年sigir的一篇知识图谱会话推荐论文，利用知识图谱取代传统的全局图，并设计三种视图辅助推荐。

Introduction

作者认为当前会话推荐模型存在以下缺陷：（1）当前模型使用全局图来构建跨会话关系，但全局图中的邻接边基本都在局部图中出现，导致信息冗余，全局图没有挖掘到真正的跨会话信息。（2）当前模型仅分析项目上下文关系，忽略了 同一会话中的项目通常具有特征共性。
针对上述问题，作者提出KMVG模型：（1）利用知识图谱提取全局项目-项目关系，可以有效地缓解数据稀疏性和冗余挖掘问题（2） 我们提取序列模式和特征模式，以细粒度的方式表示局部项目-项目关系。

Method

A.Multi-View Graph Models

Knowledge-View Graph：利用知识图谱构建三元组(h,r,t)，每个(h,r,t)意味着从h到t存在关系r

Session-View Graph： 会话视图中存在四种类型的边$r_{in},r_{out},r_{in-out},r_{self}.$在会话中相邻的物品在图中也邻接。
Pairwise-View Graph： 由一个会话中所有物品组成的全连接图。

B.Knowledge-View Representation Learning

模型利用Knowledge-View Representation Learning层进行全局信息的捕获。
利用知识图谱图注意力卷积，让t的信息通过各种关系r进行传播，增强实体h的语义
$${\mathbf{e}}_{N_h}=\sum _{(h,r,t)\in {\mathcal{N}}_h}\zeta (h,r,t)\cdot {\mathbf{e}}_t,\text{\hspace{1em}(1)}$$
其中，注意力$\zeta (h,r,t)$决定从t中传播多少信息到h，$\zeta (h,r,t)$计算如下：
$$\begin{array}{rl}\zeta (h,r,t)& =\frac{exp(s(h,r,t))}{{\sum }_{(h,r^{\prime },t^{\prime })\in {\mathcal{N}}_h}exp(s(h,r^{\prime },t^{\prime }))},\\ s(h,r,t)& =({\mathbf{W}}_r{\mathbf{e}}_t{)}^{\top }tanh({\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r),\end{array}\text{\hspace{1em}(2)}$$
其中${\mathbf{e}}_r$是可训练参数。
我们将${\mathbf{e}}_{N_h}$与输入embedding结合，得到物品h在该层的特征表示
$${\mathbf{e}}_h^{(1)}=f_1({\mathbf{e}}_h,{\mathbf{e}}_{N_h})=\sigma ({\mathbf{W}}_1({\mathbf{e}}_h\oplus {\mathbf{e}}_{N_h})),\text{\hspace{1em}(3)}$$
形式上，在第l层物品h的特征表示为：
$${\mathbf{e}}_h^{(l)}=f_1({\mathbf{e}}_h^{(l-1)},{\mathbf{e}}_{N_h}^{(l-1)}).\text{\hspace{1em}(4)}$$

C.Session-View Representation Learning

模型利用Session-View Representation Learning层进行会话内上下文关系的捕获。
在会话图上进行图注意力卷积
$${\mathbf{e}}_{v_i^s}^s=\sum _{(v_i^s,r_{ij},v_j^s)\in {\mathcal{N}}_{v_i^s}}\xi (v_i^s,r_{ij},v_j^s)\cdot {\mathbf{e}}_{v_j^s},\text{\hspace{1em}(5)}$$
其中$\xi (v_i^s,r_{ij},v_j^s)$计算如下：
$$\xi (v_i^s,r_{ij},v_j^s)=\frac{exp({\mathbf{a}}_{r_{ij}}^{\top }\sigma ({\mathbf{e}}_{v_i^s}\otimes {\mathbf{e}}_{v_j^s}))}{{\sum }_{(v_i^s,r_{ij},v_k^s)\in {\mathcal{N}}_{v_i^s}}\exp ({\mathbf{a}}_{r_{ij}}^{\mathsf{T}}\sigma ({\mathbf{e}}_{v_i^s}\otimes {\mathbf{e}}_{v_k^s}))},\text{\hspace{1em}(6)}$$
其中，${\mathbf{a}}_{r_{ij}}$代表不同类型边的权重。
我们分别将物品的初始表征和物品用知识图谱卷积得到的表征作为（5）（6）的输入，最终得到${\mathbf{e}}_{v_i^s}^{si},{\mathbf{e}}_{v_i^s}^{sk}$，分别蕴含上下文信息、全局语义信息。
我们将携带两种信息的表征相结合，再引入位置向量，强调会话中物品位置的重要性区别。
$${\mathbf{e}}_{v_i^s}^{sv}=f_2({\mathbf{e}}_{v_i^s}^{si},{\mathbf{e}}_{v_i^s}^{sk}),\text{\hspace{1em}(7)}$$
$${\mathbf{h}}_{v_i^s}=tanh({\mathbf{W}}_2[{\mathbf{e}}_{v_i^s}^{sv};{\mathbf{p}}_{l-i+1}]+{\mathbf{b}}_1).\text{\hspace{1em}(8)}$$

D.Pairwise-View Representation Learning

模型利用Pairwise-View Representation Learning层进行项目特征相关性的捕获。
使用成对的项目聚合器，通过计算交叉特征来获得项目的特征共性
$${\mathbf{z}}_{ij}={\mathbf{e}}_{v_i^s}\otimes {\mathbf{e}}_{v_j^s},\text{\hspace{1em}(9)}$$
因此，一个会话中的相关性计算如下：
$${\mathbf{s}}_{pair}=LeakyReLU(\frac{1}{l}\sum _{i=1}^l\sum _{j=i+1}^l{\mathbf{z}}_{ij}),\text{\hspace{1em}(10)}$$
$$\begin{array}{rl}{s}_{pair}& =LeakyReLU\left(\frac{1}{l}\sum _{i=1}^l\sum _{j=i+1}^l{\mathbf{e}}_{v_i}^s\otimes {\mathbf{e}}_{v_j}^s\right)\\ & =LeakyReLU\left(\frac{1}{2l}\left(\sum _{i=1}^l\sum _{j=1}^l{\mathbf{e}}_{v_i}^s\otimes {\mathbf{e}}_{v_j}^s-\sum _{i=1}^l{\mathbf{e}}_{v_i}^s\otimes {\mathbf{e}}_{v_i}^s\right)\right)\\ & =LeakyReLU\left(\frac{1}{2l}\left({\left(\sum _{i=1}^l{\mathbf{e}}_{v_i}^s\right)}^2-\sum _{i=1}^l{\left({\mathbf{e}}_{v_i}^s\right)}^2\right)\right)\end{array}.\text{\hspace{1em}(11)}$$

E.Ensemble and Prediction

首先通过注意力机制融合来自会话视图的项目表示，
$${\mathbf{s}}_{sess}=\sum _{i=1}^l{\beta }_i\cdot {\mathbf{e}}_{v_i^s}^{sv},\text{\hspace{1em}(12)}$$
其中注意力权重计算如下：
$${\beta }_i={\mathbf{q}}^{\top }\sigma ({\mathbf{W}}_3{\mathbf{h}}_{v_i^s}+{\mathbf{W}}_4{\overline{s}}^{sv}+{\mathbf{b}}_2),\text{\hspace{1em}(13)}$$
其中，${\overline{s}}^{sv}=\frac{1}{l}{\sum }_{i=1}^l{\mathbf{e}}_{v_i^s}^s.$
将得到的会话视图与成对视图表征结合：
$$s_{final}=f_3(s_{sess},s_{pair}),\text{\hspace{1em}(14)}$$
最终，计算相似度得分
$${\hat{y}}_i=\frac{exp(s_{final}^{\top }{\mathbf{e}}_{v_i})}{{\sum }_{v_j\in \mathcal{V}}exp({\mathbf{s}}_{final}^{\top }{\mathbf{e}}_{v_j})},\text{\hspace{1em}(15)}$$
损失函数如下：
$$\mathcal{L}=-\sum _{i=1}^n{y}_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i}).\text{\hspace{1em}(16)}$$

实验结果

总结

KMVG指出主流算法中利用全局图会出现的信息冗余问题，但使用知识图谱作为解决方案并没有利用跨会话信息，可以在这篇文章的思想上针对全局图进行改进，去掉局部图中已经包含的信息，让全局图捕获全新的跨会话信息。