【综述】Pre-train, Prompt and Recommendation: A Comprehensive Survey of Language Modelling Paradigm-CSDN博客

本文链接：https://blog.csdn.net/qq_38866253/article/details/129674705

本文探讨了预训练模型如何提升推荐系统的性能，特别是通过预训练和微调或prompt学习策略。预训练能从大规模无标签数据中学习知识，prompt学习则通过提示适应不同任务。文章分析了多种数据类型和训练策略，包括文本、序列、图和多模态数据，以及预训练与微调、prompt调优等方法，展示了不同工作中的应用实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：https://arxiv.org/pdf/2302.03735.pdf

摘要

1. Introduction

2. Generic Architecture of LMRS

3. Data Types

4. LMRS Training Strategies

摘要

预训练模型和学习到的表示有助于一系列下游任务，本文系统调研了如何从不同PLM（Pre-trained Language Models）相关的训练范式学习到的预训练模型中提取和迁移知识，从而提升推荐性能（泛化性、稀疏性、效率和有效性等）。

1. Introduction

目前，数据稀疏性问题成为当前深度推荐模型的一个主要性能瓶颈。而在大规模无监督语料库上训练进行预训练(pre-training)，然后在不同的下游监督任务中进行微调(fine-tuning)取得了很好地效果。pre-training&fine-tuning范式的优点是：能够通过无监督任务从无标签数据中提取富含信息和可迁移的知识，这将有助于下游任务，尤其是这些任务的无标签数据缺乏时，从而避免了模型无从训练。

最近提出的prompt learning通过一种简单而灵活的方式进一步统一了在不同任务上PLMs的使用。 prompt learning依赖一系列适当的提示(hard text template/soft continuous embeddings)，将下游任务重新定义为预训练任务。这种训练范式的优点有：（1）弥合了预训练和下游目标之间的差距，允许更好地利用预训练模型中丰富的知识，当下游数据非常少时，该优势尤其明显；（2）只需要调整一小部分参数即可，改方法更加高效。

Knowledge transfer via pre-training for recommendation: A review and prospect 总结了一些关于推荐模型预训练的研究，并且讨论了不同领域间的知识迁移方法，但未深入研究预训练推荐模型的训练细节。Self-Supervised Learning for Recommender Systems: A Survey 简要概述了RSs中自监督推荐进展，这意味着用于模型训练的监督信号是由原始数据半自动生成的。本文则不再严格关注自监督训练策略，也探索监督信号和数据增强技术用于pre-training&fine-tuning和prompting中。

2. Generic Architecture of LMRS

LMRS( Language Modelling Paradigm Adaptations for Recommender Systems)通过从预训练模型(PTMs)进行知识迁移来克服数据稀疏性问题。Fig1从data input、pre-training、fine-tuning/prompting和对不同推荐任务的推荐角度给出了 LMRS的高度概述。首先将数据预处理为所需形式（如图、有序序列、对齐的文本-图像对等），然后执行“pre-train, fine-tune”或“pre-train, prompt”，如果inference仅基于预训练模型，那么可将其视为一种端到端的训练方式，但利用了基于LM的学习目标，训练得到的模型可用于推断不同的推荐任务。

3. Data Types

将输入数据编码为嵌入通常是推荐过程的第一步，推荐系统的输入比大多数NLP任务更加多样化。
因此，编码技术和编码过程可以根据不同的输入类型进行区分。本节将概述几种输入数据类型，然后再深入讨论推荐的训练技术。

文本数据

文本数据是推荐中最常用的输入之一，文本数据主要包括：reviews,comments, summaries, news, conversations和codes等。

序列数据

本文将按时间顺序或按特定序列排序的用户交互认为序列输入，这种输入通常作为序列推荐或会话推荐的输入。

在PLMRS训练的不同阶段，图构造和图学习为提升推荐性能产生着不同的作用，其类型通常有：用户-用户社交图、用户-物品交互图、异质知识图谱等。

多模态数据

同“图”。

4. LMRS Training Strategies

目前，主要有两类不同的训练模式：pre-train&fine-tune paradigm 和 prompt learning paradigm。根据不同的推荐目的，以上分类又可以进一步分为不同的子类，下图展示了LMRSs的分类及相应的代表性LMRS工作。表1更详尽地展示了一些代表新LMRSs工作。

表1：代表性LMRS方法

训练策略	论文	学习目标	推荐任务	数据类型	开源代码
Pre-training & Fine-tuning
Pre-training w/o Fine-tuning	Bert4rec: Sequential recommendation with bidirectional encoder representations from transformer, 2019, CIKM	Pre-train:MLM	Sequential RS	Sequential data	GitHub - FeiSun/BERT4Rec: BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
	Path language modeling over knowledge graphsfor ex-plainable recommendation, 2022, WWW	Pre-train: AM	Explainable RS	Graph	N/A