该论文提出了一种改进的预训练语言模型微调方法，通过引入实体引导的输入序列来增强模型从文档中提取关键信息的能力。在关系抽取任务中，模型利用内部注意力概率作为特征进行证据预测，并结合证据预测进行联合训练，从而提高关系抽取的性能。实验结果显示，实体和证据预测的结合能显著提升系统性能。
文章目录
论文地址：https://arxiv.org/pdf/2008.12283.pdf
摘要
1.引入实体引导序列作为eg：BERT的输入。
2.使用内部注意力概率作为evidence预测的附加特征来指导预训练语言模型的微调。
实体entity, evidence 支撑实体的句子。
一、介绍
面临问题：预训练语言模型在所有标记上给出的注意力值对于RE较为统一，限制了模型从文档到相关令牌提取信息的能力，限制了预训练LM 的有效性。
解决方法：对于文档中的每个实体，将实体附加到文档的开头来生成一个新的输入序列。（Ne个实体，就有Ne个新序列 for training)来对LM进行微调。
二、方法
1.如何生成实体引导的输入
H表示（连接头实体）D文档标记 [CLS]表征向量C用于后续的分类任务；[SEP]分开两个输入句子。
形成输入序列embedding：“[CLS]”“+H+”[SEP]”“+D+”[SEP]”
2.实体引导的RE
average后得到实体的embedding h
k-th tail entity embeddin
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
