具备实时数据更新能力的大语言模型——Larimar

ChatGPT、Claude.ai等大模型产品就像“图书馆”一样为我们生成各种各样的内容。但是想更新这个图书馆里的知识却不太方便，经常需要漫长、费时的预训练、蒸馏才能完成。

研究人员提出了一种具有情景记忆控制的大语言模型Larimar，这是一种类似人脑"海马体"的"情景记忆"能力。

Larimar主要设计了一个外部记忆模块,专门储存独立的实时数据,并将这些记忆有效地注入到大语言模型中,使得Larimar无需重新预训练就能在内容生成过程中精准使用新的知识数据。

论文地址：https://arxiv.org/abs/2403.11901

Larimar核心方法

研究人员主要受到了人脑“海马体”神经结构的启发。海马体在人类的多种认知过程中扮演着关键角色，尤其是在记忆形成、组织和检索，以及空间导航方面。

海马体对短期记忆转化为长期记忆至关重要，特别是在形成新的记忆和学习新信息的过程中，帮助将经验和信息从短期记忆库存转移到大脑的其他部分以形成长期记忆。

Larimar采用了互补学习系统理论的观点，其中海马体快速学习系统将样本记录为情景记忆，而新皮层慢速学习系统学习输入分布的摘要统计信息作为语义记忆。

Larimar的目标是将情景记忆模块作为当前一组事实更新或编辑的全局存储，并将这个记忆作为大语言模型解码器的条件。为了高效且准确地更新这个记忆，研究人员利用了类