xLSTM: Extended Long Short-Term Memory

最新推荐文章于 2025-05-11 23:27:05 发布
最新推荐文章于 2025-05-11 23:27:05 发布
阅读量260 收藏
点赞数
分类专栏： LLM Daily LLM context 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/141505175
版权

本文是LLM系列文章，针对《xLSTM: Extended Long Short-Term Memory》的翻译。

xLSTM：扩展的长短期记忆

摘要

在20世纪90年代，恒定误差转盘和门控被引入作为长短期记忆（LSTM）的核心思想。从那时起，LSTM经受住了时间的考验，并为众多深度学习成功案例做出了贡献，特别是它们构成了第一个大型语言模型（LLMs）。然而，以并行化自我关注为核心的Transformer技术的出现标志着一个新时代的到来，在规模上超过了LSTM。我们现在提出一个简单的问题：当利用现代LLM的最新技术，将LSTM扩展到数十亿个参数，同时减轻LSTM的已知局限性时，我们在语言建模方面能走多远？首先，我们介绍了具有适当归一化和稳定技术的指数门控。其次，我们修改了LSTM存储器结构，得到：（i）具有标量存储器、标量更新和新存储器混合的sLSTM，（ii）具有矩阵存储器和协方差更新规则的完全并行的mLSTM。将这些LSTM扩展集成到残差块主干中会产生xLSTM块，然后将其残差堆叠到xLSTM架构中。与最先进的Transformer和状态空间模型相比，指数门控和修改后的存储结构提高了xLSTM的性能，在性能和扩展方面都表现良好。

1 引言

了解本专栏 订阅专栏 解锁全文 超级会员免费看
xLSTM：拳打Transformer，脚踢Mamba？！
鲁班模锤
05-10 2253
​记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。在Transformers、Mamba、KAN之后，长短期记忆 (LSTM) 架构的发明者Sepp Hochreiter和他在NXAI的团队推出了一种称为扩展LSTM (xLSTM) 的新变体。
【论文阅读】xLSTM: Extended Long Short-Term Memory
kanon的博客
05-21 2405
论文提出了xLSTM，一种扩展的长短期记忆网络，旨在解决传统LSTM的局限性，并在大规模参数下进行语言建模。xLSTM引入了指数门控和适当的归一化与稳定技术，修改了LSTM记忆结构，包括标量记忆的sLSTM和完全可并行化的具有矩阵记忆和协方差更新规则的mLSTM。通过将这些LSTM变体集成到残差块中，构建了xLSTM架构，这些架构在性能和扩展性方面与最先进的Transformers和状态空间模型相媲美。
xLSTM：扩展长短期记忆网络的综合指南
数智笔记
05-18 9852
二十多年来， Sepp Hochreiter 开创性的 长短期记忆 (LSTM) 架构在众多深度学习的突破和实际应用中起到了重要作用。从生成自然语言到支持语音识别系统，LSTM 一直是推动 AI 革命的核心力量。然而，即使是 LSTM 的创造者也认可其无法充分发挥全部潜力的固有局限性。这些局限性包括无法修正存储的信息、有限的存储能力以及缺乏并行处理功能，这些因素为变压器模型及其他模型的崛起铺平了道路，使其在更复杂的语言任务中超越了 LSTM。
（2024，LSTM，Transformer，指数门控，归一化器状态，多头内存混合）xLSTM：扩展的 LSTM
qq_44681809的博客
05-08 2371
xLSTM 引入指数门控，并修改 LSTM 的内存结构来扩展LSTM。sLSTM带有标量内存、标量更新和新的内存混合。完全可并行化的 mLSTM，具有矩阵内存和协方差更新规则（类似于Transformer的QKV）。
xLSTM——解析扩展长短期记忆的网络算法与应用
知来者逆的博客
05-21 3719
二十多年来，创举架构在许多深度学习突破和实际应用中发挥了重要作用。从生成自然语言到为语音识别系统提供动力，LSTM 一直是人工智能革命背后的驱动力。然而，即使是 LSTM 的创建者也认识到它们固有的局限性，导致它们无法充分发挥潜力。无法修改存储的信息、内存容量有限以及缺乏并行化等缺点为 Transformer 和其他模型的兴起铺平了道路，以超越 LSTM 来完成更复杂的语言任务。但在最近的一项进展中，Hochreiter 和他的团队引入了一个新的变体，称为解决这些长期存在的问题。
Extended Long Short-Term Memory.pdf
03-05
研究人员将这些xLSTM扩展集成到残差块（residual blocks）中，形成了xLSTM块，这些块随后通过残差堆叠方式构建成完整的xLSTM架构。通过指数门控和修改后的存储结构，xLSTM相较于最新的Transformer和状态空间模型，在...
LSTM再升级！原作者携xLSTM回归，扩展LSTM到数十亿参数
强化学习曾小健
08-20 1275
xLSTM 通过引入指数门控和矩阵内存结构，显著提升了 LSTM 的存储容量和并行计算能力，为大型语言模型和深度学习领域提供了一种强大的新型序列处理工具，具有推动自然语言处理和序列预测任务发展的学术意义。虽然 xLSTM 在多个方面表现出色，但仍存在一些局限性，主要涉及计算效率、内存容量、实现优化和泛化能力等方面。尽管存在这些挑战，xLSTM 在语言建模和其他序列建模任务上展现出的潜力表明，通过进一步的研究和开发，这些局限性有可能被克服或减轻。
LSTM一作新作xLSTM架构：大幅领先Transformer和状态空间模型（SSM）
zenRRan的博客
05-09 5754
这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。论文：xLSTM: Extended Long Short-Term Memory链接：https://arxiv.org/pdf/2405.04517下面是...
【LSTM（Long short-term memory） 长短期记忆 全解手册（一）原理】
qq_49183286的博客
11-15 923
LSTM原理详解
详细解释xLSTM以及和初始LSTM的不同
强化学习曾小健
11-18 1101
xLSTM通过引入新的门控机制、增强的记忆结构和残差块集成，克服了传统LSTM的一些局限性，特别是在处理大规模数据和长序列时。它不仅提升了模型的性能，还提高了计算效率，使其在现代深度学习应用中更具竞争力。xLSTM在语言建模等任务中表现出色，有潜力成为强化学习、时间序列预测等领域的重要工具。
Long-Short Term Memory(长短时记忆模型)
热门推荐
xiaoniu0991的博客
07-14 1万+
长短期记忆（Long-Short Term Memory, LSTM）是一种时间递归神经网络(RNN)，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。        LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别
程序员学长 | 快速学会一个算法，xLSTM
csdn_xmj的博客
07-07 1366
今天给大家分享一个超强的算法模型，，xLSTM。 xLSTM（Extended Long Short-Term）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的性能。传统的 LSTM 模型通过引入遗忘门、输入门和输出门，解决了标准 RNN（Recurrent Neural Network）在长序列数据中存在的梯度消失和梯度爆炸问题。然而，LSTM 仍然存在一些局限性，尤其是在处理非常长的序列或需要更高维度特征提取时。
xLSTM: 扩展长短期记忆网络的革新性突破
Nifc666的博客
10-12 1197
xLSTM的出现为深度学习领域带来了新的活力和可能性。它不仅延续了LSTM的优秀传统,还通过创新设计克服了传统LSTM的局限性。随着更多研究和应用的开展,xLSTM有望在人工智能的多个领域发挥重要作用,为我们解决复杂的序列建模问题提供强大工具。无论是研究人员还是实践者,都应该密切关注xLSTM的发展。它可能成为连接过去和未来的重要桥梁,推动人工智能技术向更高水平迈进。在这个快速发展的领域,保持开放和创新的态度至关重要,xLSTM的故事告诉我们,即使是经典模型,也总有被重新发现和改进的可能。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 825
【代码】基于对应点分类的对象识别 报错。
第二十一天打卡
nbbsn的博客
05-11 178
这个结果略微差于聚类后的效果，但和一开始考虑所有特征的预测效果差不多，这个降维算法也比较成功。首先我们要对训练集和测试集进行处理，将非数字部分进行编码，并且将空缺值进行填充。- 输出每个模型的最佳参数和评估指标（准确率、精确率、召回率和F1分数）- 对每个模型分别使用网格搜索和贝叶斯优化进行超参数调优。这里可以看出预测结果大大提高了，这个调整工程是成功的。- 使用三个典型模型：随机森林、支持向量机和逻辑回归。- 在验证集上评估每个模型的性能。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 921
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Qwen3 混合思维模版解读
qq128252的博客
05-07 1194
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
什么是深度神经网络
最新发布
kcarly的专栏
05-11 390
深度神经网络通过多层次的非线性变换和自动化特征学习，在多个领域实现了革命性突破。其核心技术包括反向传播、激活函数和正则化方法，而结构设计（如CNN、ResNet）和优化算法（如Adam）的进步进一步释放了模型潜力。尽管面临可解释性、计算成本等挑战，随着多模态融合、轻量化设计和新型硬件的发展，DNN将继续推动人工智能的边界，深刻影响科技与社会的发展。
xLSTM: 扩展长短期记忆网络至数十亿参数
资源摘要信息:"xLSTM: Extended Long Short-Term Memory" 知识点一：长短期记忆网络（LSTM） 长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（RNN）架构，由Hochreiter和Schmidhuber在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值