Transformers without Normalization

UnknownBody

于 2025-03-21 08:30:00 发布

阅读量86

点赞数 3

分类专栏： LLM Daily LLM Training 文章标签：人工智能计算机视觉

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/146391392

版权

LLM Daily 同时被 2 个专栏收录

1201 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

69 篇文章

订阅专栏

摘要

归一化层在现代神经网络中无处不在，长期以来一直被认为是必不可少的。这项工作表明，使用一种非常简单的技术，不含归一化层的Transformer也能达到相同甚至更好的性能。我们引入动态双曲正切（Dynamic Tanh, DyT），这是一种逐元素操作，即 $DyT(x)=\tanh(\alpha x)$

了解本专栏

超级会员免费看

博客等级

码龄14年

2096
原创

6802
点赞

2152
收藏

5080
粉丝

关注

私信

热门文章

分类专栏

最新评论

SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot
UnknownBody: 注意看专栏介绍，可加更
SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot
momoykl: 吐了里面啥都没有骗钱呢
UALIGN: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models
HFBOT: 摘要尽管表现出了令人印象深刻的能力，但大型语言模型(LLM)仍然经常难以准确表达它们所拥有的事实知识，特别是在LLM的知识边界模糊的情况下。为了改进LLM的事实表达，我们提出了UALIGN框架，该框架利用不确定性估计来表示知识边界，然后明确地将这些表示作为输入特征纳入提示，使LLM与事实知识保持一致。首先，我们通过计算两个不确定性估计(包括置信度Q得分和语义熵)来准备知识问答(QA)样本的数据集，以表示LLM的知识边界。随后，使用准备好的数据集，我们训练了一个包含不确定性估计的奖励模型，然后采用邻近策略优化(PPO)算法对LLM进行事实性对齐。实验结果表明，通过在LLM比对中集成不确定性表示，所提出的UALIGN可以显著提高LLM在域内和域外任务中自信地回答已知问题和拒绝未知问题的能力，在各种基于提示和训练的基线上显示出可靠性的提高和良好的泛化能力。 1 引言 2 方法 3 实验设置 4 结果与分析 5 相关工作 6 结论在这篇论文中，我们提出了一个UALIGN框架，明确地利用不确定性估计来引出LLM，以准确地表达LLM由于模糊的知识边界而无法始终正确回答的事实知识。我们通过将置信度得分和语义熵的不确定性估计作为输入特征纳入提示中，介绍了数据集准备过程和事实对齐的UALIGN训练策略。对几个知识质量保证任务的实验证实了UALIGN在提高LLM的可靠性和通用性方面的有效性，证明了其在各种基线上的显著改进。局限性所有内容都在这不用vip了
UALIGN: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models
HFBOT: 啥也没有还要vip才能看。。。。
SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot
muzy22: 机翻的论文还要收费？

大家在看

最新文章

2025

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

UnknownBody 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。