Efficient Reasoning with Hidden Thinking

本文是LLM系列文章,针对《Efficient Reasoning with Hidden Thinking》的翻译。

具有隐性思维的高效推理

摘要

思维链(CoT)推理已成为提高多模态大型语言模型(MLLM)复杂问题解决能力的强大框架。然而,文本推理的冗长性质导致了显著的效率低下。在这项工作中,我们提出了Heima(作为隐藏的llama),这是一种高效的推理框架,利用隐藏潜在空间的推理CoT。我们设计了Heima编码器,使用单个思维token将每个中间CoT压缩成一个紧凑的、更高级的隐藏表示,有效地减少了冗长,减少了推理过程中所需的token总数。同时,我们使用传统的大语言模型(LLM)设计了相应的Heima解码器,将隐藏的表示自适应地解释为可变长度的文本序列,重建了与原始CoT非常相似的推理过程。不同推理MLLM基准的实验结果表明,Heima模型在保持甚至更好的零样本任务精度的同时实现了更高的生成效率。此外,使用Heima解码器对多模态推理过程的有效重建验证了我们方法的鲁棒性和可解释性。

1 引言

2 相关工作

3 方法

4 实验结果

</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值