A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order

本文是LLM系列文章，针对《A Question on the Explainability of Large Language Models
and the Word Level Univariate First Order Plausibility Assumption》的翻译。

摘要

最近，大型语言模型的解释被证明对其训练中使用的随机性很敏感，这就需要描述这种敏感性。在本文中，我们提出了一个特征，质疑为此类模型提供简单和信息性解释的可能性。为此，我们给出了解释的信号、噪声和信噪比的统计定义。我们强调，在一个典型的案例研究中，使用一阶统计工具分析单词水平的单变量解释，简单的基于特征的模型的解释比transformer模型的解释携带更多的信号和更少的噪声。然后，我们讨论了用信号和噪声的替代定义来改进这些结果的可能性，这些定义将捕捉更复杂的解释和分析方法，同时也质疑读者对其合理性的权衡。

引言

背景

实验设置

实验结果

结论

我们的结果强调，如果仅限于简单的解释，与基于Transformer的模型（如CamemBERT）相比，简单的模型可能携带更多的统计信号