支持大模型的小模型

https://www.arxiv.org/pdf/2408.12748 （SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection ）

平衡会话 AI 幻觉检测中的延迟、可解释性和一致性

介绍

大型语言模型(llm)在实时任务(如同步的会 话 ui)中与延迟作斗争。

当额外的开销增加时，比如检查幻觉，那么这个问题就会加剧。 因此，微软研究院提出了一个框架，利用小语言模型(SLM)作为初始检测器， LLM 作为约束推理器，为任何检测到的幻觉生成详细的解释。 目的是通过引入将 llm 生成的解释与 SLM 决策相结合的提示技术，优化实时、可解释的幻觉检测。

考虑到上图，它展示了用 LLM 作为约束推理器的幻觉检测……

初始检测:将grounding sources和假设对输入到小型语言模型(SLM)分类器中