Assessing Political Bias in Large Language Models

本文是LLM系列文章，针对《Assessing Political Bias in Large Language Models》的翻译。

摘要

在人工智能 （AI） 对社会动态的潜在影响的背景下，对大型语言模型 （LLM） 中偏见的评估已成为当代话语中的关键问题。在接近性能预测的转折点时，识别和考虑 LLM 应用程序中的政治偏见尤为重要。然后，接受有关潜在影响和社会行为的教育 LLM 由于与人类操作员的相互作用而可以大规模驱动。这样，即将到来的欧洲议会选举就不会不受 LLM 的影响。我们从德国选民的角度评估了当前最流行的开源 LLM（指导或辅助模型）对欧盟 （EU） 内部政治问题的政治偏见。为此，我们使用了“Wahl-O-Mat”，这是德国使用的投票建议应用程序。根据“Wahl-O-Mat”的投票建议，我们量化了 LLM 与德国政党的一致性程度。我们表明，较大的模型，例如 Llama3-70B，往往与左倾政党更紧密地保持一致，而较小的模型通常保持中立，尤其是在以英语提示时。主要发现是 LLM 具有类似的偏差，关于特定方的对齐差异很小。我们的研究结果强调了在 LLM 中严格评估和透明化偏见的重要性，以保护采用执行预测功能以及机器学习预测和语言生成的无形之手的应用程序的完整性和可信度。

1 引言