TransportationGames: Benchmarking Transportation Knowledge of (Multimodal) Large Language Models

UnknownBody

于 2024-02-19 15:14:36 发布

阅读量378

点赞数 10

分类专栏： Urban and Traffic 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136170964

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Urban and Traffic

18 篇文章

订阅专栏

TransportationGames是一个评估大型和多模态语言模型在交通领域知识和应用能力的基准。研究发现，尽管部分模型在特定任务上表现出色，但整体仍有提升空间，且分析了影响模型性能的因素。该基准参照Bloom分类法，测试模型在记忆、理解和应用交通知识的任务中表现，旨在推动（M）LLM在交通领域的进步。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《TransportationGames: Benchmarking Transportation Knowledge of
(Multimodal) Large Language Models》的翻译。

摘要

大型语言模型（LLM）和多模态大型语言模型已显示出出色的通用能力，甚至在法律、经济、交通和医学等许多专业领域都表现出了适应性。目前，已经提出了许多特定领域的基准测试来验证（M）LLM在特定领域中的性能。在各个领域中，交通运输在现代社会中发挥着至关重要的作用，因为它影响着数十亿人的经济、环境和生活质量。然而，目前尚不清楚LLM拥有多少交通知识，以及它们是否能够可靠地执行与交通相关的任务。为了解决这一差距，我们提出了TransportationGames，这是一个精心设计和全面的评估基准，用于评估交通领域的（M）LLM。通过综合考虑现实世界场景中的应用，并参考Bloom分类法中的前三个层次，我们测试了各种（M）LLM在记忆、理解和应用所选任务的运输知识方面的性能。实验结果表明，尽管一些模型在某些任务中表现良好，但总体上仍有很大的改进空间。我们希望TransportationGames的发布能够为未来的研究奠定

了解本专栏