UrbanGPT: Spatio-Temporal Large Language Models

本文是LLM系列文章，针对《UrbanGPT: Spatio-Temporal Large Language Models》的翻译。

摘要

时空预测旨在预测和深入了解城市环境在时间和空间上不断变化的动态。其目的是预测城市生活各个方面的未来模式、趋势和事件，包括交通、人口流动和犯罪率。尽管已经做出了许多努力来开发用于对时空数据进行准确预测的神经网络技术，但重要的是要注意，这些方法中的许多在很大程度上依赖于具有足够的标记数据来生成精确的时空表示。不幸的是，数据稀缺的问题在实际的城市传感场景中普遍存在。在某些情况下，从下游场景中收集任何标记数据变得很有挑战性，这进一步加剧了问题。因此，有必要建立一个时空模型，在不同的时空学习场景中表现出强大的泛化能力。
从大型语言模型（LLM）的卓越成就中获得灵感，我们的目标是创建一种时空LLM，它可以在广泛的下游城市任务中表现出非凡的泛化能力。为了实现这一目标，我们提出了UrbanGPT，它将时空依赖编码器与指令调优范式无缝集成。这种集成使LLM能够理解跨时间和空间的复杂相互依赖性，有助于在数据稀缺的情况下进行更全面、更准确的预测。为了验证我们方法的有效性，我们在各种公共数据集上进行了广泛的实验，涵盖了不同的时空预测任务。结果一致表明，我们的UrbanGPT凭借其精心设计的架构，始终优于最先进的基线。这些发现突出了为时空学习构建大型语言模型的潜力&#x