ICML2025|TimeDART：扩散模型+transformer，刷新时间序列预测与分类性能天花板！

本篇论文来自ICML2025最新时序论文，提出了一种结合了自回归 Transformer 和去噪扩散过程的用于时间序列自监督表示学习的新框架 -TimeDART。最新ICML2025全部63篇时序相关论文我已经整理好了，关注工中浩扫码回复“ICML2025时序合集”即可自取哦~

文章信息

论文名称：TimeDART: A Diffusion Autoregressive Transformer for Self-Supervised Time Series Representation

论文作者：Daoyu Wang, Mingyue Cheng, Zhiding Liu, Qi Liu

研究背景

现在真实场景中存在大量未标记的时间序列数据，自监督学习可减少对标记数据的依赖，但现有方法难以同时捕捉长期动态演变和细微局部模式。

传统的掩码自编码器预训练与微调不一致。 而对比学习难以捕捉细粒度时间变化。 传统自回归方法也易过拟合噪声，预测值易陷入固定方差的高斯分布。

因此提出 TimeDART，目的是通过结合自回归 Transformer 和去噪扩散过程，学习更具迁移性的时间序列表示。

模型框架

TimeDART框架：包含标准化与补丁嵌入、因果 Transformer 编码器和补丁级扩散去噪三个模块。

关键技术：

• 补丁嵌入策略：将时间序列划分为非重叠补丁，减少计算复杂度，稳定嵌入。

• 因果 Transformer 编码器：使用因果掩码限制每个补丁仅关注自身和先前补丁，建模从左到右的演变趋势。

• 补丁级扩散去噪：前向过程，对每个补丁独立添加噪声，采用余弦噪声调度器，避免任务简化。反向过程，去噪解码器以编码器输出为键和值，噪声补丁嵌入为查询，实现自回归优化。

优化目标：用扩散损失替代传统均方误差损失，捕捉时间序列的多模态分布

实验数据

数据集：有9个公开数据集，包括6个预测数据集（如 ETT、PEMS）和3个分类数据集（如 HAR、EEG）。

实验结果：

• 预测任务：在 83.3% 的评估指标上表现最佳，比随机初始化降低 6.8% 的 MSE，比现有方法降低 3%。

• 分类任务：预训练后平均准确率比随机初始化提高约 5.7%，超越部分监督方法。

• 跨域迁移：在能源、天气等领域表现优于其他自监督方法，证明知识迁移能力。

• 消融实验：自回归机制和扩散去噪过程均不可或缺，移除任一模块性能显著下降。

• 鲁棒性分析：对噪声步数、调度器等超参数不敏感，余弦调度器优于线性调度器。

小小总结

TimeDART 通过融合自回归和扩散模型的优势，在时间序列自监督表示学习中取得了显著效果，为后续研究提供了新方向。未来可探索更复杂的多模态时间序列场景，或与其他生成模型结合进一步提升性能。

小时收集整理了全部63篇ICML2025时序论文合集方便大家学习，关注工中浩扫码回复“ICML2025时序合集”即可自取，回复“时序大模型”也可以获取其他时序论文合集~

关注小时，持续学习前沿时序技术！