Dark Experience for General Continual Learning: a Strong, Simple Baseline

本文是LLM系列文章，针对《Dark Experience for General Continual Learning: a Strong, Simple Baseline》的翻译。

摘要

持续学习激发了大量的方法和评估环境；然而，它们中的大多数忽略了实际场景的属性，在实际场景中，数据流不能被塑造为一系列任务，离线训练是不可行的。我们致力于一般持续学习（GCL），即任务边界模糊，领域和类别分布逐渐或突然发生变化。我们通过将排练与知识蒸馏和规则化相结合来解决这一问题；我们的简单基线Dark Experience Replay与整个优化轨迹中采样的网络logits相匹配，从而提高了与过去的一致性。通过对标准基准和新的GCL评估设置（MNIST-360）进行广泛分析，我们表明，这样一个看似简单的基准优于综合方法，并利用了有限的资源。我们进一步探索了目标的泛化能力，表明其正则化不仅仅是性能上的好处。
代码位于https://github.com/aimagelab/mammoth。

1 引言

2 相关工作

3 黑暗体验回放