一、论文结构与核心问题
研究背景:
脉冲神经网络(SNNs)因生物启发的低功耗特性备受关注,但传统卷积架构面临二进制脉冲导致的信息损失问题。脉冲Transformer虽引入自注意力机制,却存在两大局限:
- 时空割裂:现有方法(如Spikformer)仅关注空间注意力,忽略时间维度关联
- 计算效率低:传统时空注意力需O(T²N²D)复杂度,难以部署
解决方案:
提出脉冲时空注意力Transformer(STAtten):
- 分块计算:将时间轴划分为局部块处理
- 无Softmax设计:利用脉冲二值特性简化运算
- 即插即用:兼容主流脉冲Transformer架构
- 性能突破:CIFAR100-DVS数据集达83.9%准确率(提升1.0%)