Attention Map

本文参考：https://www.zhihu.com/search?type=content&q=attention%20map

https://www.zhihu.com/search?type=content&q=attention%20map

计算机视觉中的Attention Map

Attention Map是什么？

一种特征矩阵的计算方式，凝练出有特点的矩阵数据。

有什么作用？

这种注意力机制使得卷积运算中，更加关于有效的特征，忽略无效的特征。

实现原理是什么？

使用掩码（mask）实现，通过新一层的权重，强调重点。将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。本质是希望通过学习得到一组可以作用在原图上的权重分布。

如下图所示：只有某些重要的位置有权重信息

类别有几种？

注意力有两个大的分类：软注意力（ soft attention ）和强注意力（ hard attention ）。

强注意力是一个随机的预测过程，更强调动态变化，同时其不可微，训练往往需要通过增强学习来完成。
软注意力的关键在于其是可微的，也就意味着可以计算梯度（梯度可以定义为一个函数的全部偏导数构成的向量），利用神经网络的训练方法获得。

最终会形成一种类似下图的效果：