【多模态】《High-Order Attention Models for Visual Question Answering》论文阅读笔记

High-Order Attention Networks for Medical Image Segmentation 作者机构：中国人民大学，西北工业大学，Visionary Intelligence Ltd，北京同仁医院，北京协和医院 摘要： 当前的CNN模型使用固定形状的感受野捕获局部上下文信息，特征解码器的权重具有位置不变性（对位置不敏感），这些限制了对于可变输入（形状、大小，域）的鲁棒性。为了捕获全局上下文信息，我们提出了高阶注意力模块（High-order Attention，HA）。该模块具

Mixed High-Order Attention Network for Person Re-Identification

2019 ICCV （MHN） 代码链接：http://www.bhchen.cn/ 说明：下面的（）表示一些文献，有兴趣的可自行去原文查找 摘要： 注意力在行人再识别领域越来越有吸引力，因为它能够将有限的资源用在最有用的部分。 然而，最先进的方法只是关注粗糙的或一阶注意力，比如空间和通道注意力，而很少探索高阶注意力机制。 本文首先提出High-Order Attention (HOA) module 来建模和利用复杂和高阶的统计量信息，以此捕捉...

bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。本文是一系列bilinear pooling相关的文章阅读笔记。来源：https://zhuanlan.zhihu.com/p/62532887作者：林小北最近看了一系列bili...

动机： 作者认为目前attention的操作都太过于粗糙，工作主要集中在粗糙的或一阶的注意力设计上，例如 spatial attention 和 channel attention ，需要高阶的操作以获取更多local之间的关系。 贡献： 1.提出了高阶注意分配(HOA)模块来捕获和利用高阶注意分配。 2.将ReID重新考虑为零样本学习任务，并提出了混合高阶注意力网络（MHN），以有效利用多个HO...

摘要： 注意力在行人重识别(ReID)中变得更有吸引力，因为它能够将可用资源分配给输入信号中信息最丰富的部分。然而，目前最先进的工作主要集中在粗糙的或一阶的注意力设计上，如空间和渠道的注意力，很少探索高阶的注意力机制。我们朝着解决这个问题迈出了一步。在本文中，我们首先提出了高阶注意(High-Order Attention, HOA)模块，对注意机制中复杂的高阶统计信息进行建模和利用，从而捕捉行...

Hierarchical Question-Image Co-Attention for Visual Question Answering ——2016NIPS 文章链接： https://arxiv.org/pdf/1606.00061v1.pdf Hierarchical Question-Image Co-Attention for Visual Question Answering 概括...

这是关于VQA问题的第七篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Hierarchical Question-Image Co-Attention for Visual Question Answering 1，主要思想： 当前基于视觉注意的些VQA方法主要关注：”where to look”或者 visual attention。本文认为基于问题的atte...

1.Abstract 作者认为之前的工作集中在寻找图片中的重点区域，但是也应该寻找问题中的重要的单词，所以提出了共同注意力(co-attention)，目的是共同的推理图片和问题的注意力。 2.Introduction 作者提出的共同注意力具有以下两种特征： Co-Attention 与之前的工作不同，作者的提出的模型是对称的，通过图片表示可以引导产生问题的注意力，问题表示可以引导产生图片...

一、概述 这篇文章做的是VQA 与之前介绍的几篇文章用问题query对图像做attention不同的是，这篇文章最大的亮点在于：在本文中，我们认为除了建模“看哪里”或视觉注意力之外，建模“听什么词”或质疑注意力同样重要。 我们为 VQA 提出了一种新颖的共同注意力模型，该模型共同推理图像和问题注意力。 此外，我们的模型通过新颖的一维卷积神经网络 (CNN) 以分层方式对问题（以及因此通过共同注意机制的图像）进行推理。 之前的几篇用问题query对图像做attention的博客如下： 【多模态】《Stack

注意力阅读综述

论文题目：Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation 论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/16576 论文来源：2021 AAAI 论文源码：https://github.com/akaxlh/KHGT 1.前言 该论文提出了一种分级图transformer方法做多行为推荐。研究动机：现有