Ask Me Anything:Free-form Visual Question Answering Based on Knowledge from External Sources

最新推荐文章于 2023-09-09 16:07:22 发布

原创最新推荐文章于 2023-09-09 16:07:22 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#vqa #视觉问答

VQA 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种结合自动生成图像描述与外部知识库的视觉问答(VQA)模型。该模型利用CNN提取图像属性，生成图像描述，并从知识库中提取相关信息辅助回答问题。在COCO-QA数据集上取得69.73%的准确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这篇文章将自动生成的图像描述与一个外部的Knowledge bases相融合，对问题进行预测。图像描述生成主要来自于image captions集，并且从Knowledge bases提取基于文本的外部知识。框架图：
这里写图片描述
给定图像-问答对，首先利用CNN提取图像的Attributes集合。这些Attributes涉及范围很广，包括object,scenes,action,modifiers等等。同时采用一个state-of-art image caption方法，生成基于这些Attributes的captions集合。然后利用这些检测到的Attributes从KB中提取他们之间的相关信息。文中选中top-5的attributes，生成适用于Resource Description Framework(RDF) KB的一个query，RDF是KB的一种标准格式。经过DBpedia的处理，从KB中提取出图像相关描述的一个段落，利用Doc2Vec对这些段落编码，形成段落的特征表达。最后将编码的Attributes，captions 和KB 相关信息输入到LSTM中，利用最大似然方法处理代价函数，预测答案。这种方法在COCO-QA,上精度达到了69.73%。
Paper中提到，图像内容可以用Attributes来表示。文中从MS-COCO中提取图像attributes，并且把attributes预测当成是一个多标签分类任务，主要通过图像局部区域提取attributes。利用Vgg-Net16初始化attribute预测模型。
这里写图片描述
在Image caption模块，文中生成5个不同的image captions 形成图像的文本表达。
利用DBpedia生成外部数据源
文中通过最大化正确答案的概率训练VQA model

Q={q1,q2,q3…}表示问题句子，A={a1,a2,a3…}是答案句子。
本文实验主要在COCO-QA和VQA dataset上进行。
这里写图片描述

总结：Knowledge Bases在VQA上的使用，可以在此寻求突破。