LaSO: Label-Set Operations networks for multi-label few-shot learning 论文笔记

前言

样本合成是解决小样本学习问题的方法之一，所谓样本合成，就是在给定少量训练样本的情况下，在特征空间中利用这些训练样本合成新的样本，然后利用这些合成样本提升小样本学习任务的泛化能力。但是目前的合成方法仅处理的是每个图像中仅有一个类别标签（比如$C(Img)=dog$）这样的情况，而多标签的情况还从未被提及过（比如C(Img)={ dog,leash,person,forest}C(Img)=\lbrace dog,leash,person,forest \rbraceC(Img)={ dog,leash,person,forest}）

本文针对小样本学习问题提出了一种新的解决方法，主要用于处理多标签样本的情况，并且通过任务定义，还可以处理事先并不清楚标签是什么的情况。 如下图所示，假设想要为野生动物构建一个多标签分类器，于是到动物园中拍了几张照片，但所有的动物都在笼子里（图a），而我们想得到的是用于处理野外动物的分类器（图c）：

为了解决这个问题，可以在特征空间中通过样本对语义内容进行操作，比如对于一个特征向量，可以隐藏其中对应于另一个特征向量的标签相对应的元素。这里用模型$M_{int}$接收两张被关在笼子里的动物的图像（图b），并且生成一个特征向量，用于表示这两张图像的共有语义内容。由于它们共有的内容是“笼子”，因此应该得到表示“笼子”的特征向量，而不应该出现原始相交图像中的笼中动物。接下来考虑另一个模型$M_{sub}$，它可以从另一个样本中移除某样本存在的内容。将$M_{sub}$应用到笼中老虎图（图a）和表示“笼子”的特征向量上，那么就可以得到表示“野外的老虎”（图c）的特征向量。也就是上图中的，图a减去图b的交集，就得到一只野外的老虎。

通过以上例子，我们可以得到一个基于样本的语义内容操作模型，$M_{int}$表示对标签集进行“交”操作，$M_{uni}$表示“并”操作，MsubM_{sub}M