论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition

已于 2022-07-25 12:49:13 修改
阅读量1.2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度行人 文章标签： 计算机视觉 人工智能 深度学习
于 2022-07-25 12:47:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanchheneducn/article/details/125915464
这篇论文提出了针对可见光-红外图像匹配的数据增广方法，包括随机通道交换和通道级随机擦除，增强了模型对颜色变化的鲁棒性。此外，还介绍了增强型通道混合学习策略，用于同时处理类内和类间变化，并通过平方差优化增广图像的输出。实验结果显示，这些方法提高了跨模态识别的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition

code: https://gitee.com/mindspore/contrib/tree/master/papers/CAJ

动机：

现有的图像增广策略主要针对单模态的可见光图像，没有考虑可见光-红外图像匹配时的图像特性。
在这里插入图片描述

主要工作：

  1. 数据增广： 通过随机交换颜色通道生成与颜色无关的图像，能和现有增广方法相结合，增强对颜色变化的鲁棒性。——模拟随机遮挡，丰富了图像的多样性。
  2. 针对跨模态度量学习，提出Channel-mixed learning strategy，利用平方差，同时处理类内和类间变化； 进一步提出channel-augmented joint learning strategy：明确优化增广图像的输出。
    在这里插入图片描述

图像增广

  1. Random Channel Exchangeable Augmentation
    在这里插入图片描述
    该增广方法可以被理解为：均匀产生可见光图像的三个通道。这样鼓励模型去学习每个颜色通道与单通道可见光图像见的关系。
  2. Channel-Level Random Erasing （CRE)
    在这里插入图片描述
    替换成为：从ImageNet中获取的 R, G and B channels 的均值。
  3. 另外，也采用grayscale trasformation(GA)，random horizontal flip (FP)

代码如下：

from __future__ import absolute_import
import random
import math在这里插入图片描述



class ChannelAdap():
    """ Adaptive selects a channel or two channels.
    Args:
         probability: The probability that the Random Erasing operation will be performed.
         sl: Minimum proportion of erased area against input image.
         sh: Maximum proportion of erased area against input image.
         r1: Minimum aspect ratio of erased area.
         mean: Erasing value.
    """

    def __init__(self, probability=0.5):
        self.probability = probability

    def __call__(self, img):

        # if random.uniform(0, 1) > self.probability:
            # return img

        idx = random.randint(0, 3)

        if idx == 0:
            # random select R Channel
            img[1, :, :] = img[0, :, :]
            img[2, :, :] = img[0, :, :]
        elif idx == 1:
            # random select B Channel
            img[0, :, :] = img[1, :, :]
            img[2, :, :] = img[1, :, :]
        elif idx == 2:
            # random select G Channel
            img[0, :, :] = img[2, :, :]
            img[1, :, :] = img[2, :, :]
        else:
            img = img

        return img

class ChannelAdapGray():
    """ Adaptive selects a channel or two channels.
    Args:
         probability: The probability that the Random Erasing operation will be performed.
         sl: Minimum proportion of erased area against input image.
         sh: Maximum proportion of erased area against input image.
         r1: Minimum aspect ratio of erased area.
         mean: Erasing value.
    """

    def __init__(self, probability=0.5):
        self.probability = probability


    def __call__(self, img):

        # if random.uniform(0, 1) > self.probability:
            # return img

        idx = random.randint(0, 3)
        if idx == 0:
            # random select R Channel
            img[1, :, :] = img[0, :, :]
            img[2, :, :] = img[0, :, :]
        elif idx == 1:
            # random select B Channel
            img[0, :, :] = img[1, :, :]
            img[2, :, :] = img[1, :, :]
        elif idx == 2:
            # random select G Channel
            img[0, :, :] = img[2, :, :]
            img[1, :, :] = img[2, :, :]
        else:
            if random.uniform(0, 1) > self.probability:
                # return img
                img = img
            else:
                tmp_img = 0.2989 * img[0, :, :] + 0.5870 * img[1, :, :] + 0.1140 * img[2, :, :]
                img[0, :, :] = tmp_img
                img[1, :, :] = tmp_img
                img[2, :, :] = tmp_img
        return img

class ChannelRandomErasing():
    """ Randomly selects a rectangle region in an image and erases its pixels.
        'Random Erasing Data Augmentation' by Zhong et al.
    Args:
         probability: The probability that the Random Erasing operation will be performed.
         sl: Minimum proportion of erased area against input image.
         sh: Maximum proportion of erased area against input image.
         r1: Minimum aspect ratio of erased area.
         mean: Erasing value.
    """

    def __init__(self, probability=0.5, sl=0.02, sh=0.4, r1=0.3):
        self.probability = probability
        self.mean = [0.4914, 0.4822, 0.4465]
        self.sl = sl
        self.sh = sh
        self.r1 = r1
    def __call__(self, img):
        if random.uniform(0, 1) > self.probability:
            return img
        for _ in range(100):
            area = img.shape[1] * img.shape[2]

            target_area = random.uniform(self.sl, self.sh) * area
            aspect_ratio = random.uniform(self.r1, 1/self.r1)

            h = int(round(math.sqrt(target_area * aspect_ratio)))
            w = int(round(math.sqrt(target_area / aspect_ratio)))

            if w < img.shape[2] and h < img.shape[1]:
                x1 = random.randint(0, img.shape[1] - h)
                y1 = random.randint(0, img.shape[2] - w)
                if img.shape[0] == 3:
                    img[0, x1:x1+h, y1:y1+w] = self.mean[0]
                    img[1, x1:x1+h, y1:y1+w] = self.mean[1]
                    img[2, x1:x1+h, y1:y1+w] = self.mean[2]
                # TODO when will img.shape != 3
                else:
                    img[0, x1:x1+h, y1:y1+w] = self.mean[0]
                return img

        return img

class ChannelExchange():
    """ Adaptive selects a channel or two channels.
    Args:
         probability: The probability that the Random Erasing operation will be performed.
         sl: Minimum proportion of erased area against input image.
         sh: Maximum proportion of erased area against input image.
         r1: Minimum aspect ratio of erased area.
         mean: Erasing value.
    """
    def __init__(self, gray=2):
        self.gray = gray

    def __call__(self, img):
        idx = random.randint(0, self.gray)
        if idx == 0:
            # random select R Channel
            img[1, :, :] = img[0, :, :]
            img[2, :, :] = img[0, :, :]
        elif idx == 1:
            # random select B Channel
            img[0, :, :] = img[1, :, :]
            img[2, :, :] = img[1, :, :]
        elif idx == 2:
            # random select G Channel
            img[0, :, :] = img[2, :, :]
            img[1, :, :] = img[2, :, :]
        else:
            tmp_img = 0.2989 * img[0, :, :] + 0.5870 * img[1, :, :] + 0.1140 * img[2, :, :]
            img[0, :, :] = tmp_img
            img[1, :, :] = tmp_img
            img[2, :, :] = tmp_img
        return img

跨模态度量学习

在这里插入图片描述
1. Enhanced Channel-Mixed Learning
构建一个包括不同模态的图像，不去考虑模态的差异进行直接优化它们的关系。优化身份损失和 weighted regularization triplet loss（加权规则化的triplet loss）。
在这里插入图片描述
在这里插入图片描述
值得注意的是：pj和pk可以来自统一模态，也可以来自不同模态。——这就是作者提出mixed的含义吧，就是从混合模态组成的batch里随机去选图像，从而不去考虑模态的差异，直接优化intra-和inter-modality learning.

这里的d是欧式距离：
在这里插入图片描述
加权策略通过自适应考虑每个Triplet的贡献，增加困难样本的贡献（具有较大/较小距离的正/负对）， 从而能够充分利用batch中的所有三元组。

Enhanced Squared Difference
常用的公式是L1L1L1，本文采用増广的平方差。
在这里插入图片描述
在这里插入图片描述
作者通过将函数曲线进行展示分析这样做的好处：
在这里插入图片描述
实验效果
在这里插入图片描述

**2. Channel-Augmented Joint Learning **
明确将通道増广图像看成一个辅助模态，这样一个batch中同时包含可见光RGB图像，通道増广图像，和红外图像。这样使得Batch增大，和之前一样，共享分类和度量学习模型。作者尝试采用不同的模型，但并未获得较好的结果。

实 验

  1. 分析了各种増广方法的效果
    在这里插入图片描述
    在这里插入图片描述

  2. 分析了平方距离的性能

  3. 分析不同学习策略的性能

  4. 与其他方法的性能比较

论文阅读32 | Channel Augmented Joint Learning for Visible-Infrared Recognition
滨哥v5的博客
03-21 6323
论文：Channel Augmented Joint Learning for Visible-Infrared Recognition 出处：CVPR 2021 1.摘要 这篇文章介绍了一种通道增强联合学习策略。对于数据增强，大多数现有的方法直接采用针对单可见图像设计的标准操作，没有充分考虑可见光到红外图像的匹配。文章的基本思想是通过随机交换颜色通道来均匀地生成与颜色无关的图像。它可以无缝地集成到现有的增强操作中，而不修改网络，持续提高对颜色变化的鲁棒性；结合随机擦除策略，通过模拟随机遮挡，进一步大大丰富
跨模态ReID论文总结2：CNN提取特征论文（长期更新）
makabaka的博客
03-06 4914
本部分占所有跨模态ReID的绝大部分论文的思路，基本思路是通过two-stream网络分别提取两个模态图像的特征，CNN前几层提取specifc feature ，后几层通过权重共享提取common feature ，在通过度量学习或者进一步的特征提取分别对specific feature和common feature进行进一步处理，最后通过ranking loss缩小同类别的距离，扩大不同类别的...
论文阅读：Channel Augmented Joint Learning for Visible-Infrared Recognition
qq_56581764的博客
05-13 1638
摘要 本文针对可见光红外识别问题，提出了一种强大的信道增强联合学习策略。对于数据增强，大多数现有方法直接采用为单模态可见光图像设计的标准操作，因此在可见光到红外匹配中没有充分考虑图像特性。我们的基本思想是通过随机交换颜色通道来均匀地生成与颜色无关的图像。它可以无缝地集成到现有的增强操作中，而无需修改网络，从而持续提高对颜色变化的鲁棒性。结合随机擦除策略，通过模拟随机遮挡，进一步丰富了多样性。对于跨模态度量学习，我们设计了一种增强的通道混合学习策略，以同时处理具有平方差的跨模态和跨模态变化，从而获得更强的可
Channel Augmented Joint Learning for Visible-Infrared Recognition—详细分析，建议收藏
JJxiao520的博客
11-11 1831
来自于ICCV2021年的一篇精确度较高的论文，Channel Augmented Joint Learning for Visible-Infrared Recognition
从零搭建Pytorch模型教程（一）数据读取
CV技术指南（微信公众号）
03-04 3636
前言 本文介绍了classdataset的几个要点，由哪些部分组成，每个部分需要完成哪些事情，如何进行数据增强，如何实现自己设计的数据增强。然后，介绍了分布式训练的数据加载方式，数据读取的整个流程，当面对超大数据集时，内存不足的改进思路。 本文延续了以往的写作态度和风格，即便是自己知道的内容，也仍然在写之前看了很多的文章来保证内容的正确性和全面性，因此写得极累，耗费时间较长。若有读者看完后觉得有所帮助，文末可以赞赏一点。 文末扫描二维码关注公众号CV技术指南 ，专注于计算机视觉的技术总结、最新技..
【2020-04-06更新】跨模态行人再识别汇总
一个致力“使己成为人”的专栏
09-10 5438
Dataset RegDB SYSU-MM01 Rank-1(%) mAP(%) Rank-1(%) mAP(%) Deep Zero-Padding(ICCV2017) – – 14.80 15.95 HCML(AAAI2018) 24.44 20.80 – – cmGAN(IJCAI2018) – – 26.97 27.80 BDTR(IJCAI2018)...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2686
CVPR2022完整论文列表
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5002
【CVPR2022】完整论文列表
pytorch加载数据 dataloader ,显示数据增强效果 随机擦除，纵横比缩放图片显示，以及opencv读取，可以直接使用
m0_37192554的博客
12-04 1090
import os import shutil import cv2 import random import numpy as np from torchvision import transforms import torchvision from torch.utils.data import DataLoader,Dataset import math def aspect_ratio_scaling(img, target_size=160): #纵横比缩方接口 ''' :pa
一文解决图片数据集太少的问题：详解KerasImageDataAugmentation各参数
AI科技大本营
10-18 9087
作者 |Professor ho 本文转自Professor ho的知乎专栏 图像深度学习任务中，面对小数据集，我们往往需要利用Image Data Augmentation图像增广技术来扩充我们的数据集，而keras的内置ImageDataGenerator很好地帮我们实现图像增广。但是面对ImageDataGenerator中众多的参数，每个参数
【方法】数据增强(Data Augmentation)
热门推荐
crazyang的博客
08-30 2万+
在训练过程中，网络优化是一方面，数据集的优化又是另一方面。数据集会存在各类样本不均匀的情况，也就是各类样本的数量不一样，有的甚至差别很大。为了让模型具有更强的鲁棒性，采用Data Augmentation是一个不错的选择。 常用的方法 ImageDataGenerator()函数 常用的方法 Color Jittering：对颜色的数据增强：图像亮度、饱和度、对比度...
数据增强(Data Augmentation)
CharmsLUO的博客
03-28 1万+
目录前言1. Data Augmentation1.1 数据增强的作用2. 数据增强的手段3. 数据增强的代码3.1 代码3.2 结果 前言 最近写论文需要插入很多图片，为了蒙混过关，找了很多很多数据增强的手段，增强论文的丰富性，大家不要学我哈，反正我把技巧放这儿了！！！哈哈哈哈哈哈哈哈哈 1. Data Augmentation 1.1 数据增强的作用 大家都知道在深度学习网络训练中，模型的样本越充足训练出来的网络模型泛化性越强，鲁棒性越高。最好的例子就是SSD对大目标效果很好，对小目标效果很差，但当
dataset for person re-id
yuanchheneducn的博客
12-02 5267
CUHK02 取自5个不同的户外camera对，共1816人。5个camera对分别有971,306,107,193,239人，大小160*60. 每个人在每个摄像机下的不同时间内取两张图片。大多数人都有负重（背包，手提包，皮带包，行李）。 VIPeR：632人，2个户外摄像头，有不同的视角和光照条件。每个人在每个摄像机下有一张图像，尺度为128*48。提供的角度0度（front），45度，9
cvpr 2017 re-id papers
yuanchheneducn的博客
11-14 4719
https://zhuanlan.zhihu.com/p/28749411 https://zhuanlan.zhihu.com/p/29053615 Learning Deep Context-Aware Features Over Body and Latent Parts for Person Re-Identification 作者是中科院的Dangwei Li等。这篇工作是multi-
ICCV2017: Unlabeled Samples Generated by GAN Improve the Person Re-Identification Baseline in Vitro
yuanchheneducn的博客
10-23 4635
作者：Zhedong Zheng 摘要提出一个simple的semi-supervised pipline. 该方法只使用训练集而不需要额外的数据。该方法的主要挑战： - （1）如何仅从训练集获取更多的训练数据， - （2）如何使用新产生的数据。 本文提出用generative adversarial network(GAN)
CVPR2017: Learning Deep Context-aware Features over Body and Latent Parts for
yuanchheneducn的博客
09-12 3843
论文查看 作者是中科院的Dangwei Li等。这篇工作是multi-class person identification tasks，主要创新有三点：（1）用空洞卷积（dilated conv）进行多尺度特征提取，减少传统CNN提取特征的信息损失；（2）利用Spatial Transformer Networks (STN，其中作者设置了三个参数限制) 提取可变的body-part，相比较于r
Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function
yuanchheneducn的博客
11-30 3332
作者：西安交大的De Cheng, Yihong Gong, Sanping Zhou, Jinjun Wang, Nanning Zheng主要贡献：贡献有两个，一个是改进的网络结构，一个是改进的triplet loss.网络结构： 该网络结构一共有5个channels，其中一个是整个身体的channel，其他四个对应四个parts的channels。 其中： full-body chann
论文阅读:Multi-Scale Triplet CNN for Person Re-Identification
yuanchheneducn的博客
03-02 2529
中国科技大学的Jiawei Liu等发表在Acm on Multimedia Conference上的论文。作者提出一个多尺度的triplet CNN，在一个数据集Market1501上表现出好的性能。网络结构如下： Triplet loss 主要改进：同时训练了三个不同尺度的网络，对于低尺度用了shallow network(2个卷积+池化），不变尺度的用了5个卷积（池化）。最后进行特征的组合
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值