暗光图像增强方法及代码大汇总——Benchmarking Low-Light Image Enhancement and Beyond论文综诉部分-CSDN博客

本文链接：https://blog.csdn.net/qq_45987837/article/details/145710715

总览

基于工作机制和处理的数据类型，我们单图像低光照增强分为七类：直方图均衡化、去雾、统计模型、Retinex 模型、深度学习、复合退化 和 RAW。
在这里插入图片描述

直方图均衡化（HE）

直方图均衡化通过拉伸图像的动态范围使暗图像变得可见（Pizer 等人，1990），方法是操纵相应的直方图。然而，HE 应用全局调整，导致不理想的局部照明，并放大了隐藏的强烈噪声。后来的方法应用了几种约束，例如平均强度保持（Ibrahim 和 Pik Kong，2007）、噪声鲁棒性、黑白拉伸（Arici 等人，2009）以及一种新的失真模型（Lee 等人，2014a），以实现整体视觉质量的提升。为了更精细地调整直方图，在 Lee 等人（2013a）、Nakai 等人（2013）的研究中，直方图均衡化被适应性地应用于像素差异。在某些方法中，引入了辅助信息，例如深度信息（Lee 等人，2014b），以引导像素值变换的适应性。在 Ying 等人（2017b）、Wu 等人（2017）的研究中，成像和视觉感知模型被引入以指导低光照图像增强，例如相机响应模型（Ying 等人，2017b）用于找到最佳曝光比和视觉重要性（Wu 等人，2017）以控制对比度增益。一般来说，随着更多的辅助信息和约束条件的引入，基于 HE 的方法提高了增强过程的局部适应性。然而，大多数方法在局部区域的视觉属性调整方面不够灵活，导致不理想的局部外观，例如欠曝/过曝和放大噪声。

直方图均衡化的基本原理与局限性
基本原理：直方图均衡化通过拉伸图像的动态范围使暗图像变得可见，其核心是通过对图像的直方图进行操作来实现。
局限性：全局调整的问题——传统的直方图均衡化采用全局调整策略，这种方法可能导致局部区域的照明不理想，并且会放大原本隐藏的强烈噪声。

HE应用全局调整：传统的直方图均衡化对整张图像采用统一的变换规则，试图通过拉伸图像的整体灰度范围来改善对比度。这种方法虽然能提高整体对比度，但可能会导致局部区域照明不均匀或放大噪声。
平均强度保持：指的是在进行直方图均衡化时，保持图像整体亮度不变的一种策略。目的是避免因增强操作导致图像整体亮度发生不必要的变化（Ibrahim 和 Pik Kong，2007）。
噪声鲁棒性：指处理方法在去除或减少噪声方面的能力，尤其是在低光照条件下容易出现强烈噪声的情况下。
黑白拉伸：一种增强技术，专门针对图像中最亮和最暗部分进行优化，以扩展这些极端亮度值之间的差距，从而提升视觉效果（Arici 等人，2009）。
失真模型：是一种用于评估和控制图像处理过程中可能引入的失真的数学模型。它帮助确保处理后的图像尽可能接近原始图像的真实外观（Lee 等人，2014a）。
适应性应用像素差异：指根据像素间的差异动态调整直方图均衡化的程度，而不是对所有像素应用相同的调整。这有助于更精确地增强图像细节（Lee 等人，2013a；Nakai 等人，2013）。
辅助信息：如深度信息等额外的数据，用来指导图像处理过程，使得增强更加精准和自然（Lee 等人，2014b）。
像素值变换的适应性：基于输入图像的具体特征自适应地调整每个像素的变换方式，以达到更好的视觉效果。
成像和视觉感知模型：结合人类视觉系统的工作原理设计的算法，旨在生成既符合物理规律又贴近人类视觉感受的图像结果。
相机响应模型：模拟相机如何将实际场景转换为数字图像的过程，用于找到最佳曝光比，使图像看起来尽可能自然（Ying 等人，2017b）。
最佳曝光比：确定图像中不同区域的最佳曝光水平，以平衡整个画面的亮度分布。
对比度增益：通过调整图像的对比度来突出重要信息，同时抑制不相关的信息（Wu 等人，2017）。
约束条件：在图像处理过程中施加的各种限制，如平均强度保持、噪声鲁棒性等，以确保处理结果的质量。
增强过程的局部适应性：指处理方法能够根据不同局部区域的特点灵活调整，而非一刀切地使用相同参数。
局部区域的视觉属性调整方面不够灵活：即使采用了上述改进措施，许多方法仍难以很好地适应图像中每一个小区域的独特需求，可能导致某些区域过曝或欠曝，或者放大了原本存在的噪声。

“扩展这些极端亮度值之间的差距”意味着：
1、识别亮度范围：首先确定图像中的最亮像素值（白色或接近白色的区域）和最暗像素值（黑色或接近黑色的区域）。这代表了图像当前的亮度动态范围。
2、调整亮度分布：然后，通过算法将最暗的部分变得更暗，而将最亮的部分变得更亮，同时可能对中间色调进行适当的调整。这样做可以扩大图像中亮度级别的使用范围，即增加了从最暗到最亮之间的灰度级差异。
3、增强对比度：这种调整的结果是增强了图像的整体对比度。原本可能因为亮度过于集中而难以区分的细节变得更容易看到。例如，原本几乎相同的深色区域现在可能会显示出更多的层次感，同样的情况也适用于浅色区域。
4、提升视觉效果：最终目标是让图像看起来更鲜明、更具吸引力，并且能够更好地展示出所有的细节信息。这对于低光照条件下拍摄的照片尤其有用，因为这样的照片往往缺乏足够的对比度。

去雾

一些方法（Li 等人，2015；Zhang 等人，2012；Dong 等人，2011）将低光照图像的反转视为有雾图像，并通过去雾来增强可见性。去雾的结果被反转作为增强结果。这些方法还考虑了噪声抑制。在 Zhang 等人（2012）的研究中，在增强后应用了联合双边滤波器。在 Li 等人（2015）的研究中，进行了自适应 BM3D 去噪操作（Dabov 等人，2007），以分离基础层和增强层，然后自适应地调整这两层。这些方法获得了合理的结果。然而，它们的基本原理缺乏令人信服的物理解释，并且将去噪作为后处理可能会导致细节模糊。

反转视为有雾图像：这种方法的基本思想是将低光照条件下的图像进行色彩反转（例如，黑白反转），使其看起来像是被雾笼罩的图像。然后应用去雾算法（通常用于去除大气散射效应造成的模糊）来提高图像的清晰度和对比度。最终，将处理后的图像再次反转回来，以获得增强后的低光照图像。

噪声抑制：在图像处理中，特别是在低光照条件下，图像往往会含有较多的噪声。噪声抑制是指通过各种算法和技术减少或消除这些噪声，以提升图像的质量。噪声可能来源于相机传感器或其他因素，而有效的噪声抑制可以在不丢失重要细节的情况下改善图像质量。

联合双边滤波器：这是一种高级的图像平滑技术，能够在保持边缘锐利的同时减少噪声。它根据像素之间的空间距离和颜色差异来决定如何平均化像素值。在 Zhang 等人（2012）的研究中，联合双边滤波器被用作图像增强后的后处理步骤，旨在进一步提升图像质量并减少潜在的噪声。
核心概念
空间邻近性：考虑像素周围的局部邻域，距离中心像素越远的像素对中心像素的影响越小。
强度相似性：不仅考虑像素的空间位置，还考虑它们的颜色或亮度值。如果两个像素的值非常接近，那么它们被认为更加相关。
工作原理
联合双边滤波器通过计算每个像素的新值作为其邻域内所有像素加权平均的结果来操作。权重由两个因素决定：
一个基于像素之间的空间距离（即它们在图像中的相对位置），这被称为空间权重。
另一个基于像素之间颜色或亮度的差异（即它们的强度差异），这被称为范围权重。

自适应BM3D去噪：BM3D（Block-Matching and 3D filtering）是一种高效的图像去噪算法，通过集合相似的小块形成3D组，并对每个组执行协同过滤来去除噪声。自适应BM3D去噪意味着该过程会根据图像内容自动调整参数，以达到更好的去噪效果而不损失图像细节。在 Li 等人（2015）的研究中，这种技术被用来分离图像的基础层（包含大部分结构信息）和增强层（强调细节和纹理），之后再自适应地调整这两层以优化图像增强效果。

分离基础层和增强层：这个概念涉及到将原始图像分解成两个主要部分——基础层和增强层。基础层包含了图像的大尺度结构信息，而增强层则关注于小尺度的细节和边缘。通过分别处理这两个层次，可以更精确地控制图像增强的过程，比如在去除噪声的同时保留重要的细节特征。

基于统计模型的方法

一种广泛的方法使用统计模型来描述图像的理想属性。这些方法是基于专家领域知识精心设计的。有些方法基于物理和统计度量，例如像素间关系（Celik 和 Tjahjadi 2011）、局部对比度度量（Pierre 等人 2016）、感知质量度量（Zhang 等人 2016）。有些方法基于数学过程设计，例如非线性扩散滤波器（Liang 等人 2016）、广义高斯混合模型（Li 等人 2018）。还有一些方法基于成像或视觉感知引导的模型（Ying 等人 2017c, a），例如相机响应模型和刚好可察觉差异（Chang 和 Jung 2016；Su 和 Jung 2017）。这些方法在其关注的方面取得了良好的结果。然而，当遇到超出假设输入范围的情况时，它们的适应性不足，例如输入图像具有强烈的噪声。

统计模型：在图像处理中，统计模型是利用数学统计理论对图像特征进行建模的方法。它们用于描述图像的理想属性，并根据这些属性调整或增强图像。
图像的理想属性：指的是希望图像具备的特性，如高对比度、低噪声水平、清晰的边缘等。理想属性通常是基于人类视觉感知或特定应用需求定义的。
基于物理和统计度量：
1、像素间关系（Celik 和 Tjahjadi 2011）：分析相邻像素之间的相似性或差异性，以捕捉图像中的结构信息。
2、局部对比度度量（Pierre 等人 2016）：衡量图像中局部区域内的亮度变化程度，有助于突出细节和提高可读性。
3、感知质量度量（Zhang 等人 2016）：考虑人类视觉系统的特点，设计指标来评估图像的质量，确保处理后的图像更符合人的视觉感受。

非线性扩散滤波器（Liang 等人 2016）：一种高级滤波技术，它能够选择性地平滑图像中的噪声而不模糊重要的边缘信息。其“非线性”性质意味着滤波强度随局部图像特征的变化而变化。
扩散滤波器（Diffusion Filter）是一种图像处理技术，主要用于图像平滑和去噪。它基于偏微分方程（PDEs），特别是热传导方程，模仿热量在材料中的扩散过程来处理图像。扩散滤波器的主要目标是在去除噪声的同时保留甚至增强图像的重要特征，如边缘。
扩散的基本概念
在图像处理的上下文中，“扩散”指的是像素值逐渐向其邻域传播的过程。这个过程类似于物理世界中的扩散现象，例如热量或染料在液体中的扩散。通过这种方式，扩散滤波器能够“平均化”像素值，从而减少局部的变化，比如噪声。
非线性扩散滤波器
传统的线性扩散滤波器会以相同的方式平滑整个图像，这可能导致图像细节（尤其是边缘）的模糊。为了解决这个问题，研究人员开发了非线性扩散滤波器，它根据图像局部特性调整扩散速度：
各向同性扩散：均匀地在所有方向上扩散，不考虑边缘方向，容易导致边缘模糊。
各向异性扩散（例如Perona-Malik模型）：根据图像梯度（即边缘强度）自适应地调整扩散速率，在边缘附近减缓扩散，而在平坦区域加速扩散，从而保护边缘不受损害。

广义高斯混合模型（Li 等人 2018）：这是一种概率模型，用于描述图像数据的概率分布。它假设图像可以由多个广义高斯分布组合而成，从而支持更复杂的图像结构建模和分析。
基于成像或视觉感知引导的模型：
1、相机响应模型：模拟相机如何将实际场景转换为数字图像的过程，帮助理解并纠正由于相机特性导致的图像失真。
2、刚好可察觉差异（Just Noticeable Difference, JND）（Chang 和 Jung 2016；Su 和 Jung 2017）：这是一个人类视觉系统的一个概念，指的是两个图像之间的最小差异，足以被人眼察觉。在图像处理中，JND用于指导算法保留那些对人类观察者来说显著的细节，同时去除不重要的信息。

基于 Retinex 理论的方法

Retinex 模型被提出作为一种人类视觉感知模型（Land 和 McCann 1971），用于Compute Visual Appearance。后续的 Retinex 模型变体遵循层分解范式，这通常在低光照图像增强中采用（Jobson 等人 1997b）。这些方法将图像分解为两个组件：反射率和光照。然后，通过进一步处理获得增强结果，并结合这两个部分。为了同时抑制噪声并保留高频细节，一系列基于 Retinex 理论的方法（Land 1977）采用了多样化的先验知识和约束条件。

先验知识：指的是在处理或分析数据之前已经知道的信息或假设。在图像处理领域，先验知识帮助算法更好地理解哪些特征是重要的（如边缘、纹理），以及如何有效地去除噪声同时保留这些重要特征。

单尺度 Retinex（Jobson 等人 1997b）定义了 Retinex 中心和周围 Retinex 的实际实现，并将反射率作为最终的增强结果。多尺度 Retinex（Jobson 等人 1997a）通过融合不同的单尺度 Retinex 输出来创建增强结果。

单尺度Retinex：针对图像中的每个像素，计算该像素与其周围环境之间的亮度差异，从而调整图像的反射率属性。其核心思想是，通过这种中心与周围的关系，可以去除光照对图像色彩的影响，从而更准确地恢复物体的真实颜色信息（即反射率）。反射率是指物体表面反射光线的能力，不受光照条件变化的影响。
在单尺度Retinex中，“将反射率作为最终的增强结果”表示经过计算后得到的图像主要反映了场景中的反射性质，而不是照明条件。这样做的目的是为了生成更加自然、对比度更高的图像，使得原本因光照不足或不均匀而难以辨别的细节变得更加清晰可见。
简而言之，这种方法尝试通过调整图像中的反射率成分来改善图像质量，而不直接修改照明部分。然而，由于使用的是单一尺度（即考虑的是固定大小的邻域），它可能无法很好地处理所有类型的图像特征，比如同时存在的大范围和细节特征。

多尺度Retinex：认识到单一尺度可能带来的局限性，Jobson等人在1997年提出的方法中引入了多个尺度的概念。这意味着对同一张图像，在不同的尺度上应用Retinex算法（即考虑不同大小的邻域），然后将这些不同尺度下的处理结果进行融合。这样做的好处是可以更好地保留图像的细节信息（从小尺度获得）以及处理整体对比度和光照问题（从大尺度获得）。“通过融合不同的单尺度Retinex输出来产生增强结果”指的是这种方法不是单纯依赖单一尺度下的处理结果，而是结合了多个不同尺度下执行的单尺度Retinex处理结果。

后续方法（Lee 等人 2013b；Wang 等人 2013b, 2014）增加了对分解层上增强操作的适应性。在 Lee 等人（2013b）的研究中，每个单尺度 Retinex 的权重是根据输入图像自适应计算的。Wang 等人（2013b）构建了一个 Retinex 分解的亮通滤波器，并试图在增强低光照图像的细节时保持自然性。在 Wang 等人（2014）的研究中，反射率和照明的先验分布以及增强过程的参数使用分层贝叶斯模型进行联合建模。

增加了对分解层上增强操作的适应性
适应性增强操作：在传统的Retinex算法中，处理过程通常是固定的或全局一致的，这意味着它使用相同的参数或策略来处理整个图像。然而，不同的局部区域可能需要不同的处理方式以获得更好的效果。增加“适应性”意味着根据图像的不同部分的特点动态调整增强操作，比如自适应地选择参数或应用不同的处理策略。这种方法能够更好地应对图像中的复杂情况，如不同亮度级别的区域。

Retinex 分解的亮通滤波器
Retinex 分解：指的是将图像分解为两个主要成分：反射率（物体表面的颜色信息）和照明（环境光条件）。这是Retinex模型的核心思想。
亮通滤波器的作用：亮通滤波器主要用于处理图像的亮度信息，即照明层。它的目标是在保持图像自然外观的同时，增强图像的细节表现。例如，在低光照条件下拍摄的照片可能缺乏足够的对比度和清晰度，使用亮通滤波器可以帮助突出显示这些难以察觉的细节，同时避免过度增强导致的不自然效果。
亮通滤波器的工作原理：是基于对图像亮度分量的选择性增强。它可能会执行以下一种或多种操作：
选择性放大：对于较暗区域适当增加亮度，而不过度影响已经足够明亮的区域。
边缘增强：通过识别并强调亮度变化较大的区域（如边缘），来提高图像的视觉清晰度。
平滑处理：减少亮度上的突变或噪声，使得过渡更加平滑，但同时保留重要的细节。

反射率和照明的先验分布
反射率（Reflectance）：指的是物体表面的颜色信息，它与物体的材质属性有关，不随光照条件的变化而变化。
照明（Illumination）：表示环境光的强度和分布情况，它是影响图像亮度的关键因素。
先验分布：在统计学中，“先验”是指在获取新数据之前对某个未知量的信念或知识。对于反射率和照明来说，它们的先验分布描述了我们对这些变量可能取值范围的初始假设。例如，在自然场景中，我们可以预期某些类型的反射率分布更常见，或者特定环境下照明具有某种典型的模式。

增强过程的参数
这些是用于控制图像增强算法行为的参数。不同的参数设置可能导致非常不同的增强效果。例如，在基于Retinex的方法中，可能包括调整单尺度或多尺度计算时使用的权重、滤波器的类型和大小等。这些参数的选择直接影响到最终图像的质量。

分层贝叶斯模型
概念
分层贝叶斯模型允许我们在多个层次上对数据生成过程进行建模。这种模型结构反映了现实世界中很多现象的自然层次性，比如学生的表现可能受到个人能力、班级质量以及学校资源的影响。通过在不同层次上定义参数和分布，可以更加准确地捕捉这些复杂的相互作用。
先验概率：指的是在观察任何数据之前我们对参数的信念或知识。
似然函数：描述了在给定参数值的情况下，观察到的数据的可能性。
后验概率：根据贝叶斯定理，结合先验概率和似然函数计算得到的参数的概率分布，代表了在观察数据之后我们对参数的更新信念。
多层次的参数结构
顶层：通常定义全局参数或超参数，这些参数控制下层参数的分布。
中间层：包含直接与观测数据相关的参数，这些参数的分布由顶层的超参数决定。
底层：直接与观测数据相关联，表示实际观测到的数据如何根据中间层的参数生成。
优势
灵活性：能够适应各种复杂的数据结构，尤其是当数据具有天然的层次性时。
信息共享：通过共享参数或使用共同的先验分布，可以在不同的组或类别之间分享信息，这对于小样本尤其有用。
避免过拟合：由于使用了先验分布来约束参数估计，因此有助于减少模型过拟合的风险。

还一些方法探索了适当的领域应用重建先验。在 Fu 等人（2014）的研究中，构建了一个不包含对数变换的新颖模型，以更好地保留边缘。

重建先验指的是用于指导或约束图像重建过程中的先验知识或假设。例如，在基于Retinex理论的图像增强中，一个常见的先验是认为图像中的反射分量（物体表面的颜色信息）应该是相对平滑的，而照明分量（环境光条件）可能会有较大的变化。
对数变换：许多传统的基于Retinex的图像增强方法确实使用了对数变换。这是因为原始的Retinex理论中涉及到了对图像亮度的比率操作，这自然引导到对数域的操作，以便将乘法转换为加法。

还有一些方法专注于利用更有效的先验知识（Fu 等人 2016；Guo 等人 2017；Fu 等人 2016；Cai 等人 2017；Xu 和 Jung 2017；Xu 等人 2019）来正则化 照明和反射率层的增强。Fu 等人（2016）提出了一种改进版本，通过将不同优点融合到一个单一模型中，该模型基于估计照明的多重导数。Guo 等人（2017）提出了一种结构感知先验来细化初始照明图。Fu 等人（2016）提出了一种加权变分模型，以在正则化项中施加更好的先验表示。这些方法较少考虑反射率上的约束，而低光照区域中的潜在强烈噪声通常会被放大。

正则化：在数学优化中，正则化是一种策略，旨在防止过拟合并提高模型的泛化能力。在图像处理领域，正则化通常通过引入额外的约束条件来实现，这些条件反映了我们对理想结果的期望。

基于估计照明的多重导数：通过分析照明层的多个导数来捕捉其复杂结构，并将其融入到一个统一的模型中，以获得更好的增强效果。多重导数指的是对某个函数或信号的不同阶导数进行计算。在图像处理中，这可能涉及到计算图像亮度（即照明层）的一阶、二阶甚至更高阶的导数。这些导数提供了关于图像局部结构的信息，如边缘、纹理等。
结构感知先验：这是一种特定类型的先验知识，它强调了图像中的结构性元素，如边缘、线条等的重要性。这种先验可以帮助算法更好地识别和保留这些重要特征，使用结构感知先验对图像进行细化，提高最终照明图的质量。

加权变分模型：通过定义一个能量函数或称成本函数，然后寻找使这个能量函数最小化的解来工作。它试图找到使某个能量函数最小化的解。在这个背景下，加权变分模型意味着在定义这个能量函数时，不同的项（如数据保真度项、正则化项等）被赋予了不同的权重。这样做的目的是为了更好地平衡不同方面的贡献，从而得到更满意的增强效果。

Li 等人（2018）提出扩展传统的 Retinex 模型，使其成为一个具有显式噪声项的鲁棒模型，并首次尝试从该模型中通过交替方向最小化算法估计噪声图。Ren 等人（2018）也基于该鲁棒的 Retinex 模型，旨在增强低光照图像，并开发了一种顺序算法来估计分段平滑的照明和抑制噪声的反射率。

显式噪声项：在传统的Retinex模型中，主要关注的是如何将图像分解为反射率（reflectance）和照明（illumination）两个成分。然而，在实际应用中，尤其是在低光照条件下，图像往往包含显著的噪声。Li等人（2018）提出的模型通过引入一个“显式噪声项”来直接建模这种噪声的存在。这意味着他们不仅考虑了反射率和照明，还将噪声作为一个独立的变量纳入模型中，从而使得该模型更加贴近实际情况，提高了对含有噪声的图像的处理能力。
鲁棒模型：指的是能够有效应对数据中的不确定性或异常值（如噪声）的模型。通过引入显式的噪声项，这个扩展后的Retinex模型变得更加鲁棒，即它能够在存在噪声的情况下依然提供准确的图像分解结果。
交替方向最小化（Alternating Direction Method of Multipliers, ADMM）：这是一种优化算法，适用于解决具有多个变量和约束条件的大规模优化问题。ADMM通过迭代地更新每个变量，同时保持其他变量固定，直到找到整个系统的最优解。在Li等人（2018）的研究中，ADMM被用来从包含显式噪声项的鲁棒Retinex模型中估计噪声图。这种方法允许有效地分离出噪声成分，进而提高图像的质量。
顺序算法：与同时处理所有变量的方法不同，顺序算法是指按照一定的顺序依次处理各个部分或步骤。Ren等人（2018）开发了一种顺序算法，专门用于估计分段平滑的照明和抑制噪声的反射率。这意味着他们的方法首先可能专注于优化照明分量，然后基于已优化的照明信息再去处理反射率分量，以此类推。这种策略的好处是可以更精确地控制每个步骤的结果，确保每一步都尽可能达到最优，然后再进行下一步。对于复杂的问题，这种方法可以减少计算负担，并且有助于获得更好的整体效果。

这些方法在拉伸图像对比度和去除噪声方面表现出令人印象深刻的结果。然而，由于这些方法及其相关的先验知识是手工设计的，它们的适应性较差，在应用于大规模测试数据时通常会产生不理想的结果。

基于深度学习的方法

深度学习（DL）低光照增强的时代始于2017年。此后，由于其卓越的性能和灵活性，这一分支逐渐成为主流。Lore等人（2017）使用了一种名为Low-Light Net（LLNet）的深度自动编码器来进行对比度增强和去噪。

深度自动编码器（Deep Autoencoder）：是一种神经网络结构，它由编码器和解码器两部分组成。编码器负责将输入数据压缩成一个较低维度的表示形式（称为潜在空间或隐含层），而解码器则从这个压缩表示中重建原始输入。在低光照增强中，例如Lore等人（2017）提出的Low-Light Net（LLNet），这种架构可以用来同时进行对比度增强和去噪任务。通过训练，自动编码器学会如何有效地去除噪声并恢复图像的细节。

在Shen等人（2017）、Tao等人（2017）和Lv等人（2018）的研究中，多尺度特征被注入到多分支架构中，以形成更好的低光照增强结果。

多尺度特征（Multi-scale Features）：指的是利用不同分辨率下的信息来捕捉图像的不同层次的特征。在图像处理中，小尺度特征通常对应于边缘、纹理等细节信息，而大尺度特征则更多地反映形状、轮廓等整体结构。
多分支架构（Multi-branch Architecture）：是指神经网络设计中采用多个并行路径处理输入数据的方式。每个分支可能专注于提取特定类型或尺度的信息。Shen等人（2017）、Tao等人（2017）以及Lv等人（2018）的研究中使用这种方法，旨在结合多尺度特征的优势，产生更高质量的低光照增强结果。这样做可以帮助模型更好地理解图像内容，从而做出更加精确的调整。

在一些工作中（Lore等人 2017；Cai等人 2018；Wang等人 2019），努力投入到创建配对的低光/正常光数据集用于网络训练。多样化的损失函数被用来规范增强模型的训练，例如均方误差（MSE）（Lore等人 2017）、结构相似性指数（SSIM）损失（Cai等人 2018）以及复合损失（Wang等人 2019）。

复合损失（Composite Loss）是一种结合了多种不同损失函数的策略，旨在通过同时优化多个目标来提高模型的整体性能。在深度学习中，尤其是在图像处理任务如低光照增强方面，单一的损失函数可能无法全面覆盖所有需要优化的方面。因此，研究人员会设计复合损失函数，将不同的损失项结合起来，以达到更好的效果。

在Shen等人（2017）、Wei等人（2018）和Wang等人（2019）的研究中，Retinex结构被融合到有效深度网络的设计中，以吸收基于Retinex方法的优点，即良好的信号结构，以及基于深度学习的方法的优点，即从大规模数据集中提取的一般有用先验知识。

良好的信号结构：这个概念与Retinex理论密切相关，指的是在处理图像时保留其内在的颜色和亮度关系的能力。基于Retinex的方法试图分离出照明和反射率两个成分，其中反射率代表物体的真实颜色属性，理论上应该是相对不变的，即使在不同的光照条件下。当提到“良好的信号结构”时，意味着无论是在传统方法还是深度学习方法中，保持这种反射率成分的一致性和准确性是非常重要的。这有助于生成自然且真实的增强效果，避免出现不合理的色彩偏差或其他视觉伪影。

在Ren等人（2019）的研究中，层分解和分离处理被引入以更好地建模结构和细节。在Jiang等人（2019）和Kim等人（2019）的研究中，对抗学习被引入以捕捉超出传统指标的视觉属性。特别是对于EnlightenGAN（Jiang等人 2019），无配对学习被引入来训练一个轻量级增强模型，这有可能摆脱配对数据集的构建，并解决训练数据与实际应用之间的领域迁移问题。

层分解：首先将输入图像分解成几个基本成分，照明、反射率以及可能存在的噪声层。
分离处理：然后，对于每个分解出来的层，采用专门设计的算法进行处理。例如，对于照明层，可能会应用某种增强技术来提升整体亮度；而对于反射率层，则可能侧重于保持其原有的颜色和纹理特性；对于噪声层，则会采取有效的去噪措施。

总的来说，从大规模数据中提取的强大先验知识，使得深度学习方法在性能上普遍优于传统方法。一些传统的想法被注入以指导深度网络的设计，例如Retinex模型和层分解。

复合退化和RAW图像增强

一些研究工作考虑了低光照增强问题及其伴随的问题，如去噪（Lim等人 2015；Liu等人 2015；Li等人 2015；Yang等人 2018）和去雾（Kim和Kwon 2019）。有些方法采用顺序架构来解决这些问题（Lim等人 2015；Liu等人 2015），而其他方法则使用统一模型实现联合处理（Li等人 2015；Yang等人 2018）。总体而言，这些方法在假设条件下可以取得良好的结果，但一个能够全面捕捉所有退化并处理相应退化的综合模型仍然缺失。此外，还有一些研究（Chen等人 2018, 2019；Jiang和Zheng 2019）考虑了应用情景，从原始图像（RAW图像——未处理图像）中获得增强图像。引入了短曝光低光照原始图像的数据集及其对应的长曝光参考图像，并设计了新颖的端到端可训练流水线来处理低光照图像/视频。这一尝试是有意义的，而这一方向期待更多的关注。

复合退化（Composite Degradation）：指的是图像质量由于多种因素同时作用而下降的现象。这些因素可能包括低光照条件、噪声（去噪）、雾或霾（去雾）、模糊等。当一张图像受到不止一种类型的退化影响时，就称为复合退化。解决复合退化问题需要一个综合模型来同时识别和处理各种退化类型，以恢复图像的高质量。
RAW图像增强：RAW图像是由相机传感器直接捕捉到的未经任何处理的数据，保留了更多的原始信息，为后期处理提供了更大的空间。然而，RAW图像在某些情况下，比如低光照条件下，可能会面临曝光不足的问题，导致图像过暗或含有大量噪声。因此，RAW图像增强就是指通过一系列算法和技术来提高RAW图像的质量，如亮度调整、降噪、色彩校正等，从而获得更清晰、更自然的最终图像。文中提到的一些研究工作尝试设计出专门针对短曝光低光照RAW图像的增强方法，并且建立相应的数据集用于评估这些方法的效果。

总结与展望！从文献综述中我们可以得出几个有趣的观察！

基于Retinex的方法是最广泛采用的先验方法，自2017年以来，深度学习方法成为主流，这表明Retinex信号结构和从大规模数据中提取的数据驱动先验的有效性。
统计模型基于的方法也是一个大的类别。然而，同一类中的不同方法也各不相同。它们的设计伴随着大量的专家领域知识，这使得它们不够灵活和通用，难以整合其他广泛使用的先验知识。
深度学习方法结合了一些传统的先验知识，如Retinex结构和层特定的先验知识，以实现更好的增强性能。
对抗学习被用来捕捉超出传统指标的视觉属性，以提供更美观的结果。
非监督或半监督（未配对）学习有助于摆脱繁琐的配对数据集构建，并解决训练数据与实际应用之间的领域迁移问题，预计在未来的工作中会得到应用。

代表性算法代码汇总

没有哪种方法在所有指标上都表现出压倒性的优势。基于深度学习的方法在保真度驱动的指标上表现良好。基于Retinex的模型在其他指标上取得了更好的结果。

方法	项目页面链接
Multi-Scale Retinex (MSR 1044), Inverse Dehazing (Dehazing), Brightness Preserving Dynamic Histogram Equalization (BPDHE 1104), Naturalness Preserved Enhancement (NPE 1571), Multiple image Fusion (MF), Simultaneous Reflectance and Illumination Estimation (SRIE 1121), Bio-Inspired Multi-Exposure Fusion (BIMEF 377)	GitHub - BIMEF
Contextual and Variational Contrast enhancement (CVC 556), DHECI, Histogram Equalization (HE), Layered Difference Representation (LDR 1051), Weighted Approximated Histogram Equalization (WAHE), Adaptive MultiScale Retinex (AMSR 150)	GitHub - OpenCE
LLNet 1710	GitHub - LLNet Color
RetinexNet 2390	GitHub - RetinexNet
Joint Enhancement and Denoising (JED 268)	GitHub - JED Method
Robust Retinex Model (Robust 1114)	GitHub - Low-light-image-enhancement
Single Image Contrast Enhancer (SICE 1053)	GitHub - SICE
Kindling the Darkness (KinD 1305)	GitHub - KinD
Deep Underexposed Photo Enhancement (Deep-UPE 1009)	GitHub - DeepUPE
Low-light IMage Enhancement (LIME 2515)	Project Page - LIME

1、基于直方图均衡化的方法：上下文和变分对比度增强（CVC 2011）、DHECI（2013）、分层差异表示（LDR 2013）、加权近似直方图均衡化（WAHE 2009）、亮度保持动态直方图均衡化（BPDHE 2007）。
2、基于逆去雾化方法：逆去雾化（Dehazing 2011）。
3、基于Retinex模型的方法：鲁棒Retinex模型（Robust 2018）、多尺度Retinex (MSR 1997)、自然性保留增强（NPE 2013）、低光照图像增强（LIME 2017）、多图像融合（MF 2016）、同时反射率和照明估计（SRIE 2016）、联合增强和去噪（JED 2018）。
4、基于多重假设融合的方法：生物启发的多曝光融合（BIMEF 2017）。
5、基于深度学习的方法：单图像对比度增强器（SICE 2018）、LLNet（2017）、RetinexNet（2018）、点燃黑暗（KinD 2019）和深度欠曝光照片增强（DeepUPE 2019）。