See-in-the-Dark (SID) 数据集包含5094张短曝光的raw图像,每张对应相应的长曝光参考图像。多个短曝光图像序列对应相同的长曝光参考图像,多个短曝光图像序列中的图像会有细微的不同,序列中的每张图像都可视为一张独特的低光图像,这样包含真实世界伪像的图片能够更有利于模型的训练和测试。SID 数据集中长曝光的参考图像的数量是424。差不多10多张短曝光图像对应一张长曝光参考图像。
此外,我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄。在室外场景下,相机的亮度一般在0.2 lux 和5 lux 之间。室内图像通常更暗。在室内场景中的相机亮度一般在0.03 lux 和0.3 lux 之间。输入图像的曝光时间设置为1/30和1/10秒。相应的参考图像 (真实图像) 的曝光时间通常会延长100到300倍:即10至30秒。各数据集的具体情况如下表1中所示。
用了两个相机采集数据,每个相机都有不同的sensor,图像由不同的阵列构成(Bayer、X-Trans)。在测试的时候也支持不同阵列的图像进行测试。图像分辨率分别为
6
0
0
0
×
4
0
0
0
(Fuji)。
长时间曝光的参考图像可能仍会包含一些噪点,但感知质量足以使这些图像用作ground truth。 我们的目标应用旨在在弱光条件下产生可感知的良好图像,而不是彻底消除所有噪声或最大化图像对比度。
列举了三种图像处理pipline:
-
传统的图像处理pipline包括一系列模块,例如white balance, demosaicing, denoising, sharpening, color space conversion, gamma correction, and others. 这些模块只在特定的相机才有;
-
L3。一些研究提出使用局部线性、可学习的L3 filter来模拟现代成像系统中复杂的非线性流程,但是这些方法都无法成功解决在低光条件中快速成像的问题,也无法解决极低的SNR 问题;
-
Burst。通过智能手机相机拍摄的照片,利用bursting imaging成像方法,结合多张图像也可以生成效果较好的图像,但是这种方法的复杂程度较高(需要对齐拍摄的每张图像的像素点等)。
因此,我们提出了的端到端的学习方法,即训练一个全卷积网络FCN 来直接处理快速成像系统中的低亮度图像。纯粹的FCN 结构可以有效地代表许多图像处理算法。受此启发,我们调查并研究这种方法在极端低光条件下成像系统的应用。相比于传统图像处理方法使用的sRGB 图像,在这里我们使用raw图像作为输入。
对于 Bayer 数组,我们将输入打包为四个通道并在每个通道上将空间分辨率降低一半。对于X-Trans 数组(图中未显示出),原始数据以6×6排列块组成;我们通过交换相邻通道元素的方法将36个通道的数组打包成9个通道。此外,我们消除黑色像素(黑电平校正)并按照期望的倍数缩放数据(例如,x100或x300)。放大这么大倍数的原因是因为低光图像像素值都趋近于0,都很小,正常光照图像像素值较大。乘一个倍数放大像素值后再送入网络处理更容易得到正常光照图像。将处理后数据作为 FCN 模型的输入,输出是一个带12通道的图像,其空间分辨率只有输入的一半。
我们将两个标准的 FCN 结构作为我们模型的核心架构:用于快速图像处理的多尺度上下文聚合网络 (CAN) 和U-net 网络。我们没有使用残差连接,因为网络的输入是raw图像,输出是RGB图像,属于不同的色彩空间。影响我们模型选择的另一个因素是内存消耗:在 GPU 中,我们选择的模型结构可以处理全分辨率的图像(例如,在4240×2832或6000×4000分辨率)。
The amplification ratio决定了输出的亮度。在我们的方法中,放大比率设置在外部指定并作为输入提供给模型,这类似于相机中的 ISO 设置。下图4显示了不同放大比率的影响。用户可以通过设置不同的放大率来调整输出图像的亮度。
CMOS和CCD是目前数码相机普遍采用的感光元件。在大尺寸感光元件领域,CMOS占据绝对优势地位。CMOS主要通过密集排列的光电二极管感受光信号,然后将光信号转换为电信号。值得注意的是,CMOS上的光电二极管只能感受光强度变化,而无法感受颜色。所以,CMOS捕捉的图像类似于黑白照片。
Bayer排列解决了彩色捕捉的问题,但是它也带来了一些问题。由于每一个像素点只能感受一种颜色,因此最后的图像需要通过技术处理为每个像素填充另外两种颜色,这个过程被称为“去马赛克”(demosaic),实际上是一种软件差值算法。软件插值算法在大多数情况下都能获得逼真的结果,然而在某些情况下却会引入失真。其中,摩尔纹是最常被谈及的问题。
摩尔纹是指在拍摄某些人工材料时所出现的机械重复的图像伪迹。由于织物多数都是不断重复的纤维排列,因此在拍摄服装时尤其容易出现摩尔纹。同样的情况也出现在任何存在细密机械重复的人造材料拍摄中。为了抑制摩尔纹,一般的策略是在CMOS之前增加低通滤镜。低通滤镜能够过滤高频信号,消除摩尔纹,然而其代价是影响成像的锐度,尤其会丧失一些非常细小的照片细节。
由于大多数人总是用相机拍摄日常生活,所以为CMOS添加低通滤镜成为合理的选择,毕竟摩尔纹是很难通过后期技术去除的,有时候会严重影响成像质量。但是,对于自然摄影来说,却并不会遇到摩尔纹的问题。对于这类摄影,低通滤镜就起了反作用。我们大多数人都不会为不同的理由去准备不同的相机。我们能否移去低通滤镜以保证成像的锐利、同时又充分抑制摩尔纹呢?这正是X-Trans CMOS出现的主要理由之一。
Bayer排列CMOS容易产生摩尔纹的主要原因被归结于过小的重复像素阵列。Bayer排列的阵列单元是2×2,并且是机械的RGBG排列,即在一个四方格中,两个绿色像素占据对角,另两个角由红色和蓝色像素填充。
与Bayer排列不同,X-Trans CMOS的阵列单元是6×6。下方是6×6单元色彩滤镜排列示意图。左侧是Bayer排列,右侧是X-Trans排列。X-Trans尽管依然是6×6的重复,但是在6×6的单元里,三种颜色滤镜的排列却并不是机械的重复,而是看起来比较杂乱的排列。通过这种“杂乱”,X-Trans CMOS能够比Bayer排列的传统CMOS更好地抑制摩尔纹,从而可以取消低通滤镜,以获得更高的成像锐度。
比较Bayer排列和X-Trans排列,你还会发现两个显著的差异。第一,在Bayer排列中,任意行或列都只包含两种色彩,或者是红与绿,或者是蓝与绿。而在X-Trans排列中,任意行或者列都包含三种色彩,富士宣称理论上这能够带来更好的色彩还原,尽管我对此略有怀疑。第二,在同样的像素区域内(比如6×6),Bayer排列有18个绿色像素,而X-Trans排列则有20个绿色像素。也就是说,X-Trans CMOS的绿色像素要比Bayer排列更多。由于绿色的感光能力最强,对细节表现也最好,因此这成为X-Trans CMOS在高感成像上要强于相同尺寸的Bayer排列CMOS的重要原因之一。
总体来说,通过特殊的色彩滤镜阵列,X-Trans CMOS获得了抑制摩尔纹发生的能力,同时其成像分辨率和高感能力也获得了增强。
我们知道图像数据一般为0–255,但sensor在出厂的时候,厂家一般会设置图像数据输出范围如5-250等,反正最低电平不为零。因此我们就需要对图像数据范围进行调整,使其最小值为零,这就是黑电平校正。
原因: CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例,单个pixel的有效值是0~255,但是实际AD芯片(模数转换芯片)的精度可能无法将电压值很小的一部分转换出来,因此,sensor厂家一般会在AD的输入之前加上一个固定的偏移量,使输出的pixel value在5(非固定)~255之间,目的是为了让暗部的细节完全保留,当然同时也会损失一些亮部细节,由于对于图像来说,我们的关注度更倾向于暗部区域,ISP后面会有很多增益模块(LSC、AWB、Gamma等),因此亮区的一点点损失是可以接受的。
如多sensor输出raw数据中附加的黑电平值,需要在ISP最前端去干净。如果不去干净,干扰信息会影响后端ISP各模块的处理,尤其会导致AWB容易不准,出现画面整体偏绿或者整体偏红现象。
Learning to See in the DarkAbstractIntroductionAbstract低光图像增强面临的问题:可用的数据集少;低光图像的信噪比低;短曝光图像噪声多,长曝光图像会比较模糊,不真实。针对这些问题:提出了一个短曝光低光raw图像数据集,对应长曝光的参考图像;使用这个数据集提出了一个低光图像处理全卷积网络,输入是raw图像,省去了传统的isp流程。Introduction...
Resources for Low Light Image Enhancement
https://github.com/dawnlh/low-light-image-enhancement-resources
-------------------------------------------------------------
Paper
TIP 2021
Sparse Gradient Regularized Deep Retinex Network for Robust Low-Ligh
文章链接:https://arxiv.org/pdf/1805.01934.pdf github:https://github.com/cchen156/L
ear
ning
-to-See-in-the-
Dark
人们提出了各种图像去噪、去模糊和增强技术,但它们在极端条件下的效果是有限的,例如夜间视频速率成像。为了支持基于学习的低亮度图像处理管道的开发,我们收集了一个原始短曝光...
#今日论文推荐# 黑夜也能五颜六色,用深度学习实现全彩夜视系统
加州大学欧文分校的这项研究,让我们更期待未来更先进的彩色夜视仪。在一些军事大片中,士兵头戴夜视仪搜索前进似乎是少不了的场景。使用红外光在黑夜中观察的夜视系统通常将视物渲染成单色图像。
论文题目:Deep l
ear
ning
to enable color vision in the
dark
.
链接:https://www.aminer.cn/pub/6255359b5aee126c0fe34e8e?f=cs
详细解读:https://ww