光照感知的低光照增强图像质量评价方法 - Nekomrr的个人空间

1.研究背景

低光照场景下获取的图像可见性低细节丢失严重，尽管现有的低光照增强算法（L ow-light Image Enhancement, L IE ）可以有效的提升低光照图像图像，但是这些算法仍有可能造成增强后图像不准确曝光、产生视觉失真的问题。所以，对低光照增强后图像进行有效图像质量评价（Image Quality Assessment, IQA ）具有重要意义。为了减少低光照图像增强算法的超调效应，本文提出了一种基于光照感知的低光照增强图像质量评估方法LIE -IQA 。

2 . 团队介绍

所在团队由CAAI-华为学术奖励基金获得者，“智能基座”华为云和计算先锋教师梁凌宇副教授领衔。本团队近年主要参与可解释性机器学习、复杂场景图像与文字识别等多项课题研究，积极推动产教融合和产学研成果转化，获得了多项教学与科研成果。

梁凌宇，现为华南理工大学副教授、硕导，中新国际联合研究院兼职研究员（该研究院为中国与新加坡两国间重大科技合作项目）， 2021年作为领域专家入选广东省高层次人才评审专家库。已在机器学习、图像与文字识别等领域发表论文逾30篇，其中以第一/通讯作者发表JCR1区或CCFA类论文10篇，包括NeurIPS、CVPR、TCYB、TMM、TAFFC、TCSVT、PR等。获批主持国家自然科学基金、广东省自然科学基金、CAAI-华为学术奖励基金2项、商汤科技企业合作项目合作2项，省部级重点实验室开放课题等项目13项。项目成果被知名企业的开源代码库收录，如华为MindSpore开源库、商汤科技OpeanMMLab开源库。在教学方面，主讲研究生课程《深度学习》、《机器学习》，参与研究生跨学科课程《人工智能与数字计算前沿》，主讲本科生课程《数据结构》，人工智能微专业课程《深度学习》。指导学生参加竞赛并获得多个奖项，如“互联网+”总决赛金奖、“挑战杯”省赛特等奖等。曾获第十届广东省育教学成果奖二等奖，第十八届亚洲设计学年奖银奖、优秀指导老师，校级教学成果奖特等奖，华为“智能基座”产教融合协同育人基地项目课程奖教金，“智能基座”华为云与计算先锋教师称号。

3 . 论文主要内容简介

本文针对低光照增强后图像存在的视觉失真、曝光不准确等问题，如图1所示，提出了一种光照感知的图像质量评估方法，称为LIE-IQA，以减少低光照图像增强的超调效应。LIE-IQA利用图像的本征分解分别提取低光照增强图像和参考图像的反射率和阴影分量；然后利用基于VGG 网络提取的低光照增强图像与参考图像的特征，加权计算相似度得到LIE-IQA评分。由于LIE-IQA度量的权重可以从数据中学习到，因此所提出的度量具有自适应能力。定性和定量实验表明了LIE-IQA在图像质量测量方面的优越性。LIE-IQA也可以作为损失函数的正则化来优化端到端LIE方法，结果表明，LIE-IQA优化框架在缓解低光照增强算法的超调效应方面具有潜力。

图1 最近两种LIE方法的超调或欠调导致的视觉伪影。

4 . 代码链接

论文链接： https://link.springer.com/chapter/10.1007/978-3-030-88010-1_19

基于Mind Spore实现代码开源链接：

https://gitee.com/mindspore/contrib/tree/master/papers/LIE-IQA

5 . 算法框架技术要点

图 2 光照感知图像质量评价方法L IE-IQA 框架。

光照感知图像质量评价方法L IE-IQA 框架主要包括两个模块 : 本质分解模块和特征提取模块。

（1）Intrinsic D ecompo si tion Module是一种具有一定约束条件的编解码器结构，利用该结构将参考图像(Ground-Truth) I ref 和增强的低光照图像 I ell 分解为对应的反射率和阴影图像。

（2）特征提取模块是一个基于vgg的卷积网络，包含两个主要的不同块（Block A, B ）包含不同数量的卷积滤波器和维度。

（3）可学习感知距离测量 D(I ell , I ref ) 是提取的特征 I ell 与 I ref 之间的加权相似度，可作为LIE算法端到端网络损失函数的正则化。

L IE-IQA 算法在低光照增强图像质量评价数据集L IE-IQA D ataset上的性能明显优于其它I QA 算法，与此同时，在不同的标准图像质量评价数据集上（CSIQ 数据集, MDID 数据集和LIVE 数据集）同样具有一定的优越性。此外，经过L IE-IQA 算法优化的L IE 算法，能获得更高感知质量的图像。

6 . 实验结果

1）消融实验。 首先，我们通过消融研究验证了LIE-IQA中本征分解模块的有效性。消融实验主要包括：（1）移出本征图像分解模块；（2）使用Y C b Cr 颜色空间的通道分离代替本征分解模块；（ 3 ）本征图像分解模块结合通用图像质量评价算法（F SIM, D eep IQA ）。实验结果表1所示。结果表明，本征分解模块能有效提高微光增强图像质量评价的性能。

表1本征分解模块的有效性消融实验结果

2）标准图像质量评价数据集性能对比。 我们在不同的数据集上（ CSIQ 数据集 , MDID 数据集和 LIVE 数据集）与一系列全参考的IQA方法进行对比，包括SSIM、VSI、MAD、FSIMc、GMSD、Deep-IQA、LPIPS和DISTS。定量性能对比结果如表2，结果表明，该方法具有一定的优越性，并具有更广泛应用于IQA任务的潜力。

表2标准图像质量评价数据集性能对比实验结果

3）低光照增强后的图像质量评价性能对比。 同时，我们在LIE-IQA数据集上验证了该方法在弱光增强图像质量预测中的应用。定量性能对比结果如表 3 所示。结果表明，与其他通用全参考图像质量评价算法FR - IQA方法相比，LIE-IQA方法在弱光增强图像质量评价中具有最好的性能。

表3低光照增强后的图像质量评价性能对比实验结果

4）L IE 优化实验。 由于LIE- IQA 的最终目标是用于弱光增强，我们也将L IE-IQA 算法作为损耗函数的正则化项，对目前的L IE 算法进行端到端的优化。结果表明，优化后可以获得更好的感知质量，如图5所示。

图 3 经过LIE-IQA算法优化的低光照增强算法生成图像及其质量评分

7 .MindSpore代码实现

MindSpore实现环境如下：

（1） Python 3.7.5

（ 2 ） MindSpore 1.2.1

（3） CUDA 10.1

需要注意的是，本征图像分解模块在Mind Spore 实现上我们使用的基于Retinex理论的图像分解模块，但是Retinex -based LIE-IQA 的性能与论文中性能基本没太大差别，并且Retinex -based 图像分解模块在代码上更容易实现，仅包含简单的卷积模块，模型的参数更少，训练难度更小，消耗更少的训练资源，如图4代码所示。

图4 R etinex -based 图像分解模块代码

8 . 总结与展望

本文提出的低光增强图像质量评价方法可以很好预测低光增强图像的质量，并且该算法可以有效地优化低光图像增强算法，提高低光增强图像的质量。在未来，我们将扩展基于 IQA 的优化框架，用于更多的图像增强任务。