0.   引言

近年来，矿山信息化和计算机视觉技术的快速发展推动了矿井智能视频监控系统的开发与应用。开展井下重点区域精准监视与安全感知，对于促进煤矿企业安全高效生产具有重要作用^[1]。井下作业环境复杂，存在光照条件差、矿尘浓度大、喷雾扰动等特点^[2]，导致摄像机采集的图像清晰度低、细节信息缺失，严重影响矿井视频监控系统的应用效果。对井下低照度图像进行增强预处理^[3-4]，可有效提高图像的亮度和对比度，同时丰富图像场景的特征信息，为矿井目标检测、识别、跟踪等技术奠定基础。

目前，矿井低照度图像增强方法分为传统方法和深度学习方法。传统方法主要包括直方图均衡化和基于Retinex理论的方法。直方图均衡化通过重新分配低照度图像中像素分布范围的方式，达到提高图像局部对比度的目的^[4]，但容易导致增强图像的局部亮度不均匀，影响图像的整体视觉效果。基于Retinex理论的方法认为摄像机采集的图像可分解为光照分量和反射分量，通过滤波方法估计图像中的光照分量，进而获取反射分量^[5]，并实现图像增强。Guo Xiaojie等^[6]基于Retinex理论提出了基于光照图像估计的低光图像增强算法（Low-Light Image Enhancement via Illumination Map Estimation，LIME），先确定输入图像各通道的最大值，再对初始化的光照图像进行结构先验处理，最后输出反射图像，得到增强图像，但存在过度增强现象。与传统方法相比，深度学习方法表现出更优越的图像增强性能。其中，以Retinex−Net^[7]为代表的低照度图像增强方法得到广泛研究与应用。该方法采用构造的分解网络将矿井低照度图像分解成光照图像和反射图像，通过对光照图像进行增强处理，达到提升图像亮度的目的，但容易出现颜色失真、边缘模糊问题。Zhang Yonghua等^[8]对Retinex−Net进行改进，提出了KinD模型，通过不同程度地改变曝光条件，灵活进行图像增强，但需要合理划分图像区域，难以实现高质量增强。针对上述问题，Zhang Yonghua等^[9]进一步提出KinD Plus模型，实现了低照度图像的有效增强，但该模型参数过多，导致推理速度较慢，在实时性方面表现较差。王满利等^[10]提出一种基于深度神经网络的矿井图像增强算法，该算法处理速度较快，但增强图像局部区域对比度不强。此外，现有基于深度学习的低照度图像增强方法大多对于低照度−正常照度配对图像数据集有较高的要求，这与井下配对图像数据集采集困难形成了冲突。基于无监督学习的图像增强方法能够较好地解决模型训练依赖大量低照度−正常照度配对数据集的问题，得到越来越多的研究与应用。Guo Chunle等^[11]提出零参考深度曲线估计（Zero-reference Deep Curve Estimation，Zero−DCE）模型，能在实现轻量化训练的同时，完成高质量的图像增强，但增强图像的局部对比度不够明显，部分特征及细节信息丢失，影响全局质量。Jiang Yifan等^[12]提出了EnlightenGAN 网络，其基于生成对抗网络，在图像增强方面效果较好，但有时生成的增强图像较模糊，且训练网络对计算资源和时间的要求较高。Zhang Yu等^[13]提出了自监督图像增强网络（Self-Supervised Image Enhancement Network，SSIENet），较高效地解决了图像增强问题，计算资源耗费较少，但增强图像存在一定程度的颜色失真与色差问题。

本文提出一种基于改进Zero−DCE模型的矿井低照度图像增强方法。在Zero−DCE模型的跳跃连接处引入卷积块注意力模块（Convolutional Block Attention Module，CBAM），增强图像细节信息和对比度，有效抑制无关信息，使跳跃连接融合图像不同层次的特征，丰富图像语义信息，提高模型对重要图像特征的表达能力；引入非对称卷积块（Asymmetric Convolution Block，ACB），提高模型对图像特征的学习能力和细节特征表现能力；将3×3卷积核替换为轻量级串联卷积核（Concatenated Convolution Kernel，CCK），减少模型参数量和计算量，缩短模型训练时间，实现图像实时增强。

1.   Zero−DCE模型

Zero−DCE模型包括7个卷积层，如图1所示。前6个卷积层由32个步长为1的3×3卷积核组成，卷积层之间采用ReLU激活函数激活；第7个卷积层由24个步长为1的3×3卷积核组成，采用tanh激活函数激活。前6层网络之间使用跳跃连接，将第3层和第4层、第2层和5层、第1层和第6层的输出拼接在一起，分别作为第5—7层的输入。第7层输出R，G，B（分别为红、绿、蓝）共3个颜色通道。

图  1  Zero−DCE模型结构

Figure  1.  Structure of Zero-DCE model

下载: 全尺寸图片 幻灯片

Zero−DCE模型通过光线增强曲线（Light Enhancement Curve，LE−curve）对非均匀照度条件下的输入图像进行亮度调整。LE−curve计算公式为

式中：L_n（x）为第n次迭代时的LE−curve；$x$为输入图像的像素坐标；α_n为第n次迭代时的可训练参数，α_n∈[−1，1]。

通过式（1）的多次迭代，输入图像的每个像素都会向最优化的目标曲线拟合，图像亮度得以调整^[14]。

针对部分场景中图像配对数据集采集困难的问题，设计4个非参考损失函数，包括空间一致损失^[15]、曝光控制损失^[16]、颜色恒常损失和光照平滑损失^[17]。

空间一致损失${L_{{\mathrm{spa}}}}$用于确保图像增强后局部区域像素值不与相邻像素之间发生太大改变。

式中：$K$为像素数量；$\varOmega (i)$为第$i$个像素的上下左右4个相邻区域，每个区域大小为$4 \times 4$；${Y_i}$，Y_j为低照度图像的第$i$，j个像素值；I_i，I_j为增强图像的第$i$，j个像素值。

曝光控制损失$ {L_{\rm{exp}}} $为像素区域的亮度平均值与理想曝光程度$E$之间的距离^[18]。

式中：m为大小为$16 \times 16$的不重叠区域数量；${B_k}$为增强图像中第$k$个局部区域的亮度平均值。

颜色恒常损失$ {L_{{\mathrm{col}}}} $用于根据灰度世界颜色恒常性假设，修正增强图像潜在的颜色偏差，使得增强图像R，G，B三通道平均值不存在显著差异。

式中$ {J_p} $，$ {J_q} $分别为增强图像通道$ p $，$ q $的亮度平均值，p，q$\in ${R，G，B}，p≠q。

通过在每个LE−curve参数映射中添加光照平滑损失${L_{\rm{tvA}}}$，可减小图像中相邻像素之间的亮度改变程度，使相邻像素之间的亮度尽可能接近。

式中：$N$为迭代总次数；${\nabla _1}$，${\nabla _2}$分别为水平方向和垂直方向的梯度算子；$ A_n^c $为LE−curve在图像色彩通道c第n次迭代得到的像素值，c$\in ${R, G, B}。

将上述4个损失函数线性叠加，得到总的损失函数：

式中${W_1}$—${W_4}$为各损失函数的权重。

2.   基于改进Zero−DCE模型的图像增强方法

针对矿井图像特点，从改变激活函数和引入ACB，CBAM，CCK方面改进Zero−DCE模型，改进结构如图2所示。

图  2  改进Zero−DCE模型结构

Figure  2.  Structure of improved Zero−DCE model

下载: 全尺寸图片 幻灯片

1） 激活函数。Zero−DCE卷积层之间采用ReLU激活函数，在梯度反向传导时存在负向神经元不学习的现象^[19]。Leaky ReLU激活函数在负区间有一个很小的梯度，可解决上述问题，加快模型收敛速度，提升模型对低照度图像特征的学习效率与计算资源的利用效率。因此，在Zero−DCE模型的第1—6层卷积层采用Leaky ReLU激活函数。

Leaky ReLU激活函数可表示为

式中：$X$为激活函数的输入；$l$为斜率，取0.1。

2） ACB。ACB由$3 \times 3$卷积核、$1 \times 3$矩形卷积核和$3 \times 1$矩形卷积核并联组成^[20]。3个卷积核经批量归一化融合与分支融合处理，生成与$3 \times 3$卷积过程等效的卷积层。该卷积层可强化网络模型对于图像局部特征的学习能力及细节特征的表现力，提高模型训练速度，实现实时增强。

ACB可表示为

式中：$ {F'} $为融合后的卷积核；$ {\gamma } $，$ {\bar \gamma } $，$ {\hat \gamma } $分别为$3 \times 3$，$3 \times 1$，$1 \times 3$卷积核的可训练参数；$ {\sigma } $，$ {\bar\sigma } $，$ {\hat \sigma } $分别为$3 \times 3$，$3 \times 1$，$1 \times 3$卷积核的标准差；$ \oplus $为求和运算符号；$F $，$ {\bar F} $，$ {\hat F} $分别为$3 \times 3$，$3 \times 1$，$1 \times 3$卷积核。

针对井下低亮度、高噪声图像，Zero−DCE模型在特征提取过程中存在部分有效特征信息表达缺失的问题。对此，在Zero−DCE模型的第1—4层浅层网络使用ACB，将从低照度图像中学习到的特征信息融合相加，加深浅层网络对图像有效特征的提取。

3） CBAM。CBAM是一种结合通道和空间注意力机制的注意力模块^[21]，其主要思想：采用通道注意力模块将输入特征图降维，并对特征图进行全局最大池化与平均池化操作；将池化后的特征图拼接，产生通道注意力图；将通道注意力图与输入特征图逐元素相乘，生成的特征图输入空间注意力模块，进行全局最大池化与平均池化操作，对得到的特征图进行拼接，产生空间注意力图；对空间注意力图与空间注意力模块输入的特征图逐元素相乘，并对权重再分配，以提高特征图中有效通道的权重，最终得到注意力权重图。

CBAM结构如图3所示。

图  3  CBAM结构

Figure  3.  Structure of Convolutional Block Attention Module（CBAM）

下载: 全尺寸图片 幻灯片

CBAM可表示为

式中：$ {M_{{\mathrm{ch}}}} $，$ {M_{{\mathrm{sp}}}} $分别为通道注意力图和空间注意力图；$ \sigma $为Sigmoid激活函数；$ {f_{{\text{mlp}}}} $，$ {f_{{\text{conv}}}} $分别为多层感知机和卷积运算；$ {\text{AP}} $，$ {\text{MP}} $分别为平均池化和最大池化操作；$ M$为输入特征图。

Zero−DCE模型在特征提取过程中会引入一些噪声，导致存在部分无效特征。针对该问题，在Zero−DCE模型的3个跳跃连接中引入CBAM。CBAM获取特征图通道的权重，模型根据这些权重融合图像不同层次的特征，增强图像有效特征，同时抑制无效特征，提高模型对井下低照度图像中关键特征的表达能力，强化图像细节信息^[22]。

4） CCK。为提高Zero−DCE模型的训练速度，将第5—7层深层网络的$3 \times 3$卷积核拆分为$3 \times 1$矩形卷积核与$1 \times 3$矩形卷积核的CCK^[23]。

CCK可表示为

式中：$ w $为矩形卷积核窗口；*为卷积运算符；$ F^{(1)} $，$ F^{(2)} $分别为$3 \times 1$卷积核和$1 \times 3$卷积核。

采用CCK可使每个卷积层要训练的参数量由原来的9个单位降为6个单位，减少了1/3。当Zero−DCE模型训练到深层网络时，需处理大量参数，对卷积核等价替换后，在图像增强效果几乎不变的情况下，参数量和计算量大幅降低，减少了训练时间，有利于实现矿井低照度图像实时增强。

基于改进Zero−DCE模型的矿井低照度图像增强流程如图4所示。将采集的矿井低照度监控图像输入改进Zero−DCE模型进行卷积处理，并通过LE−curve进行图像亮度逐级调整，初步得到增强图像，采用4种非参考损失函数评估初步增强图像效果，通过无监督学习方式获得最终的增强图像。

图  4  基于改进Zero−DCE模型的矿井低照度图像增强方法流程

Figure  4.  Process of low-light coal mine image enhancement method based on improved Zero-DCE model

下载: 全尺寸图片 幻灯片

3.   实验及结果分析

3.1   实验条件及评价指标

本文所用自建数据集图像采集自国家能源集团宁夏煤业有限责任公司双马煤矿。选取2 000张像素大小为512×512的图像对改进Zero−DCE模型进行性能测试，其中1 500张为训练集（进行不同程度的曝光，使网络能对同一场景中不同光照条件下的图像进行拟合），其余500张为测试集。

实验硬件环境：操作系统为Windows10，CPU为Intel Core i7−9700F，GPU为Nvidia GeForce RTX 2080 Ti，内存为16 GiB。实验使用Pycharm编译器，Adam优化器，基于Python 3.8和PyTorch v1.10.1框架实现。网络初始学习率为0.000 1，训练轮数为200，批量大小为8。经多次超参数调整和实验验证，设置改进Zero−DCE模型的理想曝光程度$E$为0.6，损失函数权重${W_1}$—${W_4}$分别为1，10，5，200。

采用均方误差（Mean Squared Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）、自然图像质量评估器（Natural Image Quality Evaluator，NIQE）和视觉信息保真度（Visual Information Fidelity，VIF）^[24]共5个指标评价基于改进Zero−DCE模型的矿井低照度图像增强方法的性能。MSE反映增强图像与参考图像的差异程度，PSNR用于评估图像增强后的颜色失真程度，SSIM用于评估图像增强后的亮度提升程度，NIQE用于评估增强图像的自然程度，VIF反映增强图像细节信息量的保留程度。通常情况下MSE，NIQE越小，PSNR，SSIM，VIF越大，表明图像增强效果越好。

3.2   消融实验

为验证Leaky ReLU激活函数、CBAM、ACB、CCK对Zero−DCE模型的改进性能，从测试集中选取部分图像进行消融实验，结果如图5所示，评价指标见表1。其中模型1为基准模型Zero−DCE，模型2为Zero−DCE+Leaky ReLU，模型3为Zero−DCE+ACB，模型4为Zero−DCE+CBAM，模型5为Zero−DCE+CCK，模型6为Zero−DCE+CBAM+ACB，模型7为 Zero−DCE+CBAM+ACB+Leaky ReLU，本文模型为Zero−DCE+CBAM+ACB+Leaky ReLU+CCK。

图  5  消融实验输出图像

Figure  5.  Output images of ablation experiments

下载: 全尺寸图片 幻灯片

表  1  消融实验指标对比

Table  1.  Indicators comparison of ablation experiment

模型	MSE	PSNR	SSIM	NIQE	VIF
模型1	310.51	23.21	0.90	8.52	0.32
模型2	302.75	23.32	0.91	8.49	0.32
模型3	300.66	23.35	0.90	8.50	0.36
模型4	275.47	23.73	0.91	8.51	0.35
模型5	311.95	23.19	0.90	8.52	0.32
模型6	291.13	23.49	0.90	8.33	0.38
模型7	262.47	23.94	0.92	8.29	0.38
本文模型	260.06	23.98	0.92	8.27	0.38

下载: 导出CSV 

| 显示表格

从图5和表1可看出：在Zero−DCE模型中加入Leaky ReLU后，增强图像中巷道与工作面处亮度得到提升，图像细节信息更加清晰，但存在一定程度失真，PSNR和SSIM提高，MSE和NIQE降低；在Zero−DCE模型中加入ACB后，增强图像的MSE和NIQE降低，PSNR小幅提高，VIF大幅提高；在Zero−DCE模型中加入CBAM后，增强图像的色彩恢复程度较好，井下细节信息得到增强，MSE和NIQE降低，SSIM和VIF小幅提高，PSNR大幅提高；在Zero−DCE模型中加入CCK后，图像增强效果和指标几乎不变；在Zero−DCE模型中同时加入CBAM和ACB时，增强图像的亮度提升程度较明显，颜色失真程度降低，井下细节信息恢复程度较高，MSE小幅降低，NIQE明显降低，PSNR，SSIM，VIF小幅提高；在Zero−DCE模型中同时加入CBAM，ACB，Leaky ReLU时，与同时加入CBAM和ACB相比，增强图像的亮度得到较好的提升，颜色失真程度进一步降低，图像细节信息恢复程度进一步提高，MSE大幅降低，NIQE小幅降低，PSNR大幅提高，SSIM小幅提高；本文模型能更好地提高输出图像的亮度，合理降低颜色失真程度，尽可能全面地强化井下细节信息，各指标最优。

3.3   对比实验

为验证本文模型对公共低照度图像增强的适用性，将其与LIME^[6]，Retinex−Net^[7]，KinD^[8]，KinD Plus^[9]，Zero−DCE^[11]，EnlightenGAN^[12]，SSIENet^[13]这7种典型模型在公共数据集LOL^[7]上进行测试，选取4张图像进行分析，如图6所示。

图  6  LOL数据集图像增强效果对比

Figure  6.  Comparison of image enhancement effect for LOL dataset

下载: 全尺寸图片 幻灯片

从图6可看出：LIME模型针对细节轮廓的恢复较好，但在图像亮度提升方面效果不明显；Retinex−Net模型可有效提升图像亮度，但存在颜色失真现象；KinD模型在图像亮度提升方面效果明显，但图像整体偏白，存在一定程度的过曝现象；KinD Plus模型对图像细节的恢复能力较好，但部分区域存在一定程度的失真；Zero−DCE模型能较好地恢复纹理细节信息，但图像亮度提升效果不明显；经EnlightenGAN模型增强后的图像对比度提升明显，但亮度提升不太均匀；经SSIENet增强后的图像细节信息恢复较好，但色调不太自然；本文模型能较好地提升图像亮度，增强图像的色调相对自然，且能较完整地保留细节信息。

不同模型的图像增强性能评价指标见表2。可看出本文模型在LOL数据集上表现良好，SSIM，NIQE，VIF取得最优值，MSE和PSNR仅次于KinD Plus模型。整体上，本文模型对公共低照度图像数据集具有较好的增强效果。

表  2  LOL数据集图像增强指标对比

Table  2.  Comparison of image enhancement indicators for LOL dataset

模型	MSE	PSNR	SSIM	NIQE	VIF
LIME	2 618.67	13.95	0.69	9.41	0.26
Retinex−Net	1 367.98	16.77	0.79	9.76	0.22
KinD	1 117.07	17.65	0.88	7.56	0.29
KinD Plus	739.74	19.44	0.89	9.41	0.29
Zero−DCE	1 069.25	17.84	0.88	9.90	0.27
EnlightenGAN	1 161.66	17.48	0.86	9.70	0.30
SSIENet	731.27	18.94	0.91	10.53	0.33
本文模型	776.39	19.23	0.91	9.28	0.37

下载: 导出CSV 

| 显示表格

在自建数据集上验证本文模型的图像增强效果，并与其他7种模型进行对比。不同模型的矿井图像增强结果如图7所示。

图  7  矿井数据集图像增强效果对比

Figure  7.  Comparison of image enhancement effect for mine dataset

下载: 全尺寸图片 幻灯片

从图7可看出：经LIME模型增强后的图像产生较多噪点，存在过度增强现象；经Retinex−Net模型增强后的图像存在颜色失真与图像色彩恢复不理想的现象，且颜色不太均匀；经KinD模型增强后的图像在亮度和对比度提升方面不太明显，且引入少量噪点；经KinD_Plus模型增强后的图像产生了光晕伪影现象，同时丢失了较多的细节信息；经Zero−DCE模型增强后的图像在明亮区域存在过度增强现象，图像对比度较低；经EnlightenGAN模型增强后的图像部分细节信息丢失，局部图像亮度提升不明显；经SSIENet增强后的图像在低照度区域亮度提升不太明显；经本文模型增强后的图像纹理和细节信息清晰完整，色彩恢复较理想，全局增强效果好。

进一步使用图像质量评估指标客观分析各模型在测试集上的增强效果。从8种模型对测试集的图像增强结果中选取NIQE最优的图像作为近似参考图像^[10]。不同模型对矿井测试集图像进行增强后指标见表3。可看出本文模型在MSE，PSNR，NIQE，VIF这4个指标方面优于对比模型，仅SSIM略低于KinD模型。相较于Zero−DCE模型，本文模型的MSE和NIQE分别降低了16.25%和2.93%，PSNR，SSIM，VIF分别提高了2.87%，1.87%，17.64%。综合主观视觉效果与客观评价指标可知，本文模型对于矿井恶劣环境中低照度图像增强具有显著优势。

表  3  矿井数据集图像增强指标对比

Table  3.  Comparison of image enhancement indicators for mine dataset

模型	MSE	PSNR	SSIM	NIQE	VIF
LIME	992.84	18.16	0.72	9.30	0.31
Retinex−Net	1742.93	15.72	0.74	9.27	0.34
KinD	318.48	23.10	0.94	9.29	0.37
KinD Plus	461.40	21.49	0.89	10.58	0.32
Zero−DCE	310.51	23.21	0.90	8.52	0.32
EnlightenGAN	322.167	23.05	0.90	8.73	0.31
SSIENet	314.109	23.16	0.91	8.62	0.32
本文模型	260.06	23.98	0.92	8.27	0.38

下载: 导出CSV 

| 显示表格

在测试集中随机选取100幅图像，采用不同模型进行图像增强，统计各模型的参数量和计算量及增强单幅图像的平均耗时，结果见表4。可看出本文模型在推理时间、参数量和计算量上优于大部分对比模型。

表  4  各模型性能对比

Table  4.  Performance comparison of various models

模型	推理时间/s	参数量/106个	计算量/109个
LIME	15.467	—	—
Retinex−Net	0.704	0.555	587.470
KinD	1.033	8.160	574.954
KinD Plus	12.716	8.275	12 238.026
Zero−DCE	0.123	0.079	84.990
EnlightenGAN	0.313	8.637	273.240
SSIENet	0.797	0.682	154.665
本文模型	0.138	0.052	55.738

下载: 导出CSV 

| 显示表格

综合实验结果可知，本文模型针对公共数据集和矿井自建数据集图像增强的视觉效果和评价指标整体表现优异，且在矿井智能监控应用中基本满足低照度图像增强的实时性要求。

4.   结论

1） 采用改进Zero−DCE模型进行矿井低照度图像增强，能够解决井下复杂环境中低照度−正常照度图像配对数据集采集困难的问题。

2） 从主观和客观2个方面，对改进Zero−DCE模型的图像增强性能进行评价，结果表明，不论是公共数据集还是矿井自建数据集，该模型均能在提高图像亮度的同时，有效保留细节纹理信息，降噪效果明显，且MSE，PSNR，SSIM，NIQE，VIF指标整体优于对比模型。

3） 后续将进一步优化该模型，以便于进行高级矿井图像分析任务，如矿井目标检测、识别、跟踪等。