0.   引言

目前，对图像去雾技术的研究主要包括基于物理模型的图像增强方法和基于非物理模型的图像复原方法^[1-2]。基于物理模型的图像增强方法根据大气散射理论，在各种先验知识（如暗原色先验）约束条件下，精确求解出清晰无雾图像。苏畅等^[3]提出了一种基于暗通道图像质心位移量的去雾方案，使用了K均值聚类方法对雾天图像中的暗通道进行深入分析，但去雾效果会受到所设定聚类个数的影响。He Kaiming等^[4-5]提出了一种借助暗原色统计特性实施去雾的算法，通过考察图像的暗通道并整合大气散射模型，能够在多数情况下实现较理想的去雾效果。然而，当处理包含较大面积天空区域的画面时，可能会面临颜色失真问题，且该算法计算复杂度较高。郭翰等^[6]针对传统暗原色去雾技术在处理天空区域时易产生的“halo”（光晕）效应，采用了导向滤波来调整透射率参数，但该算法对滤波半径参数的选择较为敏感，易导致部分去雾结果存在颜色过饱和或去雾不充分的情况。Meng Gaofeng等^[7]提出了一种具有边界约束机制的图像去雾技术，有效缓解了去雾后图像对比度偏低的问题，然而在某些特定区域，仍有出现颜色失真现象的可能性。基于非物理模型的图像复原方法的核心在于通过加强图像整体和各个细节特征的表现力，提高图像的饱和度和对比度。该方法可带来一定程度视觉上的优化，但没有触及雾气对图像实质性的干扰，代表性技术有Retinex理论和直方图均衡化等^[8-11]。Lu Kun等^[12]提出了双分支曝光融合网络（Two-Branch Exposure-Fusion Network，TBEFN），采用一种简单的平均方法对2幅图像进行融合，并通过1个细化单元进一步细化结果，但网络的训练过程较为复杂。Xue Yu等^[13]提出了一种特征融合注意网络，该网络使用通道注意和像素注意对特征图的空间维度和通道维度分配权重，实现了较先进的去雾性能，但算法效率仍有进一步提升空间。E. S. Muhammad等^[14]提出了一种利用暗通道和光照计算双传输图的新策略，并利用梯度域引导滤波器对传输图进行细化，去除任何残留的不良影响，但在光照不足的环境下，该算法的实际去雾效果受到较大限制。

在煤矿井下图像去雾方面，龚云等^[15]针对煤矿井下图像普遍存在的低亮度和弱对比度问题，提出了一种在六角锥体模型HSV（Hue, Saturation,Value）色彩空间中运用加权分布自适应伽马校正技术的同态滤波方法。该方法有效提升了图像的整体亮度与细节对比度，但仍产生了一定程度的颜色失真。王媛彬等^[16]提出了一种基于自适应双通道先验理论的煤矿井下图像去雾技术，通过结合暗通道信息与亮通道特征来建立双通道预设模型以精确估计透射率，并融入了动态调整的权重因子，用梯度导向滤波手段对透射率图进行精细化处理。根据粉尘雾霾导致的图像退化模型原理，实现对原始清晰图像的恢复还原，但该算法在处理不均匀雾霾图像时，仍有部分雾霾残留。上述方法在处理煤矿井下图像时有可能存在细节信息丢失或图像偏暗的问题，主要是因为未能在提取图像深层次特征信息的同时进行光照校正。

针对煤矿井下图像去雾问题，本文提出了一种结合暗通道引导滤波和光照校正的新型单幅煤矿井下图像去雾算法。本算法通过图像分化模块（Image Differentiation Module，IDM）对井下图像进行多层次化处理，从而生成反映全局光照情况的光照图、体现深度信息的暗原色图及记录反射特征的光照反射图，并分别利用暗原色图和光照反射图进行引导滤波和光照校正，有效解决了因雾化导致的颜色失真问题，同时实现了对图像细节的精准重构。

1.   煤矿井下图像去雾模型及原理

1.1   煤矿井下图像去雾模型

基于暗通道引导滤波和光照校正的煤矿井下图像去雾算法的网络结构模型如图1所示，其中“$\oplus $”为2个或多个具有相同维度的张量逐元素相加在一起，生成一个新的张量。首先，将原始图像经过IDM和残差模块，得到光照图、暗原色图和光照反射图，通过图像分化操作使后续网络可处理不同层次的特征信息，并降低对复杂背景噪声的敏感性。其次，在引导滤波模块（Bootstrap Filtering Module，BFM）中将暗原色图作为权重引导参数，对光照反射图进行引导滤波，有利于网络提取深层图像特征和恢复细节信息。然后，经过残差模块进行图像信息补偿，其中残差模块由2层3×3卷积层和ReLU激活函数组成。最后，通过光照校正模块（Lighting Correction Module，LCM）利用光照图和原始图像信息进行多次光照校正和信息补偿，解决图像整体偏暗的问题。

图  1  煤矿井下图像去雾模型

Figure  1.  Coal mines underground image defogging model

下载: 全尺寸图片 幻灯片

1.2   IDM

IDM可对输入图像进行多层次化处理并分别得到光照图、暗原色图和光照反射图。IDM网络结构如图2所示。原始图像先经过1个3×3卷积层，再经由ReLU激活函数增强非线性特征，最后经过平均池化层以减少参数量并提取图像浅层特征信息。将网络分成2个分支，采用第1分支生成光照反射图，采用第2分支生成光照图和暗原色图。

图  2  IDM网络结构

Figure  2.  Network structure of image differentiation module（IDM）

下载: 全尺寸图片 幻灯片

第1分支首先经过1个3×3卷积层和ReLU激活函数进一步处理图像，其次通过1×1卷积层进行特征降维，并使用Sigmoid函数进行归一化，然后利用双边滤波进行平滑处理，同时结合残差连接和跳跃连接技术，将原始图像与光照图的特征信息进行融合，最后输出光照反射图。光照反射图不仅融合了原始图像的固有结构信息，还具有光照图中光照条件的细致分布，可以更加精确地反映场景中的光照分布。在第1分支中引入双边滤波算法，将图像的灰度信息作为权重参数纳入计算过程。为了实现保边去噪的目标，双边滤波的权重不仅考虑了像素的欧氏距离，还考虑了像素范围域中的辐射差异，权重系数为

式中：$ {w_{\mathrm{d}}}(i,j,k,l) $为邻域内某点$ \left( {k,l} \right) $与中心点$ \left( {i,j} \right) $的欧氏距离决定的空域权重；$ \left( {i,j} \right) $为中心点的坐标；$ \left( {k,l} \right) $为邻域内某点的坐标；$ {w_{\mathrm{r}}}(i,j,k,l) $为邻域内某点$ \left( {k,l} \right) $的灰度值$ f\left( {k,l} \right) $与中心点$ \left( {i,j} \right) $的灰度值$ f\left( {i,j} \right) $之差决定的值域权重；$ \sigma _{\mathrm{d}}^{} $为空间域上高斯核函数的标准差，用于控制像素位置的权值；$ \sigma _{\mathrm{r}}^{} $为像素值域上高斯核函数的标准差，用于控制像素值的权值。

第2分支通过3×3卷积层和ReLU激活函数后，使用Sigmoid函数进行归一化，以进一步提取图像的深层特征信息，并分别经过大气光估计和暗原色处理，得到光照图和暗原色图。暗原色图包含的是在雾气影响下仍能观察到的场景最暗部分的信息。根据大气散射模型来计算大气光估计^[17]，有雾图像的描述模型为

式中：$ I\left( x \right) $为实际观测的图像；x为图像中的像素点；$ J\left( x \right) $为无雾情况下的理想场景图像；$ t\left( x \right) $为大气介质的透射率，与大气的厚度紧密相关，因此其数值会随像素位置的不同而变化，通常满足$ t\left( x \right) $≤1，表明场景的辐射值随距离呈指数衰减；$ A $为大气光值。

对式（2）进行变形可得

对式（3）进行改写，得

式中：$ {J^c}(x) $为像素点位置为x的彩色无雾图像；c为红绿蓝（R，G，B）三色通道中的某一通道；$ {I^c}(x) $为像素位置为x的彩色有雾图像；$ A^{c} $为彩色通道的大气光值。

由式（4）可计算得到图像中各个颜色通道的值。保留每一个像素的红绿蓝三色通道中值最高的通道，再通过最大值滤波得到光照图。

式中：$ {J^{{\text{light}}}}\left( x \right) $为光照图；$ \varOmega \left( x \right) $为以x为中心的图像块；$ {J^c}\left( y \right) $为像素点位置为y的彩色无雾图像。

第2分支中的暗原色处理利用暗通道先验（Dark Channel Prior，DCP）原理。该原理指出至少有1个颜色通道可能具有极低的值，甚至接近于0。因此，本文算法保留3个颜色通道值最低的通道，即暗通道，再进行最小值滤波，从而得到暗原色图。

式中$ {J^{{\text{dark}}}}\left( x \right) $为暗原色图。

通过对大量户外无雾图像的观察可知，对于绝大多数无雾的自然场景图像，除去天空区域外，$ {J^{{\text{dark}}}}\left( x \right) $非常低且接近于0。

1.3   BFM

BFM是将引导图I和待处理图P作为输入，计算引导图I的引导权重，并对待处理图P中的像素点进行更新，从而使更新后的图像更接近清晰图像。BFM网络结构如图3所示。

图  3  BFM网络结构

Figure  3.  Network structure of bootstrap filtering module

下载: 全尺寸图片 幻灯片

首先采用3×3卷积层、ReLU激活函数、Sigmoid归一化对暗原色图进行预处理，得到引导图I，通过预处理可更好地突出图像的结构信息，便于后续操作。引导图I与待处理图P有相同的梯度，所以滤波时可设置I=P，将暗原色图作为权重引导参数，对光照反射图进行引导滤波，用线性相关的核W去更新像素点，使得待处理图P更接近清晰图像Q。

式中：$ {q_u} $为目标图像在u位置的像素值；u和v为像素的位置；$ {a_v} $为权重；$ M_{I_u} $为引导图I在u位置的像素值；$ {b_v} $为偏置；$ {\sigma _v} $为滤波窗口。

1.4   LCM

通过暗通道引导滤波，可恢复图像细节信息，但整体图像偏暗，因此需进行光照校正。LCM网络结构如图4所示。首先，将经过IDM和BFM处理后的图像输入1个3×3卷积层和ReLU激活函数进行浅层处理。再将图像经过8个相同的校正结构进行校正，每个校正结构均使用光照图作为权重参数，对图像进行光照校正和特征提取。处理完毕后，图像再次通过1个3×3卷积层和ReLU激活函数，进入下一级校正过程。通过以上操作有效地增加了网络深度，将光照信息和退化的图像一起引入到深层次的恢复网络中，可有效解决颜色失真问题，进而去除黑暗区域的退化，实现图像细节的重构。最后由残差模块进行图像信息补偿，得到清晰图像。

图  4  LCM网络结构

Figure  4.  Network structure of lighting correction module

下载: 全尺寸图片 幻灯片

1.5   损失函数

损失函数部分使用$ {L_1} $损失函数和Charbonnier损失函数的线性组合。$ {L_1} $损失函数所描述的是真实清晰图像与恢复清晰图像之间的差异，会造成图像过于平滑，缺乏视觉上的真实感。因此，引入Charbonnier损失函数，其在梯度较大时变化更为缓和，对于异常值更加稳健，这使其更适合于处理图像、视频中的边缘信息。

式中：N为训练图像的总数量；n为训练图像的数量；$ {\hat J_n}(x) $为生成的清晰图像；$ {J_n}\left( x \right) $为基础真值；$ {L_{\mathrm{C}}} $为Charbonnier损失函数；$ \varepsilon $为很小的整数，用于防止分母为0；L_total为总损失函数；$ \lambda $为权重，$ \lambda $=0.5。

2.   实验结果及分析

2.1   数据集与训练准备

实验使用GeForce RTX 3060在Ubuntu 18.04上进行训练，优化器为Adam，批量大小（Batch Size）设为4，共训练60个epoch，学习率为0.001，本文使用煤矿井下图像数据集来训练和测试网络，包含2 800对训练图像和500对测试图像。为验证本文算法有效性，进行主观视觉评价和客观指标评价，与DCP算法^[18]、单图像补丁映射网络^[19]（Patch Map for Single Images，PMS−Net）、对比度增强和曝光融合（Contrast Enhancement and Exposure Fusion，CEEF）算法^[20]、特征融合注意力（Feature Fusion Attention，FFA）算法^[21]进行对比。

2.2   主观评价

本文算法和对比算法得到的图像如图5所示。可看出DCP和FFA都没有发挥应有的去雾作用，且图像质量较差；尽管PMS−Net，CEEF算法都能得到清晰的图像，但所得图像都有很强的伪影，且在对背景和灯光进行模糊处理的过程中，往往会损失一些细节，从而导致对图像信息的利用率不高。本文算法在去除雾气的同时，保留了更多的结构纹理及背景细节，使整个图像更加接近于对应的清晰图像。

图  5  不同算法主观效果对比

Figure  5.  Comparison of subjective effects of different algorithms

下载: 全尺寸图片 幻灯片

2.3   客观评价

为了进一步验证本文算法的优势，采用信息熵、标准差、平均梯度3种指标对实验结果进行定量评估，3项评价指标均越大越好。不同算法在合成数据集上的定量对比结果见表1。

表  1  不同算法客观评价结果

Table  1.  Objective evaluation results of different algorithms

算法	训练集				测试集
	信息熵	标准差	平均梯度		信息熵	标准差	平均梯度
DCP	5.56	35.89	0.055		5.39	32.69	0.052
PMS−Net	7.55	54.76	0.124		7.32	52.86	0.120
CEEF	6.45	48.86	0.073		6.02	45.39	0.068
FFA	6.14	44.67	0.062		5.59	40.42	0.055
本文算法	7.87	58.34	0.132		7.43	54.75	0.124

下载: 导出CSV 

| 显示表格

由表1可看出，本文算法在训练集上和测试集上的信息熵、标准差、平均梯度均最高。与次优算法PMS−Net相比，本文算法在训练集和测试集上信息熵分别提高了0.32和0.11，标准差分别提高了3.58和1.89，平均梯度分别提高了0.008和0.004，说明本文算法具有更好的去雾效果，且更适用于煤矿环境。

在不同数据集下5种去雾算法的单幅图像的处理速度如图6所示。可看出本文算法在训练集和测试集上的运行速度都优于其他算法，具有较好的实时性。

图  6  不同算法单幅图像的处理速度对比

Figure  6.  Comparison of processing speeds for single images using different algorithms

下载: 全尺寸图片 幻灯片

3.   消融实验

为验证各网络模块的有效性，对网络进行消融实验，在原网络基础上分别剔除IDM，BFM和LCM，在同等实验环境下使用测试数据集进行实验，得到的实验结果如图7所示，其中，w/o IDM为去除IDM模块剩余的网络结构，w/o BFM为去除BFM模块剩余的网络结构，w/o LCM为去除LCM模块剩余的网络结构。对消融实验结果进行定量评价，结果见表2。

图  7  消融实验主观效果对比

Figure  7.  Comparison of subjective effects in ablation experiments

下载: 全尺寸图片 幻灯片

表  2  消融实验结果

Table  2.  Results of ablation experiments

模型	信息熵	标准差	平均梯度
w/o IDM	4.23	40.74	0.063
w/o BFM	5.78	48.94	0.073
w/o LCM	5,27	45.86	0.078
完整网络	7.43	54.75	0.124

下载: 导出CSV 

| 显示表格

消融实验结果表明，在未剔除任何网络模块的情况下，本文算法在测试数据集上的信息熵、标准差、平均梯度均高于其他模型，表明其去雾效果最好，能有效地保留图像细节和边缘信息。

4.   结语

为提升煤矿井下有雾图像在各类机器视觉任务中的适用性和处理质量，提出一种融合传统先验去雾与深度学习技术的煤矿井下图像去雾算法。通过IDM处理显著降低了后续网络的学习难度和对复杂背景噪声的敏感性；而BFM则将暗原色图作为权重来更新像素点，使其更接近清晰图像；残差模块确保在去雾的同时，最大限度地保留并融合了图像原有的空间细节信息；LCM有效增强了网络对雾气特征的识别与抑制效果，并在此基础上实现了网络结构的优化，降低了计算复杂性。实验结果表明所提算法去雾效果较好，能有效地保留图像细节和边缘信息，更适用于煤矿环境。