A coal mine underground image enhancement method based on multi-scale gradient domain guided image filtering
-
摘要: 煤矿井下图像存在较严重的光照不均匀和噪声干扰，现有基于Retinex的方法直接应用于煤矿井下图像增强易出现光晕伪影、边缘模糊、过增强和噪声放大等问题。针对上述问题，提出了一种基于多尺度梯度域引导滤波的煤矿井下图像增强方法。首先，将多尺度思想引入梯度域引导滤波中，实现对非均匀光照的准确估计，有效解决了增强图像时光晕伪影及边缘模糊的问题。然后，利用Retinex模型分离出光照分量和反射分量：对于光照分量，通过自适应伽马校正函数逐像素地修正光照信息，实现对图像暗区域增强的同时，抑制亮区域过增强，并使用限制对比度自适应直方图均衡化方法调整图像对比度；对于反射分量，将梯度域引导滤波与多尺度细节提升相结合，在准确去除噪声后提升纹理细节，避免了增强图像时噪声放大的问题。最后，将处理后的光照分量及反射分量融合，计算图像增益系数，并使用线性色彩恢复方法实现对原始RGB图像的逐像素增强，提升方法处理效率。实验结果表明，从主客观角度与现有方法相比，经所提方法处理后的图像在色彩保持、对比度、噪声抑制、细节保留等方面均取得了较好的增强效果，同时处理效率较高。Abstract: There are serious issues with uneven lighting and noise interference in coal mine underground images. The existing Retinex based methods are directly applied to enhance coal mine underground images, which are prone to problems such as halo artifacts, blurred edges, over enhancement, and noise amplification. In order to solve the above problems, a coal mine underground image enhancement method based on multi-scale gradient domain guided image filtering is proposed. Firstly, the multi-scale idea is introduced into gradient domain guided image filtering to achieve accurate estimation of non-uniform lighting, effectively solving the problems of halo artifacts and edge blurring in enhanced images. Secondly, the Retinex model is used to separate the lighting component and reflection component. For the lighting component, the lighting information is corrected pixel by pixel through an adaptive gamma correction function, which enhances the dark areas of the image while suppressing the over enhancement of the bright areas. The image contrast is adjusted using a contrast limited adaptive histogram equalization method. For the reflection component, gradient domain guided image filtering is combined with multi-scale detail enhancement to accurately remove noise and improve texture details, avoiding the problem of noise amplification during image enhancement. Finally, the processed lighting and reflection components are fused, and the image gain coefficient is calculated. The linear color restoration method is used to enhance the original RGB image pixel by pixel, improving the processing efficiency of the method. The experimental results show that, from a subjective and objective perspective, compared with existing methods, the images processed by the proposed method have achieved better enhancement effects in color preservation, contrast, noise suppression, detail preservation, and other aspects, while also having higher processing efficiency.
-
0. 引言
智能视频监控是智能化煤矿安全生产的重要组成部分[1-3]。然而，煤矿井下无自然光照，人工照明易出现光照不均匀现象；由于周围岩壁含煤量多，存在大量较暗区域；采煤设备的运行会产生粉尘及电磁干扰，导致图像中伴有较多的噪声。上述因素严重影响了煤矿井下图像质量，对后续图像智能分析产生不利影响。因此，有必要对煤矿井下图像进行增强[4-5]。
现有的图像增强方法可分为传统方法和基于深度学习的方法。传统方法中，基于Retinex模型的方法得到广泛应用[6-8]，如单尺度Retinex（Single Scale Retinex，SSR）方法[9]、多尺度Retinex（Multi Scale Retinex，MSR）方法[10]和带色彩恢复因子的多尺度Retinex（Multi Scale Retinex with Color Restoration，MSRCR）方法[11]等应用于煤矿井下图像增强并取得了一定效果。但该类方法使用各向同性的高斯滤波器来估计光照分量，在处理有光照突变的图像时易出现光晕伪影、边缘模糊的问题。因此，一些学者采用各向异性的滤波器代替高斯滤波器来估计光照。例如，程德强等[12]、智宁等[13]采用引导滤波（Guided Image Filtering，GIF）[14]作为中心环绕函数来估计光照，较好地克服了光晕伪影。王星等[15]、洪炎等[16]采用加权引导滤波（Weighted Guided Image Filtering，WGIF）估计光照，在避免光晕伪影的同时相对完整地保留了图像边缘。苏波等[17]使用梯度域引导滤波（Gradient Domain Guided Image Filtering，GDGIF）[18]估计光照，更好地解决了光晕伪影和边缘模糊的问题。但上述方法仍会出现暗区域增强不足、亮区域增强过度的问题，且大多忽略了对图像噪声的处理，在增强过程中易导致噪声放大，模糊图像细节。
基于深度学习的方法具有较强的特征学习和泛化能力，在增强后的图像光照调节和细节保持方面均能取得较好的性能[19]。受Retinex理论的启发，Wei Chen等[20]设计了2个子网络分别提取光照分量与反射分量，并使用去噪模块对反射分量去噪，在有效提升图像亮度的同时保持细节；Zhang Yonghua等[21]构建了图像分解、反射分量恢复及光照调节3个子网络，在亮度调整及细节保持方面得到了更好的效果。此外，一些学者[22-24]使用残差的思想进行光照调节及细节提升。但基于深度学习的方法需要大规模数据集进行训练，其增强效果对训练数据集依赖性强，而煤矿井下具有有效标记的数据较少，且这类方法计算资源开销大。
本文提出了一种基于多尺度GDGIF的煤矿井下图像增强方法。将多尺度思想引入GDGIF，从而更准确地估计光照并分离噪声；利用自适应伽马校正函数逐像素地修正图像亮度，提升暗区域亮度并抑制亮区域过增强。该方法在处理煤矿井下非均匀低照度图像时能有效避免光晕伪影、边缘模糊、过增强和噪声放大等问题。
1. 方法原理
基于多尺度GDGIF的煤矿井下图像增强方法流程如图1所示。首先，将原始RGB图像转换到HSI色彩空间，对亮度通道图像使用多尺度GDGIF进行光照估计。然后，利用Retinex模型分离出光照分量和反射分量：对于光照分量，通过自适应伽马校正函数根据光照的局部亮度逐像素地修正光照信息，实现对图像暗区域的增强，同时抑制亮区域过增强，并使用限制对比度自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）方法[25]调整图像的对比度；对于反射分量，使用GDGIF进行去噪，再使用多尺度细节提升图像纹理细节，避免增强过程中噪声放大。最后，将处理后的光照分量及反射分量融合，得到增强后的亮度通道图像，并计算增益系数，使用线性色彩恢复方法实现对原始RGB图像的逐像素增强，避免增强后的色彩失真，提高方法处理效率。
![]()
图 1 基于多尺度GDGIF的煤矿井下图像增强方法流程Figure 1. Flow of coal mine underground images enhancement method based on multi-scale gradient domain guided filtering (GDGIF)1.1 光照估计
本文将多尺度思想引入GDGIF来估计光照分量，能够在准确估计光照的同时，更好地提取图像细节。
Retinex理论[7]认为，图像可表示为光照分量和反射分量的乘积。
$$ L(x,y) = I(x,y) R(x,y) $$ (1) 式中：$ L(x,y) $为原始图像，本文用来表示亮度通道图像，$ (x,y) $为图像像素点坐标；$ I(x,y) $为光照分量；$ R(x,y) $为反射分量。
SSR，MSR等方法使用高斯滤波器来估计光照分量。
$$ I(x,y) = F(x,y) \otimes L(x,y) $$ (2) 式中：$ F(x,y) $为高斯滤波器；$ \otimes $为卷积运算。
这些方法在处理图像光照平滑区域时能达到很好的效果。然而，煤矿井下图像中存在较多光照不均匀区域，当使用高斯滤波器进行光照估计时，容易在光照突变的位置出现光晕伪影及模糊现象。
GDGIF在GIF的基础上添加了边缘感知约束；能有效抑制光照不均匀变化的影响，使光照突变位置的边缘完整地保留，从而准确估计光照。GDGIF认为引导图像与滤波处理后的图像存在局部线性关系。
$$ Z(x,y)=a_kG(x,y)+b_k\quad\forall(x,y)\in\varOmega_r(k) $$ (3) 式中：$ Z(x,y)$为滤波处理后的图像；$ {\varOmega _r}(k) $为一个以像素点$ k $为中心、$ r $为半径的方形邻域窗口；$ {a_k} $，$ {b_k} $为$ {\varOmega _r}(k) $的2个常量，通过最小化目标函数得到；$ G(x,y) $为引导图像。
GDGIF的目标函数为
$$ E = \sum\limits_{(x,y) \in {\varOmega _r}(k)} {\left[{{({a_k}G(x,y) + {b_k} - X(x,y))}^2} + \frac{\lambda }{{{\varGamma _{G{(k)}}}}}{{({a_k} - {\sigma _k})}^2}\right]} $$ (4) 式中：$ X(x,y) $为输入图像；$ \lambda $为正则化参数；$ {\varGamma _{G{(k)}}} $为引导图像以像素点$ k $为中心、2个不同大小窗口之间的边缘感知权重；$ {\sigma _k} $为边缘感知约束项。
$$ {\varGamma _{G{(k)}}} = \frac{1}{N}\sum\limits_{i = 1}^N {\frac{{\delta _{G(k)}^2 + \varepsilon }}{{\delta _{G(i)}^2 + \varepsilon }}} $$ (5) $$ {\sigma _k} = 1 - \frac{1}{{1 + \exp\left({\dfrac{{4 (\delta _{G(k)}^2 - \mu )}}{{\mu - \min \delta _{G(i)}^2}}}\right)}} $$ (6) 式中：$ N $为$ (2r + 1) \times (2r + 1) $窗口内的像素点个数；$ \delta _{G(k)}^2 $为引导图像以像素点$ k $为中心、$ 3 \times 3 $邻域窗口内的局部方差；$ \delta _{G(i)}^2 $为引导图像以像素点$ k $为中心、$ (2r + 1) \times (2r + 1) $窗口内第i个像素点与像素点k的方差；$ \varepsilon $为常数，$ \varepsilon $=$ {(0.001 H)^2} $，$ H $为亮度通道图像的灰度级范围；$ \mu $为$ \delta _{G(i)}^2 $的均值。
由式（3）−式（6）可知，如果像素点$ k $为边缘像素，$ {\sigma _k} $就接近于1，而$ {a_k} $也接近于1，此时边缘保持效果明显。因此，GDGIF能更好地保持边缘，避免模糊。
为更好地提取图像细节，本文结合MSR方法中的多尺度思想，首先按照图像大小自适应选取合适的大、中、小尺度，然后对不同尺度图像使用GDGIF进行光照估计，最后对每个尺度的光照分量进行加权平均，得到最终估计出的光照分量。
$$ I(x,y) = \sum\limits_{j = 1}^U {{\omega _j} {f_{\mathrm{g}}}(} X(x,y),G(x,y),{r_j}) $$ (7) 式中：$ U $为尺度个数；$ {\omega _j} $为不同尺度的加权系数；$ {f_{\mathrm{g}}}( \cdot ) $为GDGIF；$ {r_j} $为尺度参数。
在进行光照估计时，输入图像和引导图像均使用亮度通道图像$ L(x,y) $，$ U $取3，$ {\omega _j} $均取1/3。大、中、小不同尺度参数$ {r_j} $根据输入图像的尺寸$ (m,n) $自适应求取，考虑到图像尺寸$ m $和$ n $可能会相同，因此，将大尺度和小尺度以尺度数$ U $作为指数进行区分。
$$ {r_1} = \frac{{\min (m,n)}}{{{2^U}}} $$ (8) $$ {r_2} = \frac{{\max (m,n)}}{2} $$ (9) $$ {r_3} = \frac{{{r_1} + {r_2}}}{2} $$ (10) 1.2 亮度及对比度提升
在对光照分量进行调整时，为避免出现暗区域增强不足、亮区域增强过度的问题，本文设计了一种自适应伽马校正函数。根据图像中每个像素点的值计算不同的校正参数，对图像的亮度逐像素进行修正，实现亮暗区域不同程度的增强。对估计出的光照分量$ I(x,y) $进行亮度提升，得到校正后的光照分量$ {I_{\mathrm{g}}}(x,y) $。
$$ {I_{\text{g}}}(x,y) = I^\gamma {(x,y)} $$ (11) $$ \gamma=pI(x,y)+q $$ (12) 式中：$ \gamma $为校正参数，决定每个像素点亮度的增强幅度；$ p $，$ q $为常数，取值范围为0～1，实验表明$ p $=0.8，$ q $=0.4时亮度校正效果最佳。
自适应伽马校正结果如图2所示。可看出：当输入图像亮度非常小时，校正后图像暗区域的亮度提升非常明显；当输入图像亮度处于正常范围时，校正后图像亮度的提升幅度稍微减缓，亮度提升更加自然；当输入图像亮度非常大时，校正后图像亮度有所抑制，有效避免了图像亮区域的过增强现象，从而防止亮区域中的细节丢失。
校正后的光照分量$ {I_{\mathrm{g}}}(x,y) $虽然亮度有所改善，但对比度并没有得到有效提升，此时的图像整体偏灰或偏白，图像中的部分细节信息并不能完全呈现。因此，对校正后的光照分量$ {I_{\mathrm{g}}} (x,y)$采用CLAHE方法来提升对比度，从而获得对比度提升后的光照分量$ {I_{{\mathrm{adjust}}}} (x,y)$。
$$ {I_{{\mathrm{adjust}}}}(x,y) = {f_{\mathrm{c}}}({I_{\mathrm{g}}}(x,y)) $$ (13) 式中$ {f_{\mathrm{c}}}( \cdot ) $为CLAHE操作。
1.3 去噪及细节提升
为避免增强后的图像出现噪声放大问题，本文使用GDGIF对反射分量进行噪声滤除，之后采用多尺度局部细节提升方法[26]对滤除噪声后的反射分量进行细节提升。滤除噪声后的反射分量为
$$ {R_{{\mathrm{denoise}}}}(x,y) = {f_{\mathrm{g}}}(R(x,y)) = {f_{\mathrm{g}}}\left(\frac{{L(x,y)}}{{I(x,y)}}\right) $$ (14) 1.4 线性色彩恢复
在图像输出之前，需要将图像重新转换为RGB色彩模式。若直接将融合后的图像从HSI转换为RGB图像，时间复杂度较高。本文根据增强后的亮度通道图像计算增益系数，再采用线性方法将其作用至原始RGB图像，得到增强后的图像，从而提高处理效率。
将亮度、对比度提升后的光照分量$ {I_{{\mathrm{adjust}}}} (x,y)$和去噪、细节提升后的反射分量$ {R_{{\mathrm{adjust}}}}(x,y) $融合，即可得到增强后的亮度通道图像$ L{}_{{\mathrm{enhance}}} (x,y)$。
$$ {L_{{\mathrm{enhance}}}}(x,y) = {I_{{\mathrm{adjust}}}}(x,y) {R_{{\mathrm{adjust}}}}(x,y) $$ (15) $ (x,y) $处的亮度增益系数为
$$ \zeta (x,y) = \frac{{{L_{{\mathrm{enhance}}}}(x,y)}}{{L(x,y)}} $$ (16) 图像色彩恢复计算表达式为
$$ \left\{ \begin{array}{l} {S _{{\mathrm{red\_new}}}} = \zeta (x,y) S _{\mathrm{red}} \\ {S _{{\mathrm{green\_new}}}} = \zeta (x,y) S _{\mathrm{green}} \\ {S _{{\mathrm{blue\_new}}}} = \zeta (x,y) S _{\mathrm{blue}} \end{array} \right. $$ (17) 式中：$ {S _{{\mathrm{red\_new}}}},{S _{{\mathrm{green\_new}}}},{S _{{\mathrm{blue\_new}}}} $为增强后的彩色图像的各个通道；$ S _{\mathrm{red}},S _{\mathrm{green}},S _{\mathrm{blue}} $为原始彩色图像的各个通道。
2. 实验验证
2.1 数据集和实验环境
实验所用数据集主要采集于陕西陕煤黄陵矿业有限公司一号煤矿、建庄煤矿和陕西小保当煤矿，部分图像来源于网络。所有图像均为煤矿井下真实工作场景图，包括光照不足、光照不均匀和含有噪声的彩色图像。将本文方法与MSR方法、MSRCR方法、NPE方法[27]、文献[13]方法、SRLIE方法[28]和文献[16]方法等进行对比实验。
实验环境：Intel Core i7 CPU@1.8 GHz，内存为8 GiB，Windows10 64位操作系统，Matlab R2018b实验平台。
2.2 主观评价
不同方法对光照不足、光照不均匀及含有噪声的彩色图像的增强结果如图3−图5所示，图像红框处细节对比如图6所示。
从图3—图5可看出，MSR方法增强后的图像整体偏白，且有过增强的现象。MSRCR方法增强后的图像对比度较低，整体偏灰，部分细节信息丢失，且色彩不够自然。
从图3和图4可看出，NPE方法增强后的部分图像色彩过于鲜明（如场景3），且噪声被放大，导致部分细节信息丢失（如场景2中的履带及场景4）。文献[13]方法增强后的图像亮度在较亮区域得到了较好的抑制，但暗区域亮度提升仍较小（如场景1和场景5）。SRLIE方法增强后的图像色彩自然，但在一定程度上放大了图像中的噪声（如场景6），且在光照部分存在明显的光晕（如场景5）。文献[16]方法增强后的图像色彩自然，但在部分图像中出现光晕伪影的现象（如场景4中的灯光），且在对光照不足图像进行增强时暗区域亮度提升较小，不能较好地展示图像中的细节。本文方法增强后的图像暗区域得到了较好的提升，抑制了较亮区域的亮度，且没有出现噪声放大的现象，图像中的细节也很好地展示出来。
从图6可看出，在对有噪声图像进行增强时，本文方法相比其他方法对噪声的抑制效果最好，清晰地展示了设备细节。
综上，本文方法较好地提升了图像的亮度和对比度，在增强图像暗区域的同时，有效抑制了亮区域过增强，并较好地保持了图像细节，噪声未被明显放大；增强后的图像颜色更加鲜艳、自然，在有局部光照时，能有效避免出现光晕现象。
2.3 客观评价
为客观评价本文方法及对比方法的增强效果，本文使用熵、对比度变化率、色调变化率、能量梯度、方差及自相关函数6个客观评价指标，从不同角度衡量增强图像的质量。熵反映图像中信息的丰富程度，其值越大，表示信息越丰富；对比度变化率用来衡量图像中最亮像素值与最暗像素值之间的差别，其值越大，表示图像的对比度越高；色调变化率用来衡量图像处理前后色彩的变换程度，其值越小，表示图像的色彩保真效果越好；能量梯度反映图像的清晰度，其值越大，表示图像清晰度越高；方差表示图像灰度分布的离散程度，其值越大，表示图像中灰度级越分散，图像质量越好；自相关函数反映2个像素点间的相关性，像素点之间相关程度越高，则图像的边缘越清晰。
不同环境下图像增强后的客观指标见表1−表3。其中，粗体表示每项指标的最优值。
表 1 光照不足图像增强后的客观指标对比Table 1. Comparison of objective indicators of insufficient lighting images after enhancement图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景1 原图 3.7006 − − 0.0285 0.0651 0.0550 MSR方法 5.8865 24.8618 0.0281 4.0457 1.6612 1.5083 MSRCR方法 6.5680 8.7692 1.1135 3.1408 0.6210 0.4817 NPE方法 6.0668 32.4399 0.0578 7.3827 2.3033 2.0880 文献[13]方法 5.3232 11.7606 0.0025 3.7495 0.8331 0.6932 SRLIE方法 6.3004 7.1466 0.0819 0.6554 0.5423 0.4789 文献[16]方法 5.4670 9.4856 0.0071 3.3099 0.6775 0.5279 本文方法 6.0595 27.1673 0.0170 18.4625 1.8830 1.6420 场景2 原图 2.2705 − − 0.0142 0.0419 0.0395 MSR方法 4.6642 36.6351 0.1440 3.4645 1.5758 1.4915 MSRCR方法 6.8957 29.4952 1.0857 9.3618 1.2672 1.0972 NPE方法 4.5409 72.8817 0.0742 12.4535 3.1708 3.0054 文献[13]方法 3.7798 20.1045 0.0607 4.3327 0.8909 0.8446 SRLIE方法 5.5819 8.8160 0.0736 0.4410 0.4157 0.4010 文献[16]方法 3.9513 9.7210 0.0700 2.2207 0.4481 0.4014 本文方法 4.4048 38.0720 0.0988 14.9444 1.6573 1.5196 场景3 原图 6.1595 − − 0.6860 0.2941 0.2667 MSR方法 7.3049 0.6172 0.0230 3.7913 0.5044 0.4251 MSRCR方法 7.4457 1.4760 0.4080 6.6102 0.7489 0.6135 NPE方法 7.4347 0.8684 0.0052 2.9075 0.5706 0.4758 文献[13]方法 6.9556 1.0378 0.0267 3.3654 0.6071 0.5372 SRLIE方法 7.2143 0.7327 0.0013 6.0787 0.5241 0.4243 文献[16]方法 7.2542 0.9368 0.0069 5.8487 0.5859 0.4777 本文方法 7.5721 2.1572 0.0060 15.1204 0.9552 0.7847 表 2 光照不均匀图像增强后的客观指标对比Table 2. Comparison of objective indicators of uneven lighting images after enhancement图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景4 原图 6.3582 − − 0.1057 0.7753 0.7626 MSR方法 6.8935 −0.3635 0.1976 0.0276 0.4907 0.4531 MSRCR方法 7.2880 0.7271 0.4387 0.9089 1.3167 1.2255 NPE方法 7.1122 −0.0713 0.1279 0.2362 0.7256 0.6748 文献[13]方法 6.8919 0.4901 0.0815 0.2372 1.1574 1.1317 SRLIE方法 6.9172 0.0049 0.1109 0.4741 0.7981 0.7585 文献[16]方法 7.0076 0.1236 0.1041 0.4953 0.8753 0.8257 本文方法 7.3756 0.7282 0.1104 0.1477 1.3624 1.2867 场景5 原图 6.8731 − − 4.1316 2.0520 1.9688 MSR方法 7.4342 −0.2985 0.0049 6.9938 2.0619 1.9503 MSRCR方法 7.5521 −0.3144 0.3124 13.6200 1.4388 1.2524 NPE方法 7.3378 −0.3520 0.0035 3.6159 1.5882 1.4974 文献[13]方法 7.1349 −0.0272 0.0032 5.4609 2.0646 1.9621 SRLIE方法 7.4616 −0.2029 0.0041 14.7030 2.0804 1.8946 文献[16]方法 7.3964 0.0362 0.0057 11.6369 2.3043 2.2220 本文方法 7.6240 −0.0095 0.0053 21.2435 2.3077 2.0989 场景6 原图 6.9058 − − 2.1236 1.2952 1.1667 MSR方法 7.3849 −0.2688 0.0278 4.2159 0.9806 0.8356 MSRCR方法 7.5106 0.1842 0.0590 5.6076 1.4880 1.4880 NPE方法 7.5147 −0.0426 0.0021 2.9998 1.2639 1.1009 文献[13]方法 7.2822 0.4765 0.0146 3.8806 1.9159 1.7521 SRLIE方法 7.5766 0.1840 0.0182 15.0448 1.5822 1.2868 文献[16]方法 7.6350 0.3503 0.0071 9.6458 1.7720 1.4997 本文方法 7.6898 0.6975 0.0046 15.1745 2.2122 1.9108 表 3 有噪声图像增强后的客观指标对比Table 3. Comparison of objective indicators of noisy images after enhancement图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景7 原图 7.4796 − − 1.1089 1.9205 1.8342 MSR方法 6.7098 −0.6366 0.1581 0.9117 0.6847 0.5985 MSRCR方法 7.5967 0.1879 0.3258 12.7740 2.3104 2.0120 NPE方法 7.3893 −0.2476 0.0021 1.2927 1.4258 1.3161 文献[13]方法 7.5420 0.0686 0.0032 1.3811 2.0567 1.9576 SRLIE方法 7.4700 −0.1171 0.0010 6.5847 1.6743 1.4649 文献[16]方法 7.5153 −0.0468 0.0022 4.8278 1.8161 1.6207 本文方法 7.6492 0.0988 0.0008 8.1902 2.1155 1.8958 场景8 原图 7.5702 − − 0.8719 0.5965 0.6024 MSR方法 7.2635 −0.4969 0.0956 2.1923 0.3936 0.3317 MSRCR方法 7.6873 −0.2781 0.7638 7.3505 0.5826 0.4513 NPE方法 7.5994 −0.2304 0.0268 1.2377 0.6167 0.5484 文献[13]方法 7.6109 −0.0994 0.0616 1.1409 0.7187 0.6616 SRLIE方法 7.7672 −0.0684 0.0135 6.7768 0.7477 0.6147 文献[16]方法 7.7835 −0.0220 0.0134 4.4739 0.7822 0.6681 本文方法 7.8190 0.0970 0.0062 9.6410 0.8761 0.7370 从表1−表3可看出，MSRCR方法处理后的图像色调变化率指标最差，表明该方法增强后的图像出现了较为严重的色彩偏差；NPE方法在处理场景1和场景2时大部分评价指标比本文方法好，但在处理场景4−场景8图像时，本文方法的评价指标均比NPE方法好，这是由于NPE方法在处理光照极度不足的图像时，提升了图像整体的亮度，并没有对暗区域及亮区域做出不同程度的增强；本文方法处理后的大部分图像的熵、方差、自相关函数、对比度变化率及能量梯度是最优或接近最优，说明本文方法处理后的图像在显著提高对比度和清晰度的同时，保留了丰富的细节信息，且图像的边缘保持较好。
各种方法对不同环境下图像进行5次处理的平均时间见表4。可看出本文方法的处理时间略大于MSR方法、文献[13]方法和文献[16]方法，但明显小于NPE方法和SRLIE方法。
表 4 不同方法处理图像的平均时间对比Table 4. Comparison of average time of images processed by different methodss 2.4 综合评价
结合主观分析和客观分析，MSR方法、MSRCR方法增强后的图像整体偏白或偏灰，且出现色彩失真的现象；NPE方法、SRLIE方法、文献[13]方法增强效果相对较好，但NPE方法、SRLIE方法复杂度较高，相对于本文方法处理效率低；文献[13]方法增强后的图像存在暗区域亮度增强不足的问题；文献[16]方法相比于NPE方法、SRLIE方法，增强效果相对较好，但增强后的图像存在光晕伪影、细节模糊问题；虽然本文方法相对于MSR方法、文献[13]方法、文献[16]方法的处理时间长，但总体相差较小，且本文方法能在细节保持、色彩保持、清晰度、噪声抑制等方面达到更佳的效果。
综上，本文方法处理后的图像亮度和对比度提升比例适中，色调保持性好，有效抑制了噪声；同时细节对比明显，图像清晰，整体视觉观感更佳，且处理效率相对较高。
2.5 消融实验
2.5.1 光照分量处理有效性验证
为验证对光照分量进行亮度及对比度提升处理的有效性，进行消融实验，结果如图7所示，评价指标见表5。可看出在图像红框处，仅使用自适应伽马校正的图像亮度有明显提升，但图像边缘没有较好地展示出来；仅使用CLAHE的图像边缘清晰，对比度较高，但图像整体亮度提升较低；同时使用自适应伽马校正及CLAHE的图像细节更清晰，色彩更明亮，且综合客观评价指标较好。
2.5.2 反射分量处理有效性验证
为验证对反射分量进行去噪和细节提升处理的有效性，进行消融实验，结果如图8所示，评价指标见表6。可看出原图采煤机处存在大量噪声，同时部分细节不清晰；仅使用GDGIF进行去噪后的图像中噪声被明显滤除，但图像并不清晰；仅细节提升后的图像细节层次非常丰富，但图像中的噪声被明显放大；同时使用GDGIF和多尺度细节提升处理后的图像在滤除噪声的同时，细节仍清晰可见，图像整体观感更佳。
![]()
图 7 光照分量处理结果主观对比Figure 7. Subjective comparison of lighting component processing results表 5 光照分量处理结果客观对比Table 5. Objective comparison of lighting component processing results方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 原图 7.3510 − − 1.4961 1.5800 1.4998 仅使用自适应伽马校正 7.7851 0.3955 0.0069 6.8291 2.2033 2.0339 仅使用CLAHE 7.5874 1.4987 0.0076 13.4309 3.2212 3.6376 自适应伽马校正+CLAHE 7.8128 1.3546 0.0084 14.7554 3.3903 3.1379 ![]()
图 8 反射分量处理结果主观对比Figure 8. Subjective comparison of reflection component processing results表 6 反射分量处理结果客观对比Table 6. Objective comparison of reflection component processing results方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 原图 7.4236 − − 1.0021 0.6663 0.6130 仅使用GDGIF去噪 7.6786 0.3246 0.0166 3.6185 0.8806 0.7758 仅使用多尺度细节提升 7.7891 0.6205 0.0181 12.0516 1.0743 0.8447 GDGIF去噪+多尺度细节提升 7.7903 0.6280 0.0154 10.8591 1.0949 0.8569 2.5.3 线性色彩恢复有效性验证
为验证线性色彩恢复对提高方法处理效率的有效性，使用场景1−场景8的图像进行消融实验，采用线性色彩恢复前后的运行时间对比如图9所示。可看出采用线性色彩恢复的处理效率更高。
![]()
图 9 采用线性色彩恢复前后运行时间对比Figure 9. Comparison of running time before and after linear color restoration3. 结论
1） 提出了一种基于多尺度GDGIF的煤矿井下图像增强方法。GDGIF具有各向异性特性及边缘感知约束，结合多尺度思想，可准确估计光照分量；使用自适应伽马校正对光照分量逐像素进行不同程度的亮度提升；对反射分量进行GDGIF去噪及多尺度细节提升。
2） 在真实煤矿井下图像上进行实验，该方法在色彩保持、对比度、细节、噪声抑制等方面均获得了较好的增强效果，且处理效率较高。
-
![]()
图 1 基于多尺度GDGIF的煤矿井下图像增强方法流程
Figure 1. Flow of coal mine underground images enhancement method based on multi-scale gradient domain guided filtering (GDGIF)
![]()
图 7 光照分量处理结果主观对比
Figure 7. Subjective comparison of lighting component processing results
![]()
图 8 反射分量处理结果主观对比
Figure 8. Subjective comparison of reflection component processing results
![]()
图 9 采用线性色彩恢复前后运行时间对比
Figure 9. Comparison of running time before and after linear color restoration
表 1 光照不足图像增强后的客观指标对比
Table 1 Comparison of objective indicators of insufficient lighting images after enhancement
图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景1 原图 3.7006 − − 0.0285 0.0651 0.0550 MSR方法 5.8865 24.8618 0.0281 4.0457 1.6612 1.5083 MSRCR方法 6.5680 8.7692 1.1135 3.1408 0.6210 0.4817 NPE方法 6.0668 32.4399 0.0578 7.3827 2.3033 2.0880 文献[13]方法 5.3232 11.7606 0.0025 3.7495 0.8331 0.6932 SRLIE方法 6.3004 7.1466 0.0819 0.6554 0.5423 0.4789 文献[16]方法 5.4670 9.4856 0.0071 3.3099 0.6775 0.5279 本文方法 6.0595 27.1673 0.0170 18.4625 1.8830 1.6420 场景2 原图 2.2705 − − 0.0142 0.0419 0.0395 MSR方法 4.6642 36.6351 0.1440 3.4645 1.5758 1.4915 MSRCR方法 6.8957 29.4952 1.0857 9.3618 1.2672 1.0972 NPE方法 4.5409 72.8817 0.0742 12.4535 3.1708 3.0054 文献[13]方法 3.7798 20.1045 0.0607 4.3327 0.8909 0.8446 SRLIE方法 5.5819 8.8160 0.0736 0.4410 0.4157 0.4010 文献[16]方法 3.9513 9.7210 0.0700 2.2207 0.4481 0.4014 本文方法 4.4048 38.0720 0.0988 14.9444 1.6573 1.5196 场景3 原图 6.1595 − − 0.6860 0.2941 0.2667 MSR方法 7.3049 0.6172 0.0230 3.7913 0.5044 0.4251 MSRCR方法 7.4457 1.4760 0.4080 6.6102 0.7489 0.6135 NPE方法 7.4347 0.8684 0.0052 2.9075 0.5706 0.4758 文献[13]方法 6.9556 1.0378 0.0267 3.3654 0.6071 0.5372 SRLIE方法 7.2143 0.7327 0.0013 6.0787 0.5241 0.4243 文献[16]方法 7.2542 0.9368 0.0069 5.8487 0.5859 0.4777 本文方法 7.5721 2.1572 0.0060 15.1204 0.9552 0.7847 
下载: 导出CSV
表 2 光照不均匀图像增强后的客观指标对比
Table 2 Comparison of objective indicators of uneven lighting images after enhancement
图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景4 原图 6.3582 − − 0.1057 0.7753 0.7626 MSR方法 6.8935 −0.3635 0.1976 0.0276 0.4907 0.4531 MSRCR方法 7.2880 0.7271 0.4387 0.9089 1.3167 1.2255 NPE方法 7.1122 −0.0713 0.1279 0.2362 0.7256 0.6748 文献[13]方法 6.8919 0.4901 0.0815 0.2372 1.1574 1.1317 SRLIE方法 6.9172 0.0049 0.1109 0.4741 0.7981 0.7585 文献[16]方法 7.0076 0.1236 0.1041 0.4953 0.8753 0.8257 本文方法 7.3756 0.7282 0.1104 0.1477 1.3624 1.2867 场景5 原图 6.8731 − − 4.1316 2.0520 1.9688 MSR方法 7.4342 −0.2985 0.0049 6.9938 2.0619 1.9503 MSRCR方法 7.5521 −0.3144 0.3124 13.6200 1.4388 1.2524 NPE方法 7.3378 −0.3520 0.0035 3.6159 1.5882 1.4974 文献[13]方法 7.1349 −0.0272 0.0032 5.4609 2.0646 1.9621 SRLIE方法 7.4616 −0.2029 0.0041 14.7030 2.0804 1.8946 文献[16]方法 7.3964 0.0362 0.0057 11.6369 2.3043 2.2220 本文方法 7.6240 −0.0095 0.0053 21.2435 2.3077 2.0989 场景6 原图 6.9058 − − 2.1236 1.2952 1.1667 MSR方法 7.3849 −0.2688 0.0278 4.2159 0.9806 0.8356 MSRCR方法 7.5106 0.1842 0.0590 5.6076 1.4880 1.4880 NPE方法 7.5147 −0.0426 0.0021 2.9998 1.2639 1.1009 文献[13]方法 7.2822 0.4765 0.0146 3.8806 1.9159 1.7521 SRLIE方法 7.5766 0.1840 0.0182 15.0448 1.5822 1.2868 文献[16]方法 7.6350 0.3503 0.0071 9.6458 1.7720 1.4997 本文方法 7.6898 0.6975 0.0046 15.1745 2.2122 1.9108
下载: 导出CSV
表 3 有噪声图像增强后的客观指标对比
Table 3 Comparison of objective indicators of noisy images after enhancement
图像 方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 场景7 原图 7.4796 − − 1.1089 1.9205 1.8342 MSR方法 6.7098 −0.6366 0.1581 0.9117 0.6847 0.5985 MSRCR方法 7.5967 0.1879 0.3258 12.7740 2.3104 2.0120 NPE方法 7.3893 −0.2476 0.0021 1.2927 1.4258 1.3161 文献[13]方法 7.5420 0.0686 0.0032 1.3811 2.0567 1.9576 SRLIE方法 7.4700 −0.1171 0.0010 6.5847 1.6743 1.4649 文献[16]方法 7.5153 −0.0468 0.0022 4.8278 1.8161 1.6207 本文方法 7.6492 0.0988 0.0008 8.1902 2.1155 1.8958 场景8 原图 7.5702 − − 0.8719 0.5965 0.6024 MSR方法 7.2635 −0.4969 0.0956 2.1923 0.3936 0.3317 MSRCR方法 7.6873 −0.2781 0.7638 7.3505 0.5826 0.4513 NPE方法 7.5994 −0.2304 0.0268 1.2377 0.6167 0.5484 文献[13]方法 7.6109 −0.0994 0.0616 1.1409 0.7187 0.6616 SRLIE方法 7.7672 −0.0684 0.0135 6.7768 0.7477 0.6147 文献[16]方法 7.7835 −0.0220 0.0134 4.4739 0.7822 0.6681 本文方法 7.8190 0.0970 0.0062 9.6410 0.8761 0.7370
下载: 导出CSV
表 4 不同方法处理图像的平均时间对比
Table 4 Comparison of average time of images processed by different methods
s
下载: 导出CSV
表 5 光照分量处理结果客观对比
Table 5 Objective comparison of lighting component processing results
方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 原图 7.3510 − − 1.4961 1.5800 1.4998 仅使用自适应伽马校正 7.7851 0.3955 0.0069 6.8291 2.2033 2.0339 仅使用CLAHE 7.5874 1.4987 0.0076 13.4309 3.2212 3.6376 自适应伽马校正+CLAHE 7.8128 1.3546 0.0084 14.7554 3.3903 3.1379
下载: 导出CSV
表 6 反射分量处理结果客观对比
Table 6 Objective comparison of reflection component processing results
方法 熵 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109 原图 7.4236 − − 1.0021 0.6663 0.6130 仅使用GDGIF去噪 7.6786 0.3246 0.0166 3.6185 0.8806 0.7758 仅使用多尺度细节提升 7.7891 0.6205 0.0181 12.0516 1.0743 0.8447 GDGIF去噪+多尺度细节提升 7.7903 0.6280 0.0154 10.8591 1.0949 0.8569
下载: 导出CSV
-
[1] 王国法,刘峰,庞义辉,等. 煤矿智能化——煤炭工业高质量发展的核心技术支撑[J]. 煤炭学报,2019,44(2):349-357. WANG Guofa,LIU Feng,PANG Yihui,et al. Coal mine intellectualization:the core technology of high quality development[J]. Journal of China Coal Society,2019,44(2):349-357.
[2] 张立亚,郝博南,孟庆勇,等. 基于HSV空间改进融合Retinex算法的井下图像增强方法[J]. 煤炭学报,2020,45(增刊1):532-540. ZHANG Liya,HAO Bonan,MENG Qingyong,et al. Method of image enhancement in coal mine based on improved retex fusion algorithm in HSV space[J]. Journal of China Coal Society,2020,45(S1):532-540.
[3] 程德强,钱建生,郭星歌,等. 煤矿安全生产视频AI识别关键技术研究综述[J]. 煤炭科学技术,2023,51(2):349-365. CHENG Deqiang,QIAN Jiansheng,GUO Xingge,et al. Review on key technologies of AI recognition for videos in coal mine[J]. Coal Science and Technology,2023,51(2):349-365.
[4] 张谢华,张申,方帅,等. 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报,2014,39(1):198-204. ZHANG Xiehua,ZHANG Shen,FANG Shuai,et al. Clearing research on fog and dust images in coalmine intelligent video surveillance[J]. Journal of China Coal Society,2014,39(1):198-204.
[5] 王国法,张良,李首滨,等. 煤矿无人化智能开采系统理论与技术研发进展[J]. 煤炭学报,2023,48(1):34-53. WANG Guofa,ZHANG Liang,LI Shoubin,et al. Progresses in theory and technological development of unmanned smart mining system[J]. Journal of China Coal Society,2023,48(1):34-53.
[6] LI Chongyi,GUO Chunle,HAN Linghao,et al. Lighting the darkness in the deep learning era[Z]. 2021. DOI: 10.48550/arXiv.2104.10729.
[7] 王焱,关南楠,刘海涛. 改进的多尺度Retinex井下图像增强算法[J]. 辽宁工程技术大学学报(自然科学版),2016,35(4):440-443. DOI: 10.11956/j.issn.1008-0562.2016.04.020 WANG Yan,GUAN Nannan,LIU Haitao. An improved multi-scale Retinex algorithm for mine image enhancement[J]. Journal of Liaoning Technical University(Natural Science),2016,35(4):440-443. DOI: 10.11956/j.issn.1008-0562.2016.04.020
[8] 甘建旺. 矿井图像的去噪与增强算法研究[D]. 北京:北京石油化工学院,2021. GAN Jianwang. Research on denoising and enhancement algorithm of mine image[D]. Beijing:Beijing Institute of Petrochemical Technology,2021.
[9] JOBSON D J,RAHMAN Z,WOODELL G A. Properties and performance of a center/surround Retinex[J]. IEEE Transactions on Image Processing,1997,6(3):451-462. DOI: 10.1109/83.557356
[10] JOBSON D J,RAHMAN Z. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing,1997,6(7):965-976. DOI: 10.1109/83.597272
[11] RAHMAN Z,JOBSON D,WOODELL G A. Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging,2004,13(1):100-110. DOI: 10.1117/1.1636183
[12] 程德强,郑珍,姜海龙. 一种煤矿井下图像增强算法[J]. 工矿自动化,2015,41(12):31-34. CHENG Deqiang,ZHENG Zhen,JIANG Hailong. An image enhancement algorithm for coal mine underground[J]. Industry and Mine Automation,2015,41(12):31-34.
[13] 智宁,毛善君,李梅. 基于双伽马函数的煤矿井下低亮度图像增强算法[J]. 辽宁工程技术大学学报(自然科学版),2018,37(1):191-197. DOI: 10.11956/j.issn.1008-0562.2018.01.034 ZHI Ning,MAO Shanjun,LI Mei. An enhancement algorithm for coal mine low illumination images based on bi-gamma function[J]. Journal of Liaoning Technical University(Natural Science),2018,37(1):191-197. DOI: 10.11956/j.issn.1008-0562.2018.01.034
[14] HE Kaiming,SUN Jian,TANG Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,35(6):1397-1409.
[15] 王星,白尚旺,潘理虎,等. 一种矿井图像增强算法[J]. 工矿自动化,2017,43(3):48-52. WANG Xing,BAI Shangwang,PAN Lihu,et al. A mine image enhancement algorithm[J]. Industry and Mine Automation,2017,43(3):48-52.
[16] 洪炎,朱丹萍,龚平顺. 基于TopHat加权引导滤波的Retinex矿井图像增强算法[J]. 工矿自动化,2022,48(8):43-49. HONG Yan,ZHU Danping,GONG Pingshun. Retinex mine image enhancement algorithm based on TopHat weighted guided filtering[J]. Journal of Mine Automation,2022,48(8):43-49.
[17] 苏波,李超,王莉. 基于多权重融合策略的Retinex矿井图像增强算法[J]. 煤炭学报,2023,48(增刊2):813-822. SU Bo,LI Chao,WANG Li. Mine image enhancement algorithm based on Retinex using multi-weight fusion strategy[J]. Journal of China Coal Society,2023,48(S2):813-822.
[18] KOU Fei,CHEN Weihai,WEN Changyun,et al. Gradient domain guided image filtering[J]. IEEE Transactions on Image Processing,2015,24(11):4528-4539. DOI: 10.1109/TIP.2015.2468183
[19] 马龙,马腾宇,刘日升. 低光照图像增强算法综述[J]. 中国图象图形学报,2022,27(5):1392-1409. DOI: 10.11834/jig.210852 MA Long,MA Tengyu,LIU Risheng. The review of low-light image enhancement[J]. Journal of Image and Graphics,2022,27(5):1392-1409. DOI: 10.11834/jig.210852
[20] WEI Chen,WANG Wenjing,YANG Wenhan,et al. Deep Retinex decomposition for low-light enhancement[Z]. 2018. DOI: 10.48550/arXiv.1808.04560.
[21] ZHANG Yonghua,ZHANG Jiawan,GUO Xiaojie. Kindling the darkness:a practical low-light image enhancer[C]. The 27th ACM International Conference on Multimedia,Nice,2019:1632-1640.
[22] JIANG He,CAI Huangkai,YANG Jie. Learning in-place residual homogeneity for image detail enhancement[C]. IEEE International Conference on Acoustics,Speech and Signal Processing,Calgary,2018:1428-1432.
[23] JIANG He,ASAD M,LIU Jingjing,et al. Single image detail enhancement via metropolis theorem[J]. Multimedia Tools and Applications,2024,83(12):36329-36353.
[24] WANG Liwen,LIU Zhisong,SIU W C,et al. Lightening network for low-light image enhancement[J]. IEEE Transactions on Image Processing,2020,29:7984-7996. DOI: 10.1109/TIP.2020.3008396
[25] ZUIDERVELD K. Contrast limited adaptive histogram equalization[J]. Graphics Gems,1994,5:474-485.
[26] KIM Y,KOH Y,LEE C,et al. Dark image enhancement based on pairwise target contrast and multi-scale detail boosting[C]. IEEE International Conference on Image Processing,Quebec City,2015:1404-1408.
[27] WANG Shuhang,ZHENG Jin,HU Haimiao,et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing,2013,22(9):3538-3548. DOI: 10.1109/TIP.2013.2261309
[28] LI Mading,LIU Jiaying,YANG Wenhan,et al. Structure-revealing low-light image enhancement via robust Retinex model[J]. IEEE Transactions on Image Processing,2018,27(6):2828-2841. DOI: 10.1109/TIP.2018.2810539
计量
- 文章访问数: 126
- HTML全文浏览量: 30
- PDF下载量: 22
