留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多尺度梯度域引导滤波的煤矿井下图像增强方法

牟琦 葛相甫 王新月 李磊 李占利

牟琦,葛相甫,王新月,等. 基于多尺度梯度域引导滤波的煤矿井下图像增强方法[J]. 工矿自动化,2024,50(6):79-88, 111.  doi: 10.13272/j.issn.1671-251x.2023080126
引用本文: 牟琦,葛相甫,王新月,等. 基于多尺度梯度域引导滤波的煤矿井下图像增强方法[J]. 工矿自动化,2024,50(6):79-88, 111.  doi: 10.13272/j.issn.1671-251x.2023080126
MU Qi, GE Xiangfu, WANG Xinyue, et al. A coal mine underground image enhancement method based on multi-scale gradient domain guided image filtering[J]. Journal of Mine Automation,2024,50(6):79-88, 111.  doi: 10.13272/j.issn.1671-251x.2023080126
Citation: MU Qi, GE Xiangfu, WANG Xinyue, et al. A coal mine underground image enhancement method based on multi-scale gradient domain guided image filtering[J]. Journal of Mine Automation,2024,50(6):79-88, 111.  doi: 10.13272/j.issn.1671-251x.2023080126

基于多尺度梯度域引导滤波的煤矿井下图像增强方法

doi: 10.13272/j.issn.1671-251x.2023080126
基金项目: 国家重点研发计划资助项目(2022YFB3304401)。
详细信息
    作者简介:

    牟琦(1974—),女,陕西西安人,副教授,博士,研究方向为计算机视觉和图像处理、人工智能,E-mail:muqi@xust.edu.cn

  • 中图分类号: TD67

A coal mine underground image enhancement method based on multi-scale gradient domain guided image filtering

  • 摘要: 煤矿井下图像存在较严重的光照不均匀和噪声干扰,现有基于Retinex的方法直接应用于煤矿井下图像增强易出现光晕伪影、边缘模糊、过增强和噪声放大等问题。针对上述问题,提出了一种基于多尺度梯度域引导滤波的煤矿井下图像增强方法。首先,将多尺度思想引入梯度域引导滤波中,实现对非均匀光照的准确估计,有效解决了增强图像时光晕伪影及边缘模糊的问题。然后,利用Retinex模型分离出光照分量和反射分量:对于光照分量,通过自适应伽马校正函数逐像素地修正光照信息,实现对图像暗区域增强的同时,抑制亮区域过增强,并使用限制对比度自适应直方图均衡化方法调整图像对比度;对于反射分量,将梯度域引导滤波与多尺度细节提升相结合,在准确去除噪声后提升纹理细节,避免了增强图像时噪声放大的问题。最后,将处理后的光照分量及反射分量融合,计算图像增益系数,并使用线性色彩恢复方法实现对原始RGB图像的逐像素增强,提升方法处理效率。实验结果表明,从主客观角度与现有方法相比,经所提方法处理后的图像在色彩保持、对比度、噪声抑制、细节保留等方面均取得了较好的增强效果,同时处理效率较高。

     

  • 图  1  基于多尺度GDGIF的煤矿井下图像增强方法流程

    Figure  1.  Flow of coal mine underground images enhancement method based on multi-scale gradient domain guided filtering (GDGIF)

    图  2  自适应伽马校正结果

    Figure  2.  Adaptive gamma correction results

    图  3  光照不足图像增强结果

    Figure  3.  Enhancement results of insufficient lighting images

    图  4  光照不均匀图像增强结果

    Figure  4.  Enhancement results of uneven lighting images

    图  5  有噪声图像增强结果

    Figure  5.  Enhancement results of noisy images

    图  6  图像增强细节对比

    Figure  6.  Image enhancement detail contrast

    图  7  光照分量处理结果主观对比

    Figure  7.  Subjective comparison of lighting component processing results

    图  8  反射分量处理结果主观对比

    Figure  8.  Subjective comparison of reflection component processing results

    图  9  采用线性色彩恢复前后运行时间对比

    Figure  9.  Comparison of running time before and after linear color restoration

    表  1  光照不足图像增强后的客观指标对比

    Table  1.   Comparison of objective indicators of insufficient lighting images after enhancement

    图像 方法 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109
    场景1 原图 3.7006 0.0285 0.0651 0.0550
    MSR方法 5.8865 24.8618 0.0281 4.0457 1.6612 1.5083
    MSRCR方法 6.5680 8.7692 1.1135 3.1408 0.6210 0.4817
    NPE方法 6.0668 32.4399 0.0578 7.3827 2.3033 2.0880
    文献[13]方法 5.3232 11.7606 0.0025 3.7495 0.8331 0.6932
    SRLIE方法 6.3004 7.1466 0.0819 0.6554 0.5423 0.4789
    文献[16]方法 5.4670 9.4856 0.0071 3.3099 0.6775 0.5279
    本文方法 6.0595 27.1673 0.0170 18.4625 1.8830 1.6420
    场景2 原图 2.2705 0.0142 0.0419 0.0395
    MSR方法 4.6642 36.6351 0.1440 3.4645 1.5758 1.4915
    MSRCR方法 6.8957 29.4952 1.0857 9.3618 1.2672 1.0972
    NPE方法 4.5409 72.8817 0.0742 12.4535 3.1708 3.0054
    文献[13]方法 3.7798 20.1045 0.0607 4.3327 0.8909 0.8446
    SRLIE方法 5.5819 8.8160 0.0736 0.4410 0.4157 0.4010
    文献[16]方法 3.9513 9.7210 0.0700 2.2207 0.4481 0.4014
    本文方法 4.4048 38.0720 0.0988 14.9444 1.6573 1.5196
    场景3 原图 6.1595 0.6860 0.2941 0.2667
    MSR方法 7.3049 0.6172 0.0230 3.7913 0.5044 0.4251
    MSRCR方法 7.4457 1.4760 0.4080 6.6102 0.7489 0.6135
    NPE方法 7.4347 0.8684 0.0052 2.9075 0.5706 0.4758
    文献[13]方法 6.9556 1.0378 0.0267 3.3654 0.6071 0.5372
    SRLIE方法 7.2143 0.7327 0.0013 6.0787 0.5241 0.4243
    文献[16]方法 7.2542 0.9368 0.0069 5.8487 0.5859 0.4777
    本文方法 7.5721 2.1572 0.0060 15.1204 0.9552 0.7847
    下载: 导出CSV

    表  2  光照不均匀图像增强后的客观指标对比

    Table  2.   Comparison of objective indicators of uneven lighting images after enhancement

    图像 方法 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109
    场景4 原图 6.3582 0.1057 0.7753 0.7626
    MSR方法 6.8935 −0.3635 0.1976 0.0276 0.4907 0.4531
    MSRCR方法 7.2880 0.7271 0.4387 0.9089 1.3167 1.2255
    NPE方法 7.1122 −0.0713 0.1279 0.2362 0.7256 0.6748
    文献[13]方法 6.8919 0.4901 0.0815 0.2372 1.1574 1.1317
    SRLIE方法 6.9172 0.0049 0.1109 0.4741 0.7981 0.7585
    文献[16]方法 7.0076 0.1236 0.1041 0.4953 0.8753 0.8257
    本文方法 7.3756 0.7282 0.1104 0.1477 1.3624 1.2867
    场景5 原图 6.8731 4.1316 2.0520 1.9688
    MSR方法 7.4342 −0.2985 0.0049 6.9938 2.0619 1.9503
    MSRCR方法 7.5521 −0.3144 0.3124 13.6200 1.4388 1.2524
    NPE方法 7.3378 −0.3520 0.0035 3.6159 1.5882 1.4974
    文献[13]方法 7.1349 −0.0272 0.0032 5.4609 2.0646 1.9621
    SRLIE方法 7.4616 −0.2029 0.0041 14.7030 2.0804 1.8946
    文献[16]方法 7.3964 0.0362 0.0057 11.6369 2.3043 2.2220
    本文方法 7.6240 −0.0095 0.0053 21.2435 2.3077 2.0989
    场景6 原图 6.9058 2.1236 1.2952 1.1667
    MSR方法 7.3849 −0.2688 0.0278 4.2159 0.9806 0.8356
    MSRCR方法 7.5106 0.1842 0.0590 5.6076 1.4880 1.4880
    NPE方法 7.5147 −0.0426 0.0021 2.9998 1.2639 1.1009
    文献[13]方法 7.2822 0.4765 0.0146 3.8806 1.9159 1.7521
    SRLIE方法 7.5766 0.1840 0.0182 15.0448 1.5822 1.2868
    文献[16]方法 7.6350 0.3503 0.0071 9.6458 1.7720 1.4997
    本文方法 7.6898 0.6975 0.0046 15.1745 2.2122 1.9108
    下载: 导出CSV

    表  3  有噪声图像增强后的客观指标对比

    Table  3.   Comparison of objective indicators of noisy images after enhancement

    图像 方法 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109
    场景7 原图 7.4796 1.1089 1.9205 1.8342
    MSR方法 6.7098 −0.6366 0.1581 0.9117 0.6847 0.5985
    MSRCR方法 7.5967 0.1879 0.3258 12.7740 2.3104 2.0120
    NPE方法 7.3893 −0.2476 0.0021 1.2927 1.4258 1.3161
    文献[13]方法 7.5420 0.0686 0.0032 1.3811 2.0567 1.9576
    SRLIE方法 7.4700 −0.1171 0.0010 6.5847 1.6743 1.4649
    文献[16]方法 7.5153 −0.0468 0.0022 4.8278 1.8161 1.6207
    本文方法 7.6492 0.0988 0.0008 8.1902 2.1155 1.8958
    场景8 原图 7.5702 0.8719 0.5965 0.6024
    MSR方法 7.2635 −0.4969 0.0956 2.1923 0.3936 0.3317
    MSRCR方法 7.6873 −0.2781 0.7638 7.3505 0.5826 0.4513
    NPE方法 7.5994 −0.2304 0.0268 1.2377 0.6167 0.5484
    文献[13]方法 7.6109 −0.0994 0.0616 1.1409 0.7187 0.6616
    SRLIE方法 7.7672 −0.0684 0.0135 6.7768 0.7477 0.6147
    文献[16]方法 7.7835 −0.0220 0.0134 4.4739 0.7822 0.6681
    本文方法 7.8190 0.0970 0.0062 9.6410 0.8761 0.7370
    下载: 导出CSV

    表  4  不同方法处理图像的平均时间对比

    Table  4.   Comparison of average time of images processed by different methods s

    方法 平均运行时间
    MSR方法 0.510
    MSRCR方法 1.593
    NPE方法 19.109
    文献[13]方法 0.350
    SRLIE方法 75.561
    文献[16]方法 0.465
    本文方法 1.007
    下载: 导出CSV

    表  5  光照分量处理结果客观对比

    Table  5.   Objective comparison of lighting component processing results

    方法 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109
    原图 7.3510 1.4961 1.5800 1.4998
    仅使用自适应伽马校正 7.7851 0.3955 0.0069 6.8291 2.2033 2.0339
    仅使用CLAHE 7.5874 1.4987 0.0076 13.4309 3.2212 3.6376
    自适应伽马校正+CLAHE 7.8128 1.3546 0.0084 14.7554 3.3903 3.1379
    下载: 导出CSV

    表  6  反射分量处理结果客观对比

    Table  6.   Objective comparison of reflection component processing results

    方法 对比度变化率 色调变化率 能量梯度/1011 方差/109 自相关函数/109
    原图 7.4236 1.0021 0.6663 0.6130
    仅使用GDGIF去噪 7.6786 0.3246 0.0166 3.6185 0.8806 0.7758
    仅使用多尺度细节提升 7.7891 0.6205 0.0181 12.0516 1.0743 0.8447
    GDGIF去噪+多尺度细节提升 7.7903 0.6280 0.0154 10.8591 1.0949 0.8569
    下载: 导出CSV
  • [1] 王国法,刘峰,庞义辉,等. 煤矿智能化——煤炭工业高质量发展的核心技术支撑[J]. 煤炭学报,2019,44(2):349-357.

    WANG Guofa,LIU Feng,PANG Yihui,et al. Coal mine intellectualization:the core technology of high quality development[J]. Journal of China Coal Society,2019,44(2):349-357.
    [2] 张立亚,郝博南,孟庆勇,等. 基于HSV空间改进融合Retinex算法的井下图像增强方法[J]. 煤炭学报,2020,45(增刊1):532-540.

    ZHANG Liya,HAO Bonan,MENG Qingyong,et al. Method of image enhancement in coal mine based on improved retex fusion algorithm in HSV space[J]. Journal of China Coal Society,2020,45(S1):532-540.
    [3] 程德强,钱建生,郭星歌,等. 煤矿安全生产视频AI识别关键技术研究综述[J]. 煤炭科学技术,2023,51(2):349-365.

    CHENG Deqiang,QIAN Jiansheng,GUO Xingge,et al. Review on key technologies of AI recognition for videos in coal mine[J]. Coal Science and Technology,2023,51(2):349-365.
    [4] 张谢华,张申,方帅,等. 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报,2014,39(1):198-204.

    ZHANG Xiehua,ZHANG Shen,FANG Shuai,et al. Clearing research on fog and dust images in coalmine intelligent video surveillance[J]. Journal of China Coal Society,2014,39(1):198-204.
    [5] 王国法,张良,李首滨,等. 煤矿无人化智能开采系统理论与技术研发进展[J]. 煤炭学报,2023,48(1):34-53.

    WANG Guofa,ZHANG Liang,LI Shoubin,et al. Progresses in theory and technological development of unmanned smart mining system[J]. Journal of China Coal Society,2023,48(1):34-53.
    [6] LI Chongyi,GUO Chunle,HAN Linghao,et al. Lighting the darkness in the deep learning era[Z]. 2021. DOI: 10.48550/arXiv.2104.10729.
    [7] 王焱,关南楠,刘海涛. 改进的多尺度Retinex井下图像增强算法[J]. 辽宁工程技术大学学报(自然科学版),2016,35(4):440-443. doi: 10.11956/j.issn.1008-0562.2016.04.020

    WANG Yan,GUAN Nannan,LIU Haitao. An improved multi-scale Retinex algorithm for mine image enhancement[J]. Journal of Liaoning Technical University(Natural Science),2016,35(4):440-443. doi: 10.11956/j.issn.1008-0562.2016.04.020
    [8] 甘建旺. 矿井图像的去噪与增强算法研究[D]. 北京:北京石油化工学院,2021.

    GAN Jianwang. Research on denoising and enhancement algorithm of mine image[D]. Beijing:Beijing Institute of Petrochemical Technology,2021.
    [9] JOBSON D J,RAHMAN Z,WOODELL G A. Properties and performance of a center/surround Retinex[J]. IEEE Transactions on Image Processing,1997,6(3):451-462. doi: 10.1109/83.557356
    [10] JOBSON D J,RAHMAN Z. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing,1997,6(7):965-976. doi: 10.1109/83.597272
    [11] RAHMAN Z,JOBSON D,WOODELL G A. Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging,2004,13(1):100-110. doi: 10.1117/1.1636183
    [12] 程德强,郑珍,姜海龙. 一种煤矿井下图像增强算法[J]. 工矿自动化,2015,41(12):31-34.

    CHENG Deqiang,ZHENG Zhen,JIANG Hailong. An image enhancement algorithm for coal mine underground[J]. Industry and Mine Automation,2015,41(12):31-34.
    [13] 智宁,毛善君,李梅. 基于双伽马函数的煤矿井下低亮度图像增强算法[J]. 辽宁工程技术大学学报(自然科学版),2018,37(1):191-197. doi: 10.11956/j.issn.1008-0562.2018.01.034

    ZHI Ning,MAO Shanjun,LI Mei. An enhancement algorithm for coal mine low illumination images based on bi-gamma function[J]. Journal of Liaoning Technical University(Natural Science),2018,37(1):191-197. doi: 10.11956/j.issn.1008-0562.2018.01.034
    [14] HE Kaiming,SUN Jian,TANG Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,35(6):1397-1409.
    [15] 王星,白尚旺,潘理虎,等. 一种矿井图像增强算法[J]. 工矿自动化,2017,43(3):48-52.

    WANG Xing,BAI Shangwang,PAN Lihu,et al. A mine image enhancement algorithm[J]. Industry and Mine Automation,2017,43(3):48-52.
    [16] 洪炎,朱丹萍,龚平顺. 基于TopHat加权引导滤波的Retinex矿井图像增强算法[J]. 工矿自动化,2022,48(8):43-49.

    HONG Yan,ZHU Danping,GONG Pingshun. Retinex mine image enhancement algorithm based on TopHat weighted guided filtering[J]. Journal of Mine Automation,2022,48(8):43-49.
    [17] 苏波,李超,王莉. 基于多权重融合策略的Retinex矿井图像增强算法[J]. 煤炭学报,2023,48(增刊2):813-822.

    SU Bo,LI Chao,WANG Li. Mine image enhancement algorithm based on Retinex using multi-weight fusion strategy[J]. Journal of China Coal Society,2023,48(S2):813-822.
    [18] KOU Fei,CHEN Weihai,WEN Changyun,et al. Gradient domain guided image filtering[J]. IEEE Transactions on Image Processing,2015,24(11):4528-4539. doi: 10.1109/TIP.2015.2468183
    [19] 马龙,马腾宇,刘日升. 低光照图像增强算法综述[J]. 中国图象图形学报,2022,27(5):1392-1409. doi: 10.11834/jig.210852

    MA Long,MA Tengyu,LIU Risheng. The review of low-light image enhancement[J]. Journal of Image and Graphics,2022,27(5):1392-1409. doi: 10.11834/jig.210852
    [20] WEI Chen,WANG Wenjing,YANG Wenhan,et al. Deep Retinex decomposition for low-light enhancement[Z]. 2018. DOI: 10.48550/arXiv.1808.04560.
    [21] ZHANG Yonghua,ZHANG Jiawan,GUO Xiaojie. Kindling the darkness:a practical low-light image enhancer[C]. The 27th ACM International Conference on Multimedia,Nice,2019:1632-1640.
    [22] JIANG He,CAI Huangkai,YANG Jie. Learning in-place residual homogeneity for image detail enhancement[C]. IEEE International Conference on Acoustics,Speech and Signal Processing,Calgary,2018:1428-1432.
    [23] JIANG He,ASAD M,LIU Jingjing,et al. Single image detail enhancement via metropolis theorem[J]. Multimedia Tools and Applications,2024,83(12):36329-36353.
    [24] WANG Liwen,LIU Zhisong,SIU W C,et al. Lightening network for low-light image enhancement[J]. IEEE Transactions on Image Processing,2020,29:7984-7996. doi: 10.1109/TIP.2020.3008396
    [25] ZUIDERVELD K. Contrast limited adaptive histogram equalization[J]. Graphics Gems,1994,5:474-485.
    [26] KIM Y,KOH Y,LEE C,et al. Dark image enhancement based on pairwise target contrast and multi-scale detail boosting[C]. IEEE International Conference on Image Processing,Quebec City,2015:1404-1408.
    [27] WANG Shuhang,ZHENG Jin,HU Haimiao,et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing,2013,22(9):3538-3548. doi: 10.1109/TIP.2013.2261309
    [28] LI Mading,LIU Jiaying,YANG Wenhan,et al. Structure-revealing low-light image enhancement via robust Retinex model[J]. IEEE Transactions on Image Processing,2018,27(6):2828-2841. doi: 10.1109/TIP.2018.2810539
  • 加载中
图(9) / 表(6)
计量
  • 文章访问数:  50
  • HTML全文浏览量:  17
  • PDF下载量:  6
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-08-31
  • 修回日期:  2024-06-22
  • 网络出版日期:  2024-06-27

目录

    /

    返回文章
    返回