基于含噪Retinex模型的煤矿低光照图像增强方法

李正龙, 王宏伟, 曹文艳, 张夫净, 王宇衡

李正龙,王宏伟,曹文艳,等. 基于含噪Retinex模型的煤矿低光照图像增强方法[J]. 工矿自动化,2023,49(4):70-77. DOI: 10.13272/j.issn.1671-251x.2022080047
引用本文: 李正龙,王宏伟,曹文艳,等. 基于含噪Retinex模型的煤矿低光照图像增强方法[J]. 工矿自动化,2023,49(4):70-77. DOI: 10.13272/j.issn.1671-251x.2022080047
LI Zhenglong, WANG Hongwei, CAO Wenyan, et al. A method for enhancing low light images in coal mines based on Retinex model containing noise[J]. Journal of Mine Automation,2023,49(4):70-77. DOI: 10.13272/j.issn.1671-251x.2022080047
Citation: LI Zhenglong, WANG Hongwei, CAO Wenyan, et al. A method for enhancing low light images in coal mines based on Retinex model containing noise[J]. Journal of Mine Automation,2023,49(4):70-77. DOI: 10.13272/j.issn.1671-251x.2022080047

基于含噪Retinex模型的煤矿低光照图像增强方法

基金项目: 国家重点研发计划项目(2020YFB1314004);山西省揭榜招标项目(20201101008);山西省重点研发计划项目(202102100401015)。
详细信息
    作者简介:

    李正龙(1998—),男,山东潍坊人,硕士研究生,研究方向为机器视觉、视觉SLAM、掘进机定位导航,E-mail:lizhenglong2293@outlook.com

    通讯作者:

    王宏伟 (1977—),女,黑龙江勃利人,教授,博士,博士研究生导师,主要研究方向为煤机装备智能化、人工智能与5G+智慧矿山等,E-mail:lntuwhw@126.com

  • 中图分类号: TD67

A method for enhancing low light images in coal mines based on Retinex model containing noise

  • 摘要: 低光照图像会导致许多计算机 视觉任务达不到预期效果,影响后续图像分析与智能决策。针对现有煤矿井下低光照图像增强方法未考虑图像现实噪声的问题,提出一种基于含噪Retinex模型的煤矿低光照图像增强方法。建立了含噪Retienx模型,利用噪声估计模块(NEM)估计现实噪声,将原图像和估计噪声作为光照分量估计模块(IEM)和反射分量估计模块(REM)的输入,生成光照分量与反射分量并对二者进行耦合,同时对光照分量进行伽马校正等调整,对耦合后的图像及调整后的光照分量进行除法运算,得到最终的增强图像。NEM通过3层CNN对含噪图像进行拜耳采样,然后重构生成与原图像大小一致的三通道特征图。IEM与REM均以ResNet−34作为图像特征提取网络,引入多尺度非对称卷积与注意力模块(MACAM),以增强网络的细节过滤能力及重要特征筛选能力。定性和定量评估结果表明,该方法能够平衡光源与黑暗环境之间的关系,降低现实噪声的影响,在图像自然度、真实度、对比度、结构等方面均具有良好性能,图像增强效果优于Retinex−Net,Zero−DCE,DRBN,DSLR,TBEFN,RUAS等模型。通过消融实验验证了NEM与MACAM的有效性。
    Abstract: The low light images can lead to many computer vision tasks not achieving the expected results. This can affect subsequent image analysis and intelligent decision-making. The existing low light image enhancement methods for underground coal mines do not consider the real noise of the image. In order to solve this problem, a method for enhancing low light images in coal mines based on Retinex model containing noise is proposed. The Retienx model containing noise is established. The noise estimation module (NEM) is used to estimate real noise. The original image and estimated noise are used as inputs to the illumination component estimation module (IEM) and reflection estimation module (REM) to generate and couple the illumination and reflection components. At the same time, gamma correction and other adjustments are made to the illumination components. And division operations are performed on the coupled image and adjusted illumination components to obtain the final enhanced image. NEM uses a three-layer CNN to perform Bayer sampling on noisy images. It reconstructs them to generate a three channel feature map which is the same size as the original image. Both IEM and REM use ResNet-34 as the image feature extraction network. The multi-scale asymmetric convolution and attention module (MACAM) is introduced to enhance the network's capability to filter details and important features. The qualitative and quantitative evaluation results indicate that this method can balance the relationship between light sources and dark environments, reduce real-world noise's impact, and perform well in image naturalness, realism, contrast, structure, and other aspects. The image enhancement effect is superior to models such as Retinex-Net, Zero-DCE, DRBN, DSLR, TBEFN, RUAS, etc. The effectiveness of NEM and MACAM is verified through ablation experiments.
  • 煤炭是我国的能源基石,在经济和工业的迅速发展中起着至关重要的作用[1]。带式输送机是煤矿井下的重要运输设备,目前井下多级带式输送机的管理方式较为粗放,大部分多级带式输送机处于“大马拉小车”的高速低负荷状态,运载效率仅有额定值的40%~60%,导致大量电能浪费。在“碳达峰、碳中和”目标下,多级带式输送机的能耗优化成为煤炭行业绿色发展的当务之急[2]。煤量和带速是决定带式输送机功率的主要因素,实时煤量和带速合理匹配可以有效节约能源[3-5]。在煤量−带速匹配技术中,煤量检测的准确性和实时性至关重要,动态煤量实时检测是井下多级带式输送机系统节能优化的基础和关键。

    输送带动态煤量检测的本质是对输送带上一段时间内煤料的质量或体积进行检测,现有方法包括电子胶带秤、核子胶带秤、激光检测法、机器视觉检测法和超声波检测法。电子胶带秤[6]检测时要与带式输送机接触,检测精度受带式输送机振动或煤块冲击影响较大。核子胶带秤[7]所用的放射性物质存在一定安全隐患,且检测精度受物料成分、含水率及堆积形状影响较大。激光检测法[8-10]所用的设备价格昂贵,投资成本大。机器视觉检测法[11-14]的检测精度受井下能见度影响较大,且算法复杂程度高,计算较为耗时。相对于接触式煤量检测方法,超声波检测法所用的超声阵列装置与带式输送机无直接接触,受带式输送机振动影响较小。超声波检测法[15-18]包括单超声波检测法和多超声波对向检测法。单超声波检测法将煤料截面近似为梯形区域,在煤块较大或横向分布不均的情况下检测误差较大。多超声波对向检测法在输送带上下方均设置多个超声波传感器测点且对向分布,各测点坐标变化体现了物料堆积形态的变化,并根据不同物料堆积情形分别设计物料横截面积算法,与单超声波检测法相比,检测误差更小。

    针对现有基于超声波的煤量检测算法精度较低、多超声波传感器之间易受干扰等问题,设计了基于超声阵列的输送带动态煤量检测系统。若干超声波传感器组成超声线性阵列,以实时检测对应点的煤料高度,根据超声波传感器的声束角合理布置各超声波传感器间距,设置多行超声波传感器对所测煤高数据进行补偿,并且阵列中每行选用中心频率不同的超声波传感器,以降低超声串扰影响。根据煤高数据、带速数据及煤料堆积密度,结合横截面切片法计算煤料体积和质量。

    超声阵列由若干中心频率不同的超声波传感器阵元构成,利用超声波测距原理检测对应检测点的煤料高度。若干超声波传感器阵元沿输送带横向布置n行,记为r1r2,…,rn,沿输送带纵向布置m列(m为奇数,$m\geqslant 3 $),记为l1l2,…,lm,构成$n \times m$线性阵列,如图1所示。其中,第${{\dfrac{{m + 1}}{2}}}$列置于槽型托辊组中平行托辊中心正上方,第1列与第m列分别置于槽型托辊组中平行托辊与2个侧托辊连接点正上方。

    图  1  超声阵列
    Figure  1.  Ultrasonic array

    超声阵列各行、各列之间均为等间距分布,列间距和行间距满足以下条件:

    $$ \left\{ \begin{array}{l} {L}_{1}=\dfrac{L}{m-1}\geqslant 2H\mathrm{tan}\;\dfrac{\alpha }{2} \\ {L}_{2}=4H\mathrm{tan}\;\dfrac{\alpha }{2} \end{array} \right.$$ (1)

    式中:L1L2分别为超声阵列的列间距和行间距,cm;L为槽形托辊组中平行托辊长度,cm;H为超声波传感器发射端与输送带之间的初始距离,cm;α为超声波传感器的声束角,(°)。

    由式(1)可知,m取决于超声波传感器的声束角、超声波传感器发射端与输送带之间的初始高度和槽形托辊组中平行托辊长度,$3 \leqslant m \leqslant \dfrac{L}{{2H\tan \dfrac{\alpha }{2}}} + 1$。为了提高数据的准确性,m应取该范围内的最大值,同时需设置多行超声波传感器,以补偿所测煤高数据。因此,超声阵列中超声波传感器的总数最少应为2m

    m=5为例,超声阵列工作截面如图2所示,托辊B1,B3为槽型托辊组的2个侧托辊,托辊B2为平行托辊,b点为托辊B2的中点,ac点分别为平行托辊B2与侧托辊B1,B3的机械连接点。将超声波传感器依次编号为i1—i5。其中,超声波传感器i3位于b点正上方,i1和i5分别位于ac点正上方,i1—i5间距相等,均为L1

    图  2  超声阵列工作截面
    Figure  2.  Working cross-section of ultrasonic array

    超声波测距技术不受井下能见度的影响,具有指向性强的优点,但在介质中传播时会受到外界多种因素干扰,导致测距数据准确度较低。影响超声波测距的因素主要包括环境温度、同频声波串扰及超声波在煤矿井下大气环境中的衰减。

    1) 环境温度对超声波速度的影响。超声波在介质中的传播速度随周围环境的变化而变化,其中温度的影响最为显著。利用温度传感器测得实时环境温度,结合超声波速度与温度的关系进行速度修正,以最大限度减小温度所带来的误差。超声波速度与温度的关系为

    $$ C=331.4+0.607\theta $$ (2)

    式中:C为超声波在空气中的速度,m/s;$\theta $为环境温度,℃。

    2) 同频声波串扰。同频声波分为内部串扰和外部串扰2类。内部超声串扰是指超声波传感器接收到的回波是由同一个超声阵列内其他超声波传感器发射的超声波遇到障碍物后返回的声波;外部超声串扰是指超声波传感器接收到的超声波是其工作环境中其他物体发出的。由于基于超声阵列的输送带动态煤量检测系统工作在煤矿井下,工作环境较为恶劣,存在较多噪声干扰源,其中同频噪声会对超声波测距结果造成严重不良影响。本文采用中心频率不同的超声波传感器进行检测,既能在一定程度上降低超声串扰带来的误差,又能满足系统的实时性要求。

    3) 超声波在煤矿井下大气环境中的衰减。煤矿井下大气环境为粉尘−空气混合物,在这种环境中,超声波会发生散射、透射、衍射等现象并随之产生超声波衰减。影响超声波传播的主要因素之一是矿井大气环境中粉尘的粒径和浓度,超声波频率越高,波长越短,在传播过程中越易发生衰减,超声波检测范围就越小。波束指向性也是一项非常关键的指标,超声波的频率越高,辐射面积越大,波束宽度越小,其指向性就越强。同时,超声波的频率越高,声波的波长越短,测距的绝对误差也越小,即精度越高。本文选用中心频率高于200 kHz、检测范围为50~1 000 mm的超声波传感器进行检测,可在兼顾衰减程度的同时,保证传感器测量精度。此外,采用多行超声波传感器对采集的煤高数据进行补偿,以提高煤高数据的准确性。

    基于超声阵列的输送带动态煤量检测系统由支撑装置、超声阵列装置和电控装置组成,如图3所示。通过超声阵列中的各超声波传感器阵元检测相应点的煤料高度,结合煤高数据、输送带带速、煤料堆积密度,通过动态煤量检测算法计算实时煤流量及累计总煤量。

    图  3  基于超声阵列的输送带动态煤量检测系统结构
    Figure  3.  Structure of dynamic coal quantity detection system for conveyor belt based on ultrasonic array

    超声阵列装置由超声波传感器布置架和超声波传感器阵元构成,如图4所示。选用10路中心频率不同的超声波传感器阵元,布置为2×5线性阵列形式,使系统兼顾经济性与检测准确性。

    图  4  超声阵列装置
    Figure  4.  Ultrasonic array device

    超声波传感器布置架通过铝角码、内六角螺栓、梯形螺母和辅助固定块搭建而成。辅助固定块通过螺栓与梯形螺母固定于超声波传感器布置架上;超声波传感器上设有螺纹,通过上下2个六角细牙薄螺母固定在辅助固定块上;2个顶部固定杆分别采用螺栓与支撑装置中的调高板连接固定。超声波传感器的关键技术指标见表1

    表  1  超声波传感器关键技术指标
    Table  1.  Key technical indicators of ultrasonic sensors
    技术指标参数
    输入电压/V15~30
    输出电压/V0~10
    检测范围/mm50~1 000
    中心频率/kHz205,255,310,380,400
    声束角/(°)10
    分辨率/mm0.35
    下载: 导出CSV 
    | 显示表格

    电控装置[19-20]由下位机及上位机构成,如图5所示。下位机由STM32、ADC模块和串口通信模块组成,ADC模块用于将电压模拟量转换为STM32可处理的数字量,超声波传感器采集到的煤高数据经过STM32滤波处理之后,再通过串口通信模块上传到上位机中。上位机软件[21]结合煤量体积算法、实时煤流量算法和累计总煤量算法,计算实时煤流量和累计总煤量。

    图  5  电控装置结构
    Figure  5.  Structure of electronic control device

    煤流量是单位时间内输送带上通过煤料的总质量,即单位时间内输送带上通过煤料的总体积与煤料堆积密度的乘积。将10路超声波传感器布置为2×5线性阵列形式,各超声波传感器相互独立,分别检测对应点的煤料高度,根据1行超声波传感器所测煤高数据计算煤料横截面积,且假设在单次采集时间dt内煤料横截面积不发生改变。横截面切片法如图6所示,以某一时刻的煤料横截面为切片,以1行超声波传感器单次采集时间内煤料运行距离为切片厚度,将单位时间内通过输送带上的煤料划分为若干微元计算体积。

    图  6  横截面切片法
    Figure  6.  Cross section slicing method

    单位时间内输送带上通过煤料的总体积是所有体积微元的积分:

    $$ V{\text{ = }}\int_0^{{t_0}} {{S_{{j}}}{v_{{j}}}{\rm{d}}t} $$ (3)

    式中:$V$为单位时间内输送带上通过煤料的总体积,m3${t_0}$为单位时间,即1 s;${S_j}$为根据$j$时刻超声阵列中1行超声波传感器所测煤高数据计算得出的煤料横截面积,m2${v_j}$为输送带$j$时刻的带速,m/s。

    以第1行5个超声波传感器为例,煤料横截面积计算如图7所示,$P_1$$P_2$分别为槽形托辊组两侧托辊的中点。将整个煤料横截面划分为${A_1}$${A_6}$共6个区域,其中区域${A_1}$${A_6}$为三角形,区域${A_2}$${A_5}$为梯形。

    图  7  煤料横截面积计算
    Figure  7.  Calculation of cross-sectional area of coal

    计算煤料横截面积之前,首先需要测量以下参数:① 托辊槽角$\beta $;② 超声波传感器间距$L$;③ 超声波传感器${{\rm{i}}_1}$${{\rm{i}}_5}$发射端与输送带之间的距离$H$。实际工况下,输送带平面并不平整,表面会有起伏,随着带式输送机的长时间使用,托辊槽角会发生微调,但其数值变动较小,相对于煤高数据变动可忽略不计。设超声波传感器${{\rm{i}}_1}$${{\rm{i}}_5}$测距数据分别为${x_1}$${x_5}$,首先计算区域${A_1}$${A_6}$的面积$S_{A_1} $$S_{A_6} $

    三角形区域${A_1}$${A_6}$面积计算公式为

    $$ {S_{{A_1}}} = \left( {H - {x_1}} \right){L_1}\cos \beta $$ (4)
    $$ {S_{{A_6}}} = \left( {H - {x_5}} \right){L_1}\cos \beta $$ (5)

    梯形区域${A_2}$${A_5}$面积计算公式为

    $$ {S_{{A_2}}} = \frac{1}{2}\left( {2H - {x_1} - {x_2}} \right){L_1} $$ (6)
    $$ {S_{{A_3}}} = \frac{1}{2}\left( {2H - {x_2} - {x_3}} \right){L_1} $$ (7)
    $$ {S_{{A_4}}} = \frac{1}{2}\left( {2H - {x_3} - {x_4}} \right){L_1} $$ (8)
    $$ {S_{{A_5}}} = \frac{1}{2}\left( {2H - {x_4} - {x_5}} \right){L_1} $$ (9)

    整个煤料横截面积为

    $$ {S} = {S_{{A_1}}} + {S_{{A_2}}} + {S_{{A_3}}} + {S_{{A_4}}} + {S_{{A_5}}} + {S_{{A_6}}} $$ (10)

    在计算出某时刻煤料横截面积的基础上,结合输送带带速及超声波传感器单次采集时间,可计算出一个微元体积,计算公式为

    $$ {V_j} = {S_j}{v_j}{\rm{d}}t $$ (11)

    式中${V_j}$为单位时间内输送带上通过煤料的一个微元体积,m3

    单位时间内输送带上通过煤料的总体积为单位时间内微元体积的总和,结合式(3)、式(11)可得单位时间内输送带上通过煤料的总体积为

    $$ V= \sum\limits_{t = 0}^{ {t_0}} {{V_j}} $$ (12)

    煤料总体积取由各行超声波传感器所测煤高数据计算出的煤料总体积的均值。设由第1行、第2行超声波传感器所测煤高数据计算出的煤料总体积分别为${V^*}$${V^{ * * }}$,则煤料总体积${V_{\rm{T}}}$

    $$ {V_{\rm{T}}} = \frac{{{V^ * } + {V^{ * * }}}}{2} $$ (13)

    实时煤流量$Q$为单位时间内煤料总体积${V_{\rm{T}}}$与煤料堆积密度$\rho $的乘积:

    $$ Q = \rho {V_{\rm{T}}} $$ (14)

    累计总煤量即一段时间内输送带上通过的煤料总质量,设输送带上原有煤量为${M_1}$,一段时间内流入煤量为${M_2}$,则累计总煤量$M$

    $$ M = {M_1} + {M_2} $$ (15)

    若从输送带开机时开始计算,则输送带上原有煤量为0,则$M = {M_2}$。一段时间内流入煤量为连续N个单位时间${t_0}$内输送带上通过煤量之和,即实时煤流量之和,计算公式为

    $$ {M_2} = \sum\limits_{t=0}^{N{t_0}} Q $$ (16)

    由于实验条件限制,目前无法在高带速条件下进行实验验证,下面通过理论分析超声阵列检测速度是否满足带速为5 m/s的带式输送机煤量检测要求。以超声阵列中的单个超声波传感器为例,如图8所示,x为超声波传感器与煤料的距离。

    图  8  单超声波传感器检测
    Figure  8.  Single ultrasonic sensor detection

    已知超声波传播速度$C$约为340 m/s,设超声波自发射到接收所需时间为t1,则

    $$ x = \frac{{C{t_1}}}{2} $$ (17)

    设控制系统自收到测距值到计算出结果所需时间为t2,则整个动态煤量检测系统单次检测时间为

    $$ t' = {t_1} + {t_2}=\frac{x}{{170}} + {t_2} $$ (18)

    由式(18)可知,整个动态煤量检测系统单次检测的时间与超声波传感器到煤料的距离和控制系统数据处理速度有关。

    下位机采用模/数转换器(Analog-to-Digital Converter,ADC)+直接存储器访问(Direct Memory Access,DMA)方式采集多通道数据,STM32的APB2总线时钟频率配置为84 MHz,ADC时钟频率设为时钟频率PLCK2的4分频,即21 MHz。ADC分辨率为12 bit,采样间隔为10TT为ADC采样时钟周期),采样时间为480T,采样通道数为10,则DMA采样时间为239.29 µs。

    在上位机控制程序中添加定时器,上位机系统收到下位机输出的测距值时定时器启动,计算出结果时定时器停止,测得上位机自收到测距值到计算出结果所需时间为30 ms,当超声波传感器与煤料的距离为50 cm时,$t' $约为33 ms,即1 s约可采集30次。当带速为5 m/s时,平均每16.67 cm采集1次数据,超声阵列检测速度理论上满足带速为5 m/s的带式输送机煤量检测要求。

    为验证基于超声阵列的输送带动态煤量检测系统在物料非静止情况下的检测准确性和稳定性,先后于2021-12-14和2022-06-20在宁夏天地西北煤机有限公司带式输送机实验室开展实验。超声阵列实验平台和被测物料分别如图9图10所示。

    图  9  超声阵列实验平台
    Figure  9.  Experimental platform of ultrasonic array
    图  10  被测物料
    Figure  10.  Tested material

    将超声阵列装置中的各超声波传感器编号为1—10号,相邻两超声波传感器之间的距离设为12.5 cm。实验开始前,将超声阵列装置中各超声波传感器底端调整平齐,开启超声阵列设备,连续测量10次,取均值并记录1—10号超声波传感器与空输送带各对应点之间的距离。实验所用带式输送机的托辊槽角为45°。分别在0.125,0.170 m/s带速下通过横截面切片法对物料进行体积测量,以带速0.125 m/s、1号物料为例,1—5号超声波传感器测试数据曲线如图11所示。可看出当物料到达超声波传感器的检测范围内时,传感器底端与物料上表面之间的距离减小,物料完全通过后,超声波传感器的测距值恢复到初始距离。

    图  11  超声波传感器测试数据曲线
    Figure  11.  Test data curves of ultrasonic sensors

    不同带速下横截面切片法测量结果见表2。由表2可知,0.125,0.170 m/s带速下物料体积检测的平均相对误差分别为4.99%,5.16%,均在6%以内。

    表  2  不同带速下横截面切片法测量结果
    Table  2.  Measurement results of cross section slicing method at different belt speeds
    物料
    编号
    带速为0.125 m/s带速为0.170 m/s
    物料体积
    测量值/m3
    绝对
    误差/m3
    相对
    误差/%
    物料体积
    测量值/m3
    绝对
    误差/m3
    相对
    误差%
    10.117 70.005 14.160.117 50.005 34.32
    20.105 70.005 75.690.105 90.005 95.92
    30.113 60.006 25.130.113 50.006 35.27
    40.083 60.004 44.970.083 50.004 55.12
    下载: 导出CSV 
    | 显示表格

    由于带式输送机煤块堆积情况复杂且随机,借助实验室现有资源,通过模拟实验台和煤块模拟实际工况,实验平台三维模型及实物如图12所示。实验平台由支撑架、横梁、超声阵列设备和模拟实验台组成。超声阵列设备悬挂固定在横梁上;模拟实验台设有置煤槽,置煤槽为梯形凹槽结构,以模拟槽型带式输送机;模拟实验台下方设有车轮,由电动机驱动行进。

    图  12  实际工况模拟实验平台
    Figure  12.  Actual working condition simulation experimental platform

    实验开始前,首先调整模拟实验台与超声阵列设备的相对位置,记录各超声波传感器与对应点之间的初始距离。将总质量为22.5 kg、堆积密度为0.9 t/m3的煤块放于置煤槽中,控制模拟实验台往复行进于超声阵列设备正下方,受限于实验室空间,模拟实验台的移动速度保持为其最大移动速度1.0 m/s。

    1—5号超声波传感器在模拟工况下的测试数据曲线如图13所示。下位机接收煤高数据并将其通过串口传至上位机,上位机根据模拟实验台的移动速度、煤块堆积密度、各超声波传感器与对应点之间的初始距离和煤高数据,计算得到实时煤流量和总煤量。模拟工况下总煤量检测结果见表3。由表3可知,煤量检测的平均相对误差为5.56%。

    图  13  模拟工况下超声波传感器测试数据曲线
    Figure  13.  Test data curves of ultrasonic sensors under simulated working condition
    表  3  模拟工况下总煤量检测结果
    Table  3.  Total coal quantity detection results under simulated working conditions
    实验编号总煤量测量值/kg绝对误差/kg相对误差/%
    123.7471.2475.54
    223.7831.2835.70
    323.7491.2495.55
    423.7061.2065.36
    523.7711.2715.65
    下载: 导出CSV 
    | 显示表格

    由实验结果可知,在低带速状态下,系统对规则物料和煤料的测量准确度可达94%以上,基本实现了煤量实时准确检测,满足带式输送机煤量检测需求。随着物料移动速度加快,检测精度略有降低,这是因为速度较快时系统误差和测量误差增大。

    1) 设计了基于超声阵列的输送带动态煤量检测系统,通过超声阵列实时检测各超声波传感器阵元对应检测点的煤料高度,采用横截面切片法计算单位时间内输送带上通过煤料的总体积,结合煤料堆积密度计算输送带实时煤流量及总煤量。横截面切片法以瞬时煤料横截面为切片,以超声波传感器单次采集时间内煤料运行距离为切片厚度,将单位时间内通过输送带上的总煤量划分为煤量微元进行体积计算。

    2) 相较于激光检测法,基于超声阵列的煤量检测方法成本更低,但精度稍低;相较于已有的超声波检测法,基于超声阵列的煤量检测方法采用中心频率不同的超声波传感器和多行超声补偿法提高了检测准确性。

    3) 实时性分析结果表明,超声阵列检测速度在理论上满足带速为5 m/s的带式输送机煤量检测要求。实验结果表明:在0.125,0.170 m/s带速下,规则物料体积检测的平均相对误差分别为4.99%,5.16%;模拟实际工况条件下,煤量检测的平均相对误差为5.56%。在低带速状态下,该系统对规则物料和煤料的测量准确度达94%以上,能够满足带式输送机煤量检测需求,但在高带速下的检测性能仍需进一步验证。

  • 图  1   Retinex理论

    Figure  1.   Retinex theory

    图  2   Retinex解耦策略

    Figure  2.   Retinex decoupling strategy

    图  3   含噪Retienx模型

    Figure  3.   Retienx model with noise

    图  4   拜耳采样

    Figure  4.   Bayer downsampling

    图  5   NEM结构

    Figure  5.   Structure of noise estimation module

    图  6   煤矿不同场景下6种模型与本文方法的对比

    Figure  6.   Comparison between six models and the method presented in this paper

    图  7   多光源、逆光条件下巷道图像增强效果对比

    Figure  7.   Comparison of image enhancement effects in roadway under multiple light sources and backlight conditions

    表  1   不同模型客观评价结果

    Table  1   Objective evaluation results of different models

    图像集模型NIQENIQMCPSNRSSIM
    矿井图像Retinex−Net3.374.8814.400.59
    Zero−DCE3.624.6715.510.58
    DRBN3.544.9815.320.70
    DSLR3.685.2613.930.49
    TBEFN3.575.4417.140.76
    RUAS3.435.1818.320.72
    本文3.305.6318.50.74
    矿井设备图像Retinex−Net3.424.6413.090.57
    Zero−DCE3.694.8314.580.55
    DRBN3.505.0315.660.66
    DSLR3.665.6415.380.78
    TBEFN3.605.4017.420.42
    RUAS3.525.2918.550.70
    本文3.285.7818.030.77
    巷道图像Retinex−Net3.534.6613.880.56
    Zero−DCE3.764.8313.560.54
    DRBN3.534.9515.320.68
    DSLR3.605.1814.950.73
    TBEFN3.425.2617.830.69
    RUAS3.595.5518.660.71
    本文3.335.8318.920.80
    多光源场景图像Retinex−Net3.404.0313.580.52
    Zero−DCE3.544.6213.040.59
    DRBN3.605.3315.420.61
    DSLR3.335.1913.110.40
    TBEFN3.454.8617.640.64
    RUAS3.585.0518.220.72
    本文3.255.8619.010.77
    下载: 导出CSV

    表  2   消融实验结果

    Table  2   Results of ablation experiment

    模型NIQENIQMCPSNRSSIM
    ResNet3.354.4314.020.51
    ResNet +NEM3.304.9616.710.57
    ResNet +MACAM3.265.2717.830.62
    ResNet +NEM +MACAM3.225.6218.820.70
    下载: 导出CSV
  • [1] 赵谦. 煤矿井下动态目标视频监测图像处理研究[D]. 西安: 西安科技大学, 2014.

    ZHAO Qian. Study on video monitoring and image processing of coal mine dynamic targets[D]. Xi'an: Xi'an University of Science and Technology, 2014.

    [2] 孙继平. 煤矿安全生产监控与通信技术[J]. 煤炭学报,2010,35(11):1925-1929.

    SUN Jiping. Technologies of monitoring and communication in the coal mine[J]. Journal of China Coal Society,2010,35(11):1925-1929.

    [3] 孙继平. 煤矿事故分析与煤矿大数据和物联网[J]. 工矿自动化,2015,41(3):1-5.

    SUN Jiping. Accident analysis and big data and Internet of things in coal mine[J]. Industry and Mine Automation,2015,41(3):1-5.

    [4] 孙继平,杜东璧. 基于随机特征的矿井视频图像中的人员跟踪技术[J]. 煤炭科学技术,2015,43(11):91-94.

    SUN Jiping,DU Dongbi. Tracing technology of personnel in mine video images based on random features[J]. Coal Science and Technology,2015,43(11):91-94.

    [5] 张谢华,张申,方帅,等. 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报,2014,39(1):198-204. DOI: 10.13225/j.cnki.jccs.2013.0150

    ZHANG Xiehua,ZHANG Shen,FANG Shuai,et al. Clearing research on fog and dust images in coal mine intelligent video surveillance[J]. Journal of China Coal Society,2014,39(1):198-204. DOI: 10.13225/j.cnki.jccs.2013.0150

    [6] 王殿伟,韩鹏飞,范九伦,等. 基于光照−反射成像模型和形态学操作的多谱段图像增强算法[J]. 物理学报,2018,67(21):104-114.

    WANG Dianwei,HAN Pengfei,FAN Jiulun,et al. Multispectral image enhancement based on illuminance-reflection imaging model and morphology operation[J]. Acta Physica Sinica,2018,67(21):104-114.

    [7] 何畏. 基于改进直方图的低照度图像增强算法[J]. 计算机科学,2015,42(增刊1):241-242,262.

    HE Wei. Low-light image enhancement based on improve histogram[J]. Computer Science,2015,42(S1):241-242,262.

    [8]

    ZUO Chao,CHEN Qian,SUI Xiubao. Range limited bi-histogram equalization for image contrast enhancement[J]. Optik-International Journal for Light and Electron Optics,2013,124(5):425-431. DOI: 10.1016/j.ijleo.2011.12.057

    [9] 刘晓阳,乔通,乔智. 基于双边滤波和Retinex算法的矿井图像增强方法[J]. 工矿自动化,2017,43(2):49-54.

    LIU Xiaoyang,QIAO Tong,QIAO Zhi. Image enhancement method of mine based on bilateral filtering and Retinex algorithm[J]. Industry and Mine Automation,2017,43(2):49-54.

    [10] 范凌云,梁修荣. 基于小波分解子带直方图匹配的矿井视频图像增强方法[J]. 金属矿山,2016(6):130-133.

    FAN Lingyun,LIANG Xiurong. Mine video images enhancement method based on the histogram matching method of the sub-bands of wavelet transform[J]. Metal Mine,2016(6):130-133.

    [11] 程德强,郑珍,姜海龙. 一种煤矿井下图像增强算法[J]. 工矿自动化,2015,41(12):31-34.

    CHENG Deqiang,ZHENG Zhen,JIANG Hailong. An image enhancement algorithm for coal mine underground[J]. Industry and Mine Automation,2015,41(12):31-34.

    [12] 智宁,毛善君,李梅. 基于照度调整的矿井非均匀照度视频图像增强算法[J]. 煤炭学报,2017,42(8):2190-2197.

    ZHI Ning,MAO Shanjun,LI Mei. Enhancement algorithm based on illumination adjustment for non-uniform illuminance video images in coal mine[J]. Journal of China Coal Society,2017,42(8):2190-2197.

    [13]

    LYU Feifan, LU Feng, WU Jianhua, et al. MBLLEN: low-light image/video enhancement using CNNs[C]. British Machine Vision Conference, Newcastle, 2018: 220-233.

    [14]

    WANG Yang, CAO Yang, ZHA Zhengjun, et al. Progressive retinex: mutually reinforced illumination-noise perception network for low light image enhancement[C]. Proceedings of the 27th ACM International Conference on Multimedia, Nice, 2019: 2015-2023.

    [15]

    FAN Minhao, WANG Wenjing, YANG Wenhan, et al. Integrating semantic segmentation and Retinex model for low-light image enhancement[C]. Proceedings of the 28th ACM International Conference on Multimedia, Seattle, 2020: 2317-2325.

    [16] 樊占文,刘波. 基于改进的Retinex低照度图像自适应增强技术研究[J]. 工矿自动化,2021,47(增刊1):126-130.

    FAN Zhanwen,LIU Bo. Research on adaptive enhancement technology of low illumination image based on improved Retinex[J]. Industry and Mine Automation,2021,47(S1):126-130.

    [17]

    ZHAO Zunjin,XIONG Bangshu,WANG Lei,et al. RetinexDIP:a unified deep framework for low-light image enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology,2022,32(3):1076-1088. DOI: 10.1109/TCSVT.2021.3073371

    [18]

    SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 2818-2826.

    [19]

    DING Xiaohan, GUO Yuchen, DING Guiguang, et al. ACNet: strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks[C]. IEEE/CVF International Conference on Computer Vision, Seoul, 2019: 1911-1920.

    [20]

    WEI Chen, WANG Wenjing, YANG Wenhan, et al. Deep Retinex decomposition for low-light enhancement[C]. British Machine Vision Conference, 2018.

    [21]

    GUO Chunle, LI Chongyi, GUO Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 2020: 1777-1786.

    [22]

    YANG Wenhan, WANG Shiqi, FANG Yuming, et al. From fidelity to perceptual quality: a semi-supervised approach for low-light image enhancement[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 2020: 3060-3069.

    [23]

    LIM S,KIM W. DSLR:deep stacked laplacian restorer for low-light image enhancement[J]. IEEE Transactions on Multimedia,2020,23:4272-4284.

    [24]

    LU Kun,ZHANG Lihong. TBEFN:a two-branch exposure-fusion network for low-light image enhancement[J]. IEEE Transactions on Multimedia,2020,23:4093-4105.

    [25]

    LIU Risheng, MA Long, ZHANG Jia'ao, et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, 2021.

    [26]

    MITTAL A,SOUNDARARAJAN R,BOVIK A C. Making a "completely blind" image quality analyzer[J]. IEEE Signal Processing Letters,2013,20(3):209-212. DOI: 10.1109/LSP.2012.2227726

    [27]

    GU Ke,LIN Weisi,ZHAI Guangtao,et al. No-reference quality metric of contrast-distorted images based on information maximization[J]. IEEE Transactions on Cybernetics,2017,47(12):4559-4565. DOI: 10.1109/TCYB.2016.2575544

  • 期刊类型引用(8)

    1. 葛世荣. 刮板输送机技术发展历程(四)——智能化成套装备. 中国煤炭. 2024(05): 1-12 . 百度学术
    2. 尚伟栋,杨大山,张坤. 基于深度神经网络的带式输送机煤量检测方法. 工矿自动化. 2024(S1): 139-145 . 本站查看
    3. 赵鑫,乔铁柱,冀杰,刘亮亮,武宏旺. 基于RGB-D视觉信息融合的带式输送机煤流量检测方法研究. 煤炭技术. 2024(07): 225-229 . 百度学术
    4. 王涛. 基于改进MobileNet的带式输送机煤量检测研究. 能源与环保. 2024(07): 198-202 . 百度学术
    5. 尹瑞,张冬雪,倪强. 基于数组的刮板输送机运载模型及煤量计算算法研究. 工矿自动化. 2024(08): 84-90 . 本站查看
    6. 牛亚凯. 基于超声波传感器的输送机煤流控制方法研究. 机械管理开发. 2024(12): 221-223 . 百度学术
    7. 吴江伟,南柄飞. 工作面刮板输送机煤流状态识别方法. 工矿自动化. 2023(11): 60-66 . 本站查看
    8. 张宇. 带式输送机煤流检测系统设计及其应用研究. 现代工业经济和信息化. 2023(12): 91-93 . 百度学术

    其他类型引用(0)

图(7)  /  表(2)
计量
  • 文章访问数:  366
  • HTML全文浏览量:  131
  • PDF下载量:  24
  • 被引次数: 8
出版历程
  • 收稿日期:  2022-08-15
  • 修回日期:  2023-03-28
  • 网络出版日期:  2022-10-20
  • 刊出日期:  2023-04-24

目录

/

返回文章
返回