0 引言
液压支架实时状态的在线监测监控是实现综采工作面无人化、智能化的重要组成部分。准确判断液压支架护帮板是否及时收回可以避免采煤机工作时与液压支架护帮板及伸缩梁的相互干涉问题，实现液压支架与采煤机的协调运行。现阶段国内液压支架护帮板的收回状态判断大多基于传感器检测技术实现，如黄金福等[1]提出的液压支架护帮板控制装置，其控制方法是在每一个护帮板上安装一组传感器单元，每组传感器单元包括一个压力传感器和一个倾角传感器，压力传感器检测护帮板液压缸表面的压力值，倾角传感器检测护帮板仰角，2种传感器都与支架控制器相连，完成对护帮板的监测；魏文艳等[2]针对大采高工作面护帮板回收监测提出了一种液压支架护帮板自动控制系统，使用支架控制器接收压力传感器、行程传感器信息，采用接近开关判断护帮板的回收状态；徐勇智等[3]和压力传感器接近开关建立了护帮板监测系统，完成对护帮板的监测，并对护帮板的伸出量进行了分析；梁海权等[4]提出了矿用液压支架状态检测装置及方法，利用磁感应器、电压运算电路计算出护帮板的收回状态。以上4种方法都是接触式的测量方法，需要安装大量的传感器设备，成本高、安装繁琐、效率低、维护困难，且矿井环境复杂，存在电磁干扰，会导致测量结果不准确，测量结果也容易受机身倾斜等因素的影响[5]。
针对以上问题，本文提出了一种基于图像识别的液压支架护帮板收回状态监测方法，该方法将雾尘图像清晰化算法与机器视觉测量方法相结合，对液压支架护帮板的收回状态进行非接触监测。这种非接触的测量方法实时性强、准确度高，同时对采煤机摇臂、顶底板的检测识别具有一定的参考价值。
1 液压支架护帮板收回状态监测原理
液压支架护帮板收回状态监测原理如图1所示。本文选取Raspberry pi3作为监测系统的控制器，将Raspberry pi3与通过张正友标定法[6]获得内外部参数的CCD相机相连接，对液压支架护帮板进行视频采集，并进行液压支架护帮板某一状态下视频帧图像的去雾尘处理和角度实时测量。
1-护帮板； 2-短杆； 3-长杆；4-千斤顶； 5-顶梁
(a) 液压支架左视图
(b) 监测原理
图1 液压支架护帮板收回状态监测原理
Fig.1 Principle of monitoring of recovery state of hydraulic support guard plate
根据Raspberry pi3计算出的角度是否在要求范围之内来判断液压支架护帮板是否收回，然后将测量的角度转换为无线信号传输给支架控制器;支架控制器控制电磁阀驱动器，驱动电磁阀组带动护帮板千斤顶，对未收回到位的液压支架护帮板进行及时调整。若调整后依然处于未收回状态，则发出报警信号。
2 雾尘图像清晰化算法
煤矿综采工作面环境恶劣，存在大量粉尘和除尘设备产生的水雾，CCD相机采集的图像存在雾尘现象，需对其进行去雾处理。现有矿井雾尘视频图像清晰化算法主要分两类[7]：图像增强技术和物理退化模型方法。前者以Retinex为代表[8]，该算法并非真正意义上的去雾，会产生Halo效应、颜色失真的现象，但对图像暗部细节有较好的增强效果；后者以He等[9]提出的暗通道先验法则为代表，用该算法复原图像时颜色逼真、去雾效果较好，但该算法时间复杂度高，去雾图像细节较暗，不利于细节特征提取[10-11]。根据以上2种方法的优劣势，本文采用一种暗通道先验和多尺度Retinex(Multi-scale Retinex, MSR)相结合的雾尘清晰化算法对矿井雾尘视频图像进行处理。该算法将原图像分别进行暗通道先验去雾[12-13]和MSR图像增强[14]，其中暗通道先验采用区间估计大气光值，通过白平衡(White Point，WP)算法[15]简化大气散射模型，通过导向滤波精细化透射率，提高算法的实时性；MSR图像增强使用导向滤波来估计照射分量，增强局部区域边缘细节信息和对比度。然后按照一定的图像融合规则使用小波变换将增强后的2幅图像进行融合，着重突出局部区域边缘细节信息，便于局部区域边缘细节特征提取。
2.1 基于导向滤波的MSR去雾算法
根据Retinex理论，单尺度Retinex(Single Scale Retinex，SSR)算法很难同时达到动态范围压缩，因此，本文采用MSR算法，MSR算法的数学求解公式为
R′(x,y)=
logd[Fi(x,y)*S(x,y)]}
(1)
式中:R′(x,y)为增强后图像；n为尺度数，取3；ωi为尺度权重，取1/3；底数d默认为e；S(x,y)为原图像；Fi(x,y)为中心环绕函数； *表示卷积操作。
为了减弱传统Retinex算法存在的Halo效应，更好地突出图像细节，提高算法的实时性，本文采用具有平滑、保边功能的导向滤波[10]代替Retinex中的高斯滤波进行照度估计。
2.2 基于暗通道先验的去雾算法
根据大气散射理论，雾尘图像的散射模型可表示为
I(x,y)=J(x,y)t(x,y)+A[1-t(x,y)]=
Aρ(x,y)t(x,y)+A(1-t(x,y))
(2)
式中：I(x,y)为采集的雾尘图像；J(x,y)为复原图像；t(x,y)为透射率；A为雾尘条件下的大气光值；ρ(x,y)为场景反照率。
t(x,y)可表示为
t(x,y)=exp(-β d(x,y))
(3)
式中：β为衰减系数；d(x,y)为景深。
去雾的目的是通过对参数A、t(x,y)的估计，将图像从I(x,y)恢复到J(x,y)，已知条件只有I(x,y)，显然这个方程有无数个解，这就需要先验理论了。
暗通道先验是He等从研究无雾图像的统计特征中发现的，在任意给定的图像中的某些区域，总存在一个颜色通道的亮度值很低，趋近于0。暗通道满足式(4)条件：
(4)
式中：J′(x,y)为暗通道图像；
为(R,G,B)通道对应的最小值;JC(i,j)为J中的某一个通道；Ω(x,y)为以(x,y)为中心的矩形区域。
首先假设在每一个窗口内t(x,y)为常数，并且A已知，对式(2)进行变形，并对其两边求2次最小值运算，得到式(5)：
t(x,y)=
(5)
式中:IC(i,j)为I中的某个通道;AC为某一通道的大气光值。
雾的存在让人感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，将式(4)代入式(5)得到粗透射率，并引入参数λ，0<λ<1,λ取0.95。粗透射率的表达式为
(6)
2.3 煤矿井下雾尘图像增强算法
2.3.1 大气光值估计
首先求出每个像素的RGB分量的最小值，存入与原始图像相同大小的灰度图中，再使用窗口大小为15×15、滤波半径为7的最小值滤波对灰度图像进行处理，得到暗通道图像。文献[8]取暗通道图像中最亮的0.1%像素作为大气光值，容易受高度噪声或白色物体的影响，造成大气光值估计不准确。本文通过减小大气光的取值范围，使用区间估计的方法来增加其鲁棒性，直接取暗通道图中灰度值在[200,255]内的像素点，再分别计算原图中相对应像素点R、G、B三个通道的均值作为大气光值，这样还可以降低大气光值计算的时间复杂度。
2.3.2 WP算法
WP算法是利用R、G、B颜色分量的最大值来估计光照颜色。本文首先利用大气光值估计方法估计大气光值A，然后对大气光照进行白平衡处理，可得大气模型：
I(x,y)/A=ρ(x,y)t(x,y)+1-t(x,y)
(7)
大气光值区域的像素值小于雾尘图像的像素值，所以，I(x,y)/A>1。为了对透射率进行估计，将图像I(x,y)/A限制在[0,1]内，用I′(x,y)表示：
(8)
式(7)的大气模型可简化为
I′(x,y)=ρ(x,y)t(x,y)+1-t(x,y)
(9)
在I′(x,y)中，大气光值A校正为(1,1,1)T。
2.3.3 优化透射率图
由粗透射率估计得到的图像边缘细节特征比较模糊，文献[9]使用软件抠图的方法来进行透射率优化，该方法计算量大，时间、空间复杂度较高，不具有实时性。由景深与透射率之间的关系(式(3))可知，当景深的变化率较大时，透射率会发生阶跃，造成图像细节特征不完整。为了保留图像边缘特征并保证实时性，本文采用导向滤波器对粗透射率图中发生阶跃的边缘细节进行平滑处理，得到优化图像的透射率t(x,y)[16]。
2.3.4 去雾图像
将利用大气光值估计方法和式(9)分别估计出的大气光值A和优化的透射率t(x,y)代入雾尘图像散射模型(式(2))，得到去雾图像。为了保证分母不为0，引入常数t0，取值为0.1,最后得到的去雾图像表达式为
(10)
2.3.5 图像融合
基于暗通道先验处理的图像去雾效果较好，但存在整体较暗、暗部细节不清晰的情况，不利于下一步边缘特征的提取。基于导向滤波的MSR算法可以增强图像的亮度，削弱局部较暗对边缘特征提取的影响，凸显图像暗部细节特征。本文将基于导向滤波的MSR算法和基于暗通道先验的算法相结合，并按照一定的规则，对2种算法处理后的图像使用小波变换进行融合，获得边缘细节突出、视觉效果较好的去雾尘图像。
图像融合技术一般可分为像素级融合、特征级融合和决策级融合[17]。经过像素级融合的图像可尽可能多地保存原图像中的信息，具有更多的细节信息，有利于图像的进一步分析、处理，并可以判断识别潜在的目标像素点的操作，使得融合后的图像内容、细节增加，这是像素级融合的独特优点。
本文采用像素级融合中的小波图像融合，使用离散小波R′，J对2幅待融合图像进行小波分解，得到2幅图像的低频系数LR′(i,j)，LJ(i,j)，高频系数HR′(i,j)，HJ(i,j),然后采用一定的规则进行融合[18]。低频系数反映图像的概貌和平均特征，高频系数反映图像的细节特性。本文对低频系数采用加权平均算法进行融合，融合系数可表示为
LF(i,j)=a1LR′(i,j)+a2LJ(i,j)
(11)
式中a1，a2为加权系数，a1+a2=1，本文取a1=a2=0.5。
高频系数HF(i,j)采取方差取大的融合规则，对高频图像调用Canny算子提取边缘，再对边缘图像计算局部方差,图像D，E在以(i,j)为中心的局部方差为
(12)
式中：M，N分别为局部区域的行列，本文取3×3;μ为图像区域均值。
对D，E 2幅图像的方差取最大值，得
(13)
3 机器视觉测量方法
经过小波融合后的去雾图像具有很好的识别度，通过Python的Numpy.array索引访问原始像素，设置感兴趣区域(Region of Interest，ROI)，并提取出该区域[19]，然后对ROI进行图像角度测量，以判断液压支架护帮板的收回状态。
在直线检测中，霍夫变换容易受到线段形状与噪声的干扰而失真，为了增强直线检测的鲁棒性、实时性，本文通过对图像进行二值化、水平和垂直投影提取骨架，对骨架像素点拟合生成直线。
在二值化图像后，直接调用OpenCV中的距离变换函数DistanceTransform()来实现目标骨架提取，本文选取距离类型为cv2.DIST_L1，掩模大小为3×3。距离变换函数主要通过标识空间点(目标与背景点)距离的过程，最终将位置图像转换为灰度图像，图像中每个像素的灰度值为该像素与距其最近的背景像素间的距离。然后通过对距离变换后的图像进行水平和垂直投影提取骨架，减少计算量，最后调用OpenCV函数cv.fitLine()完成骨架提取像素点的拟合。在函数cv2.fitLine()中仍然选取距离类型cv2.DIST_L1，直线到原点距离的精度取0.01，直线角度的精度取 0.01，通过对存放在line数组中的前2个参数比值进行反正切变换，计算出该拟合直线的角度。
4 实验分析
4.1 雾尘图像清晰化效果对比
为了验证本文算法的实时性和有效性，采用实验设备Raspberry pi3和MV-EM200型工业CCD相机对某煤矿的综采工作面进行视频图像采集，取视频序列中的一帧图像(图2(a))，将其像素调整为640×480，并在ubuntu 16.04+Anaconda3+Python+OpenCV环境下进行处理。
从定性和定量2个方面对4种算法的去雾效果进行分析。本文2次使用导向滤波，窗口半径均取为32，正则化参数均取为10-6，A=235。实验结果如图2所示。
(a) 原始图像
(b) 粗透射图像
(c) 优化透射率图像
(d) 本文暗通道去雾图像
(e) 文献[9]算法去雾图像
(f) 导向滤波MSR算法去雾图像
(g) 小波融合后的图像
图2 矿井雾尘清晰化图像去雾效果对比
Fig.2 Comparison of defog effect of mine fog and dust clearness image
定性评价主要以主观视觉评价为主，从图2可以看出，4种算法都不同程度地提高了矿井图像的去雾效果，对比图2(b)和 图2(c)，未经细化的透射图存在明显的细节模糊、边缘特征不突出的缺点；图2(d)和图2(e)去雾效果都比较明显，与原图相比都获得较好的图像颜色，但2幅图像整体都比较暗，不利于细节特征的提取，图2(d)看起来更加平滑；图2(f)整体去雾效果较差，图像左边Halo效应明显，但整体亮度比较高；图2(g)细节和边缘特征明显，颜色适中，有着较好的视觉效果。
定量评价采用峰值信噪比(PSNR)、结构化相似度(SSIM)、文献[20]中提出的新增可见边e(可见边的规范化梯度均值为
饱和黑色或白色像素点的百分比σ等评价指标。PSNR反映的是增强后图像的失真程度，其值越大，失真程度越低；SSIM可衡量原图像和去雾图像的结构相似性；一般来说，
值越大，σ越小，说明细节保持和图像去雾效果好。不同算法去雾效果比较见表1。由表1的评价参数可以得出，文献[9]和本文暗通道先验算法的PSNR，SSIM值较小，失真较大，且文献[9]算法运行时间较长；从4种算法的值来看，去雾图像的新增可见边和梯度都得到了不同程度的提高，文献[9]和本文暗通道方法由于失真较大，导致e，σ值较大，图像去雾不均衡，综合效果较差；导向滤波MSR算法在保真方面有较好的表现，但去雾效果较差；经过小波融合后的图像PSNR、SSIM值较大，保真度高，
和σ三值的平衡性较好，
值得到了提高，增加了去雾图像的清晰度、对比度，且边缘细节突出，运行时间较短，综合效果比较好，有利于图像的提取、识别。
表1 不同算法去雾效果比较
Table 1 Comparison of defog effects of different algorithms
4.2 液压支架护帮板收回状态监测分析
对经过小波变换融合后的煤矿井下图像进行ROI提取，并对其进行角度测量，ROI提取结果如图3所示，图3(a)—图3(d)分别为图2(d)—图2(g)的ROI提取结果。测量前需要对ROI图像进行预处理，处理后的图像如图4所示。为了较好地验证用本文所提方法进行液压支架护帮板收回状态监测的准确性、有效性，利用角度传感器将液压支架护帮板调整到不同的角度,与本文测量结果进行对比分析，测量结果见表2。当液压支架护帮板的角度大于45°时，认为它处于未收回状态，对其进行调整。测量结果表明，4组测量误差均不超过2°，最大误差为1.015 6°，该误差满足测量要求。
(a) 暗通道去雾图像
(b) 文献[9]算法去雾图像
(c) MSR算法去雾图像
(d) 小波融合后的图像
图3 ROI提取结果对比
Fig.3 Comparison of ROI extraction results
(a) 二值化图像
(b) 距离变换图像
(c) 骨架提取图像
(d) 直线拟合图像
图4 ROI图像处理结果
Fig.4 ROI image processing result
表2 2种测量方法测量结果对比
Table 2 Comparison of the results of two measurement methods (°)
5 结语
基于图像识别的液压支架护帮板收回状态监测方法将暗通道先验和多尺度Retinex两种雾尘图像清晰化算法与机器视觉相结合，对护帮板的角度进行非接触测量，通过测量护帮板角度来确定液压支架护帮板的收回状态。实验结果表明，该监测方法提高了原图像的信噪比、清晰度，去雾效果较好，增强了图像的边缘细节信息，在一定程度上提高了运算效率，综合性较好。基于机器视觉的液压支架护帮板角度非接触测量方法降低了液压支架故障率，测量准确度高，综合误差小于2°，基本满足使用要求。
参考文献：
[1] 黄金福，王新军，李冰波，等.液压支架护帮板控制装置及其测量方法：201310087316.4 [P]. 2013-06-19.
[2] 魏文艳，刘清.一种用于保护矿井下综采工作面支架护帮板的自动控制系统和自动控制方法：201210279735.3 [P]. 2013-01-02.
[3] 徐勇智. 液压支架护帮板收放监测系统研究[D].西安：西安科技大学, 2016,1-52.
[4] 梁海权，王新军，黄金福，等.矿用液压支架状态监测装置及测量方法：201310451563.8 [P]. 2014-01-15.
[5] MACK C A. Fifty years of moore's law[J]. IEEE Transactions on Semiconductor Manufacturing, 2011,24(2):202-207.
[6] CHAPERON T, DROULEZ J, THIBAULT G. Reliable camera pose and calibration from a small set of point and line correspondences: a probabilistic approach[J]. Computer Vision & Image Understanding, 2011,115(5):576-585.
[7] 吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, 2015,41(2):221-239.
WU Di, ZHU Qingsong. The latest research progress of image dehazing[J]. Acta Automatica Sinica, 2015,41(2):221-239.
[8] 智宁, 毛善君, 李梅. 基于照度调整的矿井非均匀照度视频图像增强算法[J]. 煤炭学报, 2017,42(8):2192-2199.
ZHI Ning, MAO Shanjun, LI Mei. Enhancement algorithm based on illumination adjustment for non-uniform illuminance video images in coal mine[J]. Journal of China Coal Society, 2017,42(8):2190-2197.
[9] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2009:1956-1963.
[10] HE K, SUN J, TANG X. Guided image filtering[M]. Berlin Heidelberg：Springer, 2010:1397-1409.
[11] 刘国, 吕群波, 刘扬阳. 基于自适应暗原色的单幅图像去雾算法[J]. 光子学报, 2018,47(2):173-180.
LIU Guo, LYU Qunbo, LIU Yangyang. Single image dehazing algorithm based on adaptive dark channel prior[J]. Acta Photonica Sinica,2018,47(2):173-180.
[12] 谢伟, 余瑾, 涂志刚,等. 消除光晕效应和保持细节信息的图像快速去雾算法[J/OL]. 计算机应用研究, 2019,36(5).[2018-04-18].http//www.arocmag.com/article/02-2019-05-058.html.
XIE Wei, YU Jin, TU Zhigang, et al. Fast algorithm for image defogging by eliminating Halo effect and preserving details[J/OL]. Application Research of Computers, 2019,36(5).[2018-04-18].http//www.arocmag.com/article/02-2019-05-058.html.
[13] 杜明本, 陈立潮, 潘理虎. 基于暗原色理论和自适应双边滤波的煤矿雾尘图像增强算法[J]. 计算机应用, 2015,35(5):1435-1438.
DU Mingben, CHEN Lichao, PAN Lihu. Enhancement algorithm for fog and dust images in coal mine based on dark channel prior theory and bilateral adaptive filter[J]. Journal of Computer Application, 2015, 35(5):1435-1438.
[14] 方帅,杨静荣,曹洋,等.图像引导滤波的局部多尺度Retinex算法[J].中国图象图形学报,2012,17(7):11-18.
FANG Shuai, YANG Jingrong, CAO Yang, et al.
Local multi-scale Retinex algorithm based on guided image filtering[J]. Journal of Image and Graphics, 2012, 17(7):11-18.
[15] 汤群芳, 杨杰, 刘海波,等. 基于暗通道先验的单幅图像快速去雾方法[J]. 光子学报, 2017,46(9):205-213.
TANG Qunfang, YANG Jie, LIU Haibo, et al. Fast single-image dehazing method based on dark channel prior[J]. Acta Photonica Sinica,2017,46(9):205-213.
[16] 陈书贞, 任占广, 练秋生. 基于改进暗通道和导向滤波的单幅图像去雾算法[J].自动化学报,2016,42(3):455-465.
CHEN Shuzhen, REN Zhanguang, LIAN Qiusheng. Single image dehazing algorithm based on improved dark channel prior and guided filter[J]. Acta Automatica Sinica,2016,42(3):455-465.
[17] 崔旭东, 杨有. 结合HE和改进MSRCR的交通雾霾图像增强[J]. 重庆师范大学学报(自然科学版), 2018(1):100-106.
CUI Xudong, YANG You. Traffic haze image enhancement combined with HE and improved MSRCR[J]. Journal of Chongqing Normal University(Natural Science), 2018(1):100-106.
[18] 张肃, 徐春云, 王文生. 基于多小波增强的雾天运动目标跟踪技术[J]. 红外与激光工程, 2014,43(2):625-632.
ZHANG Su, XU Chunyun, WANG Wensheng. Tracking technology of moving target in foggy weather based on multi-wavelet enhancement[J]. Infrared and Laser Engineering,2014,43(2):625-632.
[19] 郭卫, 李红卫, 王渊,等. 低照度环境下采煤机摇臂角度测量方法[J]. 工矿自动化,2018,44(5):47-51.
GUO Wei, LI Hongwei, WANG Yuan, et al. Rocker angle measurement method of shearer under low illumination environment[J]. Industry and Mine Automation,2018,44(5):47-51.
[20] NICOLAS H, JEAN-PHILIPPE T, DIDIER A,et al.Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis and Stereology,2011,27(2):87-95.