0 引言
电铲，也称矿用挖掘机，是一种广泛应用于露天煤矿开采的重要采掘装备[1]，其铲斗的斗齿在采掘作业过程中易发生脱齿和断齿现象。脱落的斗齿一旦连同矿石物料进入破碎机中会损坏破碎机，从而引发整条采掘-破碎生产线的停工，造成重大的经济损失，甚至引发重大的人员伤亡事故。因此，实现电铲斗齿缺失的在线检测具有重要的工程意义和实用价值。
针对斗齿缺失检测问题，国内外学者进行了大量的研究工作。Luo X J等[2]提出了一种检测系统方案，其使用激光测距仪对工作状态下的斗齿进行扫描重建，然后通过和原模型进行比对来判断是否有斗齿脱落。 Lim S N等[3]提出了一种视觉系统检测方法，首先获得图像中齿线的位置信息，之后对各齿线位置的斗齿进行形状匹配并通过计数统计的方法确定斗齿是否缺失。汤恒[4]提出了一种基于机器视觉的电铲斗齿脱落检测算法，将图像分割成多个区域，通过计算各个区域的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征[5]，再利用SVM构造分类器，完成对斗齿缺失的检测。然而，以上斗齿缺失检测方法存在实时性较差、误报率较高等问题。
针对现有电铲斗齿缺失检测方法存在的问题，本文提出了一种基于机器视觉的电铲斗齿缺失检测方法，利用电铲作业过程中斗齿与矿石物料之间摩擦产生红外辐射的机理，采用红外成像系统获得铲斗图像[6-7]，通过模板匹配、帧差法、形状特征分析等方法实现电铲斗齿的实时、快速、准确检测。
1 方法原理
斗齿缺失检测的流程如图1所示。整个过程包括2个部分：离线检测和电铲斗齿的在线检测。
图1 斗齿缺失检测流程
Fig.1 Flow chart of electric bucket teeth missing detection
对斗齿进行实时检测之前，需根据所选电铲型号获取相关参数，此过程相当于电铲斗齿在线检测的预处理阶段，即为离线检测。离线检测包括3个部分：① 选择外观恒定的区域作为目标区域，手动创建ROI(Region of Interest, 感兴趣区域)并将该区域分割出来。② 对分割出来的目标区域的梯度图像创建模板。③ 依照工作现场所选目标区域与斗齿区域的相对位置关系，获得铲斗红外图像中目标区域及斗齿区域的位置关系，并在斗齿区域各齿位置处生成检测窗口。铲斗红外图像如图2所示。
图2 铲斗红外图像
Fig.2 Infrared image of electric bucket
在线检测过程包括4个部分：① 第i帧图像中目标区域及齿线区域定位。② 利用帧差法实现运动物体检测[8-9]。③ 在差分图像中，依照离线检测所生成的检测窗口，进行相应比例放缩并在差分图像中生成相应的检测窗口，对斗齿进行分割。④ 通过自适应阈值分割[10]，提取图像中的斗齿，根据所得斗齿的面积大小进行斗齿存在与斗齿缺失的分类，从而完成整个斗齿缺失检测过程。
2 铲斗目标区域定位及斗齿定位
检测方法通过对差分图像中各个位置的斗齿进行分割，对分割后的斗齿图像进行处理以判断斗齿的缺失情况。但直接定位斗齿齿线区域难度较大，所以，本文选择特征明显且工作过程中不易被泥土、矿物等覆盖的区域作为目标区域，通过定位目标区域并结合目标区域及齿线区域的相对位置关系间接定位齿线区域。
2.1 红外图像采集
为实现24 h检测要求，本文利用电铲作业过程中斗齿与矿石物料之间摩擦产生红外辐射的机理，采用红外相机获取铲斗的工作图像。红外相机被架设在电铲的天轮上，此处视野宽阔，可以清楚监测到斗齿的状态。计算机和报警器被安装在电铲的驾驶室内，便于驾驶人员观察和操作，计算机通过线缆和红外相机相连接[4]，计算机用于处理红外成像系统获得的铲斗图像，当检测到斗齿缺失时，报警器报警。红外成像系统安装位置如图3所示。
2.2 梯度图像生成
目标区域定位方法采用了模板匹配方法中常用的基于轮廓特征的匹配方法，利用边缘检测性能较好、计算复杂度较低的 Sobel算子提取梯度图像，获取边缘特征[11-12]。铲斗梯度图像如图4所示。计算
图3 红外成像系统安装位置
Fig.3 Installation of infrared imaging system
图4 铲斗梯度图像
Fig.4 Gradient image of electric bucket
公式如式(1)所示。
fE(x,y,t)=|f(x,y,t)Hx|+|f(x,y,t)Hy|
(1)
式中：fE(x,y,t)为像素点在t时刻的近似梯度幅值；Hx，Hy分别为水平、垂直方向上的Sobel算子。
(2)
(3)
2.3 目标区域定位
目标区域定位步骤如下：
(1) 在线检测之前，预先获取一幅铲斗的工作图像(图2)，用于创建模板。图5所示的矩形框区域由于工作过程中外观恒定，因此，被选为目标区域。通过创建ROI区域，在梯度图像中对该区域进行分割并创建模板，对模板进行相应比例的放缩。
图5 目标区域
Fig.5 Target area
(2) 在线检测中，对现场工作图像进行预处理并求得梯度图像，在梯度图像中，根据目标区域的边缘特征进行模板匹配，从而实现目标区域定位，并获得匹配得分S[13-14]。从梯度图像中截取目标区域所创建的模板轮廓如图6所示，目标区域的匹配结果如图7所示。
图6 根据目标区域所创建的模板轮廓
Fig.6 Template contour created by target area
图7 目标区域的匹配结果
Fig.7 Matching results of target area
2.4 齿线区域定位
齿线区域定位步骤如下：
(1) 根据目标区域的最小外接矩形相关参数得到目标区域左上角的像素坐标(x,y)。
(2) 确定左端第1颗斗齿的位置。设左端第1颗斗齿距目标区域的宽为w，高为h，则第1颗斗齿左上角的像素坐标为
(4)
根据式(4)，实现对第1颗斗齿的定位。
(3) 利用铲斗齿线的结构特征，实现对其余4颗斗齿的定位，并在各位置处生成检测窗口，如图8所示。
此外，随着铲斗与相机相对位置的变化，由成像系统获取的铲斗尺寸也会发生变化，这就要求检测窗口随着帧数的变化具有自适应性。
本文以离线检测中采用的图像为基准，已知此时匹配获得的目标区域面积为A1，实际检测中设第m帧匹配获得的目标区域面积为A2，此时，第1颗
图8 背景图像中斗齿位置
Fig.8 Position of bucket teeth in background image
斗齿左上角的像素坐标为
(5)
同理可得其余斗齿定位信息。
3 斗齿缺失检测
帧差法是将视频流中相邻2帧或相隔几帧图像的2幅图像像素值相减，并对相减后的图像进行阈值化来提取图像中的运动区域[8]。若相减的2帧图像的帧数分别为第i帧及第j帧，其帧图像分别为fi(x,y)，fj(x,y)，差分图像二值化阈值为T，差分图像用D(x,y)表示，则帧差法公式如下：
(6)
根据铲斗在工作过程中的运动特性，基于帧差法对铲斗工作过程中相邻2帧图像做差分运算，突出运动过程中的斗齿并将其从差分图像中分割出来。通过自适应阈值分割，提取图像中的斗齿，通过对分割后图像中斗齿及其他干扰物面积大小进行分类，实现对电铲斗齿缺失的检测。具体过程如下：
(1) 预处理。由于实际图像受噪声影响，直接采用帧差法进行阈值选取比较困难，一种有效的解决办法是先对图像进行平滑处理，为保证边缘不被破坏，此处采用中值滤波算法[15]。
(2) 利用帧差法实现斗齿目标检测。
(3) 在差分图像中各齿位置生成检测窗口，并进行分割。齿尖定位如图9所示。
(4) 通过自适应阈值提取图像中的斗齿，并获得目标面积A。根据所得斗齿的面积及分割所得少量背景等干扰物面积大小的差异，对斗齿存在与斗齿缺失2种情况进行阈值判断，即
(7)
图9 差分图中齿尖定位
Fig.9 Teeth tip positioning in the difference graph
式中T1为对目标面积A及干扰物面积所设阈值。
若所有斗齿都存在，则没有缺齿事件发生；反之，若至少有一颗斗齿缺失，则判定为缺齿事件，并发出警报。
正常情况及人为造成斗齿缺失情况的检测结果如图10所示。
图10 正常情况下及人为造成斗齿缺失情况下的斗齿检测结果
Fig.10 Test results of bucket teeth under normal conditions and man-made teeth missing
4 实验分析
本文以WK-10B型电铲为研究对象，根据上述成像设备从某矿采集了2个不同时段的视频剪辑，每个剪辑视频中，手动脱掉1～2颗斗齿来模拟缺齿事件，共计120幅图像，通过实验对方法的有效性进行验证。在创建检测窗口时，根据本文所使用的电铲型号，设置斗齿检测窗口的宽w为30像素，高h为60像素，检测窗口的步长为62像素。本文采用距相机位置最近处的图像作为模板图像，模板放缩比例最小为0.5，最大为1.1。
实际检测前，通过预先调试程序，获得了相邻5齿齿尖的面积及各齿位置处干扰物质的面积，见表1、表2。
为估计目标区域定位检测性能，本文对目标区域的匹配得分S的测量阈值T2从0.1改变到1.0，以0.1的步长计算匹配的准确率及匹配运行时间。
表1 各位置处斗齿面积(像素数)
Table 1 Areas of bucket teeth at each position pixel
表2 斗齿干扰物面积(像素数)
Table 2 Interference areas of bucket teeth pixel
(8)
同样，为估计缺齿检测性能，测量阈值从表2中的测量最大值改变到表1中的测量最小值，以30像素为步长计算缺失检测的准确率。表3为不同T2下，目标区域定位时间及单次检测时间。图11显示了不同T2下，目标区域定位的准确率。从图11可以看出，T2取0.6时，定位性能达到最佳。
表3 不同T2取值下，目标区域定位及检测时间
Table 3 Location and detection time of the target area under different values ofT2
图12为T2=0.6时，T1取不同值时的检测结果。当T1取55～100时，检测性能达到最佳。
5 结语
给出了一种基于机器视觉的电铲斗齿缺失检测方法，分析了各参数对缺失检测的影响并计算获得相应参数的取值范围。通过在一定范围内合理取值，斗齿缺失检测准确率达到了90%以上，从而验证了方法的有效性，可满足电铲斗齿缺失检测的实时、快速、准确的需求。
图11 目标区域定位准确率
Fig.11 Positioning accuracy of target area
图12 斗齿缺失检测结果
Fig.12 Test results of bucket teeth missing detection
参考文献(References)：
[1] 齐凯,韩维国.大型矿用挖掘机——电铲概述[J].一重技术,2008(1):5-8.
QI Kai,HAN Weiguo.Heavy-duty mining machine—electrical excavator description[J].CFHI Technology,2008(1):5-8.
[2] LUO X J,ZHANG H.Missing tooth detection with laser range sensing[C]//IEEE 5th World Congress on Intelligent Control and Automation,Beijing,2004:3607-3610.
[3] LIM S N,SOARES J,ZHOU N.Tooth guard:a vision system for detecting missing tooth in rope mine shovel[C]//Applications of Computer Vision,2016:1-7.
[4] 汤恒.基于机器视觉的电铲斗齿脱落检测算法研究[D].太原:中北大学,2017.
[5] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition，2005，1(12):886-983.
[6] 杨殿成.红外检测技术原理及应用[J].新疆电力，2004(3)：28-31.
[7] 张恒.红外目标检测与识别理论与技术研究[D].哈尔滨：哈尔滨工程大学,2008.
[8] 潘翔鹤，赵曙光,柳宗浦，等.一种基于梯度图像帧间差分和背景差分的运动目标检测新方法[J].光电子技术，2009,29(1)：34-36.
PAN Xianghe,ZHAO Shuguang，LIU Zongpu,et al.Detection of video moving object by combining grads-based frame difference and background subtraction[J].Optoelectronic Technology,2009,29(1):34-36.
[9] 崔星，闫清东.基于帧间差分方法的道路车辆检测系统[J].微计算机信息，2007，23(10):117-119.
CUI Xing,YAN Qingdong.A highway vehicles detection system based on frames difference[J].Microcomputer Information,2007,23(10):117-119.
[10] 阳树洪.灰度图像阈值分割的自适应和快速算法研究[D].重庆：重庆大学，2014.
[11] 张美静.亚像素边缘检测技术研究[D].沈阳：沈阳理工大学，2013.
[12] 关波.刀具几何参数图像测量技术研究[D].太原：中北大学,2015.
[13] 周科嘉.基于HOG特征和模板匹配的行人检测与跟踪研究[D].长春：吉林大学，2014.
[14] 吴晓军，邹广华.基于边缘几何特征的高性能模板匹配算法[J].仪器仪表学报，2013，34(7):1462-1469.
WU Xiaojun,ZOU Guanghua.High performance template matching algorithm based on edge geometric features[J].Chinese Journal of Scientific Instrument,2013,34(7):1462-1469.
[15] 张恒，雷志辉，丁晓华.一种改进的中值滤波算法[J].中国图像图形学报，2004，9(4):408-411.
ZHANG Heng，LEI Zhihui,DING Xiaohua.Improved method of median filter[J].Journal of Image and Graphics,2004,9(4):408-411.