0 引言
带式输送机是煤矿生产过程中的主要运输设备。堆煤故障是带式输送机的常见故障之一。煤炭因输送不及时而堆积在输送带或者煤仓处，使得煤炭高度大于正常煤位时即为堆煤故障。此时必须停止运输并及时处理，否则煤炭将淹没输送机机头，造成巷道阻塞，引起瓦斯超限；还会造成输送带打滑，引起火灾等严重安全生产事故。目前，针对带式输送机堆煤故障的自动化检测技术主要包括接触式传感器检测[1]和非接触式计算机视觉检测[2]。
接触式堆煤传感器检测方法主要利用行程开关[3]、电极开关[4]等原理实现堆煤检测。基于行程开关的堆煤传感器由行程触杆和对应的传感器组成，正常条件下传感器的接线端子断路，当堆煤发生后，煤推动行程触杆，使得传感器接线端子接通，从而触发堆煤事故报警。基于电极开关的堆煤传感器利用电极探头与煤接触产生导电信号，完成堆煤检测。这类检测方法存在以下缺点：① 传感器安装位置靠近输送带，容易与煤块产生机械摩擦，使设备变形、损坏，引起电火花等。② 煤矿井下湿度大，传感器容易短路，导致误触发堆煤报警。③ 煤尘多且堆积在触杆、电极探头处，容易误触发报警，需要经常清理和维护。
以计算机视觉技术为主的非接触式堆煤检测方法发展较快，其克服了传统接触式传感器的缺点，有无接触、反应快、精度高、安装维护简单等优点[5-6]。吴喆峰等[7]提出一种基于图像识别的堆煤检测技术，设计了一种特制、易识别的警戒标志，利用深度神经网络识别警戒标志，当堆煤事故发生时，必然遮挡警戒标志，触发堆煤报警，但由于煤尘多、散煤遮挡等因素，易发生误触发。宣鹏程等[8]提出在带式输送机轨道机器人中，利用激光雷达反射成像，根据三角测距原理重建三维曲面，实现堆煤故障检测。该方法的优点是精度高、速度快、不受环境影响，但由于激光雷达模块[9]价格昂贵，成本太高，应用范围小。
红外结构光技术是一种快速、高精度的深度感知技术[10-11]，也能用于物体的三维曲面重建，其原理类似于三角测距，精度高且成本远低于激光雷达[12-13]。因此，本文采用红外结构光技术快速重建带式输送机煤流曲面，提出一种基于曲面重建的带式输送机堆煤识别方法。利用红外结构光技术获取堆煤的深度图；将深度图映射为点云图，利用近似德劳内剖分法重建堆煤曲面[14]；根据曲面状态判定是否出现堆煤事故。实验结果验证了该方法的可行性和准确性。
1 红外结构光双目成像原理
利用摄像仪和投影仪构建双目立体视觉成像模型，如图1所示，其中c1为投影仪中心，c2为摄像仪中心。投影仪射出结构化编码的图像，图像中任意像素P1的特征具有唯一性，经过目标P反射之后，由摄像仪获取；通过解码找到与P1特征匹配的像素P2，完成单像素点立体匹配[15]；当遍历完整个图像之后，完成稠密的双目立体匹配[16]；再反算出每个像素点在空间中的位置，得到深度图[17-18]。
图1 双目立体视觉成像模型
Fig.1 Binocular stereo vision imaging model
设P1在投影仪图像中的像素坐标为[j1,i1]，P2在摄像仪图像中的像素坐标为[j,i]，目标P的世界坐标为[x,y,z]，可得双目成像约束方程[19]：
(1)
式中：s1，s2为非零常数，分别代表P点在投影仪、摄像仪坐标系中的z轴坐标；K1，K2分别为投影仪、摄像仪的内参数；R，T分别为摄像仪坐标到投影仪坐标的旋转矩阵和平移矩阵；I为单位矩阵。
通过摄像机标定技术[20]获取相关参数的值，已知参数为K1，K2，R，T，[j1,i1]与[j,i]稠密匹配[16]，未知参数为s1，s2，x，y，z，求解式(1)，可得P点的世界坐标[x,y,z]，即P点相对于c2的三维坐标。当遍历摄像仪图像的所有像素后，得到5元数组[j,i,x,y,z]。像素坐标[j,i]与世界坐标[x,y,z]一一对应，因此，用[xji,yji,zji]表示三维点云坐标，其中zji为深度。
2 基于近似德劳内剖分的堆煤曲面重建方法
将深度图映射到点云图，用点云数据构建凸四边形网；用近似德劳内剖分法对凸四边形网进行三角剖分，完成堆煤曲面重建。
2.1 凸四边形网构建
深度图中任意像素存在上、左、下、右4个最近邻域像素，简称4邻域关系。由于深度图与点云图是一一对应关系，那么深度图的4邻域也可以一一映射到点云图，4邻域关系依然近似成立。对4邻域进行连接，在深度图中形成正方形(凸四边形)网络，映射到点云图中构成凸四边形网。
深度图到点云图的映射如图2所示。设深度图中同一行左右相邻2个像素的坐标为[j,i]与[j+1,i]，对应的点云坐标为[xji,yji,zji]与[x(j+1)i,y(j+1)i,z(j+1)i]。仅讨论左右相邻的情况，省略符号i，y，z，则j对应xj，j+1对应xj+1，上下相邻的步骤类似。
(a) 深度图4邻域
(b) 点云图4邻域
图2 深度图到点云图的映射
Fig.2 Mapping from depth map to point cloud map
根据式(1)可得左右邻域坐标[20]：
(2)
式中：αx为图像每像素的物理尺寸；v0为摄像机中心在图像中的像素横坐标。
要使点云图的左右邻域关系保持不变，必须满足如下条件：
xj≤xj+1⟹zj(j-v0)≤zj+1(j+1-v0)⟹
(3)
由式(3)可得：只有在深度图剧烈变化区域，且在图像边界处，4邻域才有极小概率不成立，从而凸四边形也不成立。带式输送机上的正常煤流或堆煤深度图分布均匀，几乎不会出现深度剧烈变化的情况。因此，4邻域关系和凸四边形极大概率成立。
2.2 近似德劳内剖分法
经典德劳内三角剖分法利用空圆特性、最大化最小角特性2个性质进行三角网剖分。空圆特性：任意三角形的外接圆中不存在其他点；最大化最小角特性：任意2个相邻的三角形构成凸四边形，将对角线互换后，6个内角的最小角不会增大。
经典德劳内三角剖分法的基本思路：① 将所有点依次插入三角形链表，在链表中找出外接圆包含插入点的三角形。② 根据2个性质对插入点和三角形进行优化，形成新的三角形链表。③ 重复以上步骤，直到所有点插入完毕。可以看出这是一个插入排序过程。
由于堆煤形状奇特、不平滑，不是简单的平面或曲面，导致点云数据不规则、间隔不均匀。面对海量的三维点云数据，经典德劳内三角剖分法无法满足实时性要求。因此，提出近似德劳内剖分法，用遍历过程代替插入排序过程。
近似德劳内剖分法如图3所示。在凸四边形网络基础上，对每个凸四边形进行一次对角线长短判定，连接短对角线，构成三角形网络。这样生成的三角网络近似满足德劳内性质，有小概率不成立，但算法复杂度低。
(a) 短对角线剖分
(b) 长对角线剖分
图3 近似德劳内剖分法
Fig.3 Approximate Delaunay subdivision
近似德劳内剖分法没有任何插入、排序、迭代步骤，仅执行了像素点遍历运算，算法复杂度是O(n)；而经典德劳内三角剖分法是一个插入排序过程，算法复杂度是O(n2)。近似德劳内剖分法存在小概率不满足德劳内性质的情况，但可大幅提升三角剖分速度。
3 基于曲面重建的堆煤识别方法
完成三角剖分后，堆煤曲面由三角网络构成。设三角形总数为N，三角形集为(xpq,ypq,zpq)(p=1,2,3;q=1,2,…,N)，p表示同一个三角形的3个顶点编号，q表示不同三角形的编号，zpq表示三角形顶点到相机的距离。距离越小，表示堆煤发生的可能性越大，也可能因噪声影响使少量三角形出现异常数据，产生误报。因此，最终的堆煤识别报警规则：设定距离阈值hd和面积阈值ts，找出所有距离小于hd的三角形，计算其面积之和，若面积和占三角网总面积的比例大于ts，则输出堆煤报警。
阈值hd与2个参数有关：结构光相机到输送机带面距离hca和正常煤流高度hco。取hd=hca-αhco，α∈[1,3]，物理意义是当前煤流高度超过hco的α倍，即可认为出现小面积的异常煤流。阈值ts是一个百分比，物理意义是距离小于阈值hd的三角形面积占总面积的比例，推荐ts值的范围为[0.3,0.6]。
堆煤识别步骤：
(1) 在每个三角形中，如果有2个顶点到相机的距离zpq≤hd，说明该三角形有效。利用海伦公式计算三角形面积
其中k=1,2,…,M,M为有效三角形的总数;a，b，c为三角形边长，
计算a，b，c时不考虑深度。
(2) 遍历完所有三角形后，对满足条件的三角形面积进行求和，
设所有三角形的总面积为Sz,则当
时，输出堆煤报警。
4 实验分析
实验在中煤科工集团重庆研究院实验室完成，采用Orbbec Astra Mini结构光相机模组，输出深度图分辨率为640×480，帧率为30 帧/s，开发工具箱为Openni。计算机硬件配置：i5-9400，内存为16 GB，操作系统为Windows 10。
4.1 红外结构光的光照鲁棒性
可见光波长为390～780 nm，结构光相机发出的红外光波长为900 nm左右，不会相互干扰。在光照不足的黑暗环境中，成像效果好，与可见光无关，如图4所示。
(a) 可见光成像
(b) 深度图
图4 光照不足条件下深度图成像效果
Fig.4 Depth map imaging effect under insufficient light conditions
用矿灯(KL5LM(C)2号)在约1.3 m处直射结构光相机，深度图成像效果好，矿灯光源不会对红外光产生干扰，仅在光源处有少部分面积无法计算深度图，如图5所示。图5(c)是矿灯开与矿灯关2种条件下深度图的相对误差二值分割图。将矿灯开、关2种条件下深度图的有效像素相减，除以图5(a)的深度图，得到相对误差图；对相对误差图进行二值分割，相对误差大于3%时设灰度值为255，否则设为0。从图5(c)可看出，白色像素数量很少，出现在深度图边界处，不是矿灯开关造成的。
(a) 矿灯关
(b) 矿灯直射
(c) 相对误差二值分割
图5 相同场景矿灯对深度图影响效果
Fig.5 The effect of mine lamp on depth map in the same scene
黑暗条件和强光源直射在煤矿井下具有典型的代表意义，严重制约了基于可见光的视觉算法，而红外结构光技术有效地提高了算法对光照的鲁棒性。
4.2 近似德劳内剖分法的准确性和运行效率
为了验证近似德劳内剖分法的准确性和运行效率，在2台带式输送机上仿真堆煤故障，每台采集30帧堆煤故障深度图和30帧正常煤流深度图。
首先，验证点云图的4邻域关系和凸四边形网有极大的概率成立。统计120帧深度图中4邻域关系和凸四边形的总数，再将两者映射到点云图，进行最近4邻域关系和凸四边形判定(判定时只提取点云的x，y坐标值)，统计判定成功的总数，结果见表1。可见，点云图4邻域关系和凸四边形判定成功率超过99.9%。
表1 点云图结构关系判定结果
Table 1 Judgement result of structure relation of point cloud map
结构关系总数(深度图)判定成功数(点云图)成功率/%4邻域关系43 478 91343 478 46599.999 0凸四边形21 784 33721 782 02299.989 4
其次，验证用近似德劳内剖分法得到的三角形有极大概率满足空圆特性和最大化最小角特性。从点云图中提取所有凸四边形，采用近似德劳内剖分法进行三角剖分，统计得出三角形总数为43 160 476，满足2个性质的三角形总数为42 930 028，近似德劳内剖分法的成功率为99.466 1%。
最后，验证近似德劳内剖分法的运行效率。用120帧(640×480)点云数据对近似德劳内剖分法和经典德劳内剖分法进行对比测试，得出两者的曲面重建时间分别为1.28，134.93 ms。
近似德劳内剖分法的精度能够满足应用要求，同时，与经典德劳内剖分法相比，可极大地提高运算速度。
4.3 堆煤故障识别
近似德劳内剖分结果如图6所示。首先，构建凸四边形网，用较粗实线表示；其次，进行近似三角剖分，形成三角形网络，用较细虚线表示；最后，进行距离判定。红色三角形为有效三角形，当红色三角形面积比例大于ts即认为出现堆煤故障。
图6 近似德劳内剖分结果
Fig.6 Approximate Delaunay subdivision results
为了确定合适的阈值hd和ts，利用现有120帧图像进行训练，结果如图7所示。用60帧图像模拟堆煤，60帧图像模拟正常煤流，为了方便描述，各取6帧数据，其他隐藏。红色曲线表示堆煤，蓝色曲线表示正常煤流。找到堆煤曲线与正常煤流曲线差距最大的点，将该点的坐标作为最佳阈值，即hd=1 115.8 mm，ts=0.33。实验中，相机到带面的距离hca=1 400 mm，正常煤流高度hco=200 mm，计算可得α=1.421。
图7 阈值训练结果
Fig.7 Threshold training results
基于曲面重建的堆煤识别效果如图8所示，通过距离阈值hd将曲面分割成暖色和冷色。暖色区域表示发生了堆煤,冷色区域表示未发生堆煤。
(a) 未堆煤图像
(b) 未堆煤点云重建图
(c) 堆煤图像
(d) 堆煤点云重建图
图8 基于曲面重建的堆煤识别结果
Fig.8 Coal stacking identification results based on surface reconstruction
通过实验室模拟堆煤和正常运输图像数据各120帧，设定恰当的阈值，进行实验，结果表明漏检数和误检数均为0。因此，通过基于曲面重建的带式输送机堆煤识别方法可以准确判断是否发生堆煤故障，检测结果与实际情况相符；对大量图像处理时间进行统计，得出每帧处理时间小于20 ms，满足实时性要求。
5 结论
(1) 采用红外结构光技术获取深度图，在井下黑暗条件下成像效果好，且不易被井下光源干扰。
(2) 提出基于近似德劳内剖分的堆煤曲面重建方法，将经典德劳内三角剖分过程简化成遍历过程，算法复杂度由O(n2)简化为O(n)，运行效率提升100倍，而剖分精度几乎没有降低，超过99%的三角形依然满足德劳内性质。
(3) 在曲面重建的基础上实现了带式输送机堆煤识别，设定恰当的阈值，得出漏检数和误检数均为0；对大量图像处理时间进行统计，得出每帧处理时间小于20 ms，满足实时性要求。
(4) 近年来三维测量算法发展较快，煤矿井下对三维测量算法的需求也越来越多。基于近似德劳内剖分法的曲面重建技术不仅可以应用于堆煤，还可应用于煤流量统计、掘进超循环等需要三维测量的场景，这也是下一步的研究工作方向。
[1] 蒋志龙,张大女.基于ADXL335的堆煤传感器的设计[J].工矿自动化,2012,38(8):87-89.
JIANG Zhilong,ZHANG Danü.Design of coal piling sensor based on ADXL335[J].Industry and Mine Automation,2012,38(8):87-89.
[2] 张和平.基于机器视觉的矿用带式输送机堆煤故障监控系统研究[J].煤炭科技,2020,41(1):89-92.
ZHANG Heping.Research on fault monitoring system of mine belt conveyor based on machine vision[J].Coal Science & Technology Magazine,2020,41(1):89-92.
[3] 李红祥,郭艳雄.一种新型堆煤保护装置:CN206827457U[P].2018-01-02.
LI Hongxiang,GUO Yanxiong.A new type of coal pile protection device:CN206827457U[P].2018-01-02.
[4] 邸云龙.矿用本质安全型双堆煤保护传感器:CN207662488U[P].2018-07-27.
DI Yunlong.Mining intrinsically safe stack coal protection sensor:CN207662488U[P].2018-07-27.
[5] 袁姮,王志宏,姜文涛.熵能量堆煤图像的定位与识别[J].中国图象图形学报,2015,20(8):1062-1069.
YUAN Heng,WANG Zhihong,JIANG Wentao.Coal pile location and recognition method based on entropy energy[J].Journal of Image and Graphics,2015,20(8):1062-1069.
[6] 张涛,吴高镇.带式输送机故障巡检机器人系统设计[J].工矿自动化,2018,44(10):72-76.
ZHANG Tao,WU Gaozhen.Design of fault inspection robot system for belt conveyor[J].Industry and Mine Automation,2018,44(10):72-76.
[7] 吴喆峰,曹凌基,朱晓宁.一种人工智能视频识别皮带堆煤的监测方法:CN110053943A[P].2019-07-26.
WU Zhefeng,CAO Lingji,ZHU Xiaoning.A monitoring method for artificial intelligence video recognition of belt pile coal:CN110 053943A[P].2019-07-26.
[8] 宣鹏程,孙稚媛,周东旭,等.煤矿轨道式带式输送机巡检机器人系统设计[J].煤矿机械,2020,41(5):1-3.
XUAN Pengcheng,SUN Zhiyuan,ZHOU Dongxu,et al.Design of track inspection robot system for belt conveyor in coal mine[J].Coal Mine Machinery,2020,41(5):1-3.
[9] XU F,WANG Y,LI F.Pixel multiplexing technique for real-time three-dimensional-imaging laser detection and ranging system using four linear-mode avalanche photodiodes[J].Review of Scientific Instruments,2016,87(3):033112.
[10] NGUYEN H,NGUYEN D,WANG Z,et al.Real-time,high-accuracy 3D imaging and shape measurement[J].Applied Optics,2015,54(1):9-17.
[11] WU Z,GUO W,ZHANG Q.High-speed three-dimensional shape measurement based on shifting gray-code light[J].Optics Express,2019,27(16):22631-22644.
[12] 郝丁丁.基于激光散斑的带式输送机煤流负载监测方法研究[D].西安:西安科技大学,2020.
HAO Dingding.Research on load monitoring method of coal flow of belt conveyor based on laser speckle[D].Xi'an:Xi'an University of Science and Technology,2020.
[13] JEUGHTA S V D,DIRCKXA J J J.Real-time structured light profilometry:a review[J].Optics and Lasers in Engineering,2016,87:18-31.
[14] MAROT C,PELLERIN J,REMACLE J F.One machine,one minute,three billion tetrahedral [J].International Journal for Numerical Methods in Engineering,2019,117(9):967-990.
[15] ZUO C,FENG S,HUANG L,et al.Phase shifting algorithms for fringe projection profilomety:a review[J].Optics and Lasers in Engineering,2018,109(5):23-59.
[16] TONIONI A，TOSI F，POGGI M,et al.Real-time self-adaptive deep stereo[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:195-204.
[17] ZHANG S.High-speed 3D shape measurement with structured light methods:a review[J].Optics and Lasers in Engineering,2018,106:119-131.
[18] ZHOU S,ZHANG J,ZUO W,et al.DAVANet:stereo deblurring with view aggregation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:10996-11005.
[19] SONG Z,JIANG H,LIN H,et al.A high dynamic range structured light means for the 3D measurement of specular surface[J].Optics and Lasers in Engineering,2017,95:8-16.
[20] 黄琬婷,胡小平.一种基于张氏标定法的单目相机改进标定算法[J].导航与控制,2019,18(1):105-111.
HUANG Wanting,HU Xiaoping.An improved calibration algorithm of monocular camera based on Zhang's plane calibration method[J].Navigation and Control,2019,18(1):105-111.
