Design of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor
-
摘要: 机器视觉已在煤矿带式输送机分拣机器人目标检测与识别方面具有一定的理论基础，但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别，对造成输送带穿透、撕裂等的异物目标识别的研究较少，且在目标异物精确定位方面的研究也较少。针对上述问题，设计了一种基于机器视觉的煤矿带式输送机分拣机器人异物识别与定位系统，可对输送带上存在的不同类型和不同形状的异物进行识别与定位。采用双目视觉实时获取输送带上异物图像信息，并对图像进行预处理，基于Canny算子进行图像信息增强，通过灰度拉伸方法改进图像边缘信息，突出煤矿带式输送机上异物的边缘特征；利用形态学方法提取异物形状特征，建立异物图像特征样本库，通过图像特征匹配的方式解算出异物存在区域，实现异物类型的检测、分类与识别；在异物类型成功识别的基础上，以目标异物边缘特征值为基础，建立目标异物的感兴趣区域（ROI），构建相机、输送带与目标异物坐标转换关系，利用多目标质心快速计算方法求取目标异物质心坐标，实现对目标异物的定位。系统样机实验结果表明：煤矿带式输送机分拣机器人异物识别与定位系统异物识别率不受尺寸、材质和颜色等因素影响，能够实现输送带目标异物图像的采集、处理、特征提取、识别和位置定位，识别率为92.5 %以上，目标异物位置定位平均误差为3%左右。Abstract: Machine vision has a certain theoretical basis in target detection and recognition for sorting robot of coal mine belt conveyor. But current target recognition of sorting robot of coal mine belt conveyor is mainly aimed at coal-gangue recognition. There are few kinds of research on the recognition of foreign object targets causing conveyor belt penetration and tearing, and also few kinds of research on the precise positioning of target foreign object. In order to solve the above problems, a foreign object recognition and positioning system based on machine vision for sorting robots of coal mine belt conveyor is designed. The system can recognize and position different types and shapes of foreign objects on the conveyor belt. The image information of the foreign objects on the conveyor belt in real-time is obtained by adopting binocular vision, and the image is preprocessed. Image information is enhanced based on the Canny operator. The gray stretching method is used to improve image edge information to highlight the edge features of foreign objects on coal mine belt conveyor. The morphological method is used to extract foreign object shape features, and establish foreign object image feature sample library. The image feature matching method is used to solve the existing area of foreign objects to realize the detection, classification and recognition of foreign objects. On the basis of the successful recognition of foreign object type, the region of interest (ROI) of the target foreign object is established based on the edge feature value of the target foreign object. The coordinate conversion relationship is built between the camera, conveyor belt and target foreign object. The fast multi-target centroid calculation method is used to obtain the centroid coordinate of the target foreign object, so as to realize the positioning of the target foreign object. The experimental result of the system prototype shows that the foreign object recognition rate of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor is not affected by the size, material, color and other factors, the system can realize the image acquisition, process, feature extraction, recognition and positioning of the target foreign object of coal mine conveyor belt. The recognition rate is above 92.5%, and the average error of the target foreign object positioning is about 3%.
-
0. 引言
煤矿带式输送机作为煤矿生产的重要设备，其安全运行是保证煤矿正常生产的重要基础。自2019年以来，国家发展改革委、科技部等部委连续印发的《煤矿机器人重点研发目录》《关于推进煤矿智能化发展的指导意见》中，均对煤矿开采装备智能化明确提出减人提效、煤矸快速分拣、异物分拣与安全防护等关键技术突破的要求，尤其是对运输过程中矸石及其他非煤杂物智能分拣机器人提出了自动识别、精确定位等需求[1-2]。然而，煤炭生产运输过程中，煤矿输送带会受到综采或综掘等开采出的异物影响而导致撕带、断带等严重事故，例如采煤作业时会截割煤壁中的锚杆，设备自身的金属部件等锋利的异物也会掉落在输送带上，甚至会扎破输送带，具有极大的安全隐患，因此，需对输送带上锚杆、设备自身的金属部件等锋利异物进行识别与定位。
人工检测、雷达检测、金属探测器等传统的异物检测方法检测效率低、成本高、部署与维护困难，且存在安全隐患[3-4]。随着机器视觉技术的不断发展，国内外机构与学者分别探究了机器视觉技术在煤矿带式输送机状态监测、目标检测等方面的应用[5-6]。王志星等[7]采用双目视觉对带式输送机输送带纵向撕裂进行了在线检测。王燕等[8]设计了基于机器视觉的大块异物视觉检测系统。苗长云等[9]研究了基于机器视觉和支持向量机的带式输送机矸石检测方法。杜京义等[10]提出了基于改进YOLOv3模型的煤矿带式输送机异物检测方法。胡璟皓等[11]提出了一种基于深度学习的带式输送机非煤异物识别方法。吴守鹏等[12]针对大块矸石或铁器等识别问题，提出了一种快速区域卷积神经网络 (Faster−RCNN)+双向特征金字塔网络的运煤输送带异物识别模型。上述研究针对输送带上煤矸石、异物等提供了有效的检测与识别方法，但这些方法更偏向于针对煤矸石识别，且都未解决目标定位问题。长期以来，马宏伟等[13]、曹现刚等[14]、王鹏等[15]针对煤矿带式输送机分拣机器人异物智能检测与控制开展了研究，分别提出了一种基于机器视觉的煤矸石分拣机器人动态目标稳定抓取轨迹规划方法、设计了一种基于卷积神经网络的煤矸识别定位系统、研究了一种基于机器视觉的多机械臂煤矸石分拣机器人系统，为煤矿输送带分拣机器人异物识别与定位提供了可参考的理论模型与方法，但其分拣目标仍为煤矸石，这与煤矿输送带上异物的特征有本质区别，仍需优化及改进。国外的研究机构及学者大多将三维光学检测（激光与视觉融合检测方法）、近红外测量等技术应用于煤矿带式输送机异物检测与煤岩识别等[16-17]。这些方法对于检测异物具有一定基础，但其异物精确识别与定位问题并未解决。
综上，机器视觉已在煤矿带式输送机目标检测与识别方面具有一定的理论基础，但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别，对造成输送带穿透、撕裂等的异物目标识别的研究较少，且在目标异物精确定位方面的研究也较少。为此，本文设计了煤矿带式输送机分拣机器人异物识别与定位系统，可对输送带上存在的不同类型和不同形状的异物进行识别与定位。首先利用双目视觉实时获取输送带上异物图像信息，并对异物图像进行降噪与增强预处理；然后建立目标异物边缘特征提取与识别模型，通过图像特征匹配的方式解算出异物存在区域，实现异物类型的检测、分类与识别；最后构建目标异物位置区域及坐标，利用多目标质心快速计算方法求取目标异物质心坐标，实现目标异物的定位。该系统为煤矿带式输送机分拣机器人异物分拣提供了有效数据与新方法。
1. 系统需求分析
设计煤矿带式输送机分拣机器人异物识别与定位系统的目的是为了实时检测和识别输送带上的异物，为实现快速分拣提供数据支持，确保煤矿输送带安全稳定运行。因为井下环境复杂，且输送带除异物存在外，煤和矸石堆叠也是造成异物识别和分拣困难的重要因素，本文仅研究造成输送带穿透、撕裂等的异物目标，假设煤和矸石处于平铺的状态。因此，在设计煤矿带式输送机分拣机器人异物识别与定位系统时主要要考虑以下几个方面的需求：
（1） 输送带在运动过程中要能够实时采集清晰的图像。
（2） 过滤输送带背景图像信息，突出目标异物特征。
（3） 识别目标异物类型，确定目标异物所在输送带区域信息，标记目标异物并显示坐标信息。
（4） 有稳定的数据传输能力，传输速率高且安全可靠。
（5） 可以实现远程监控。
2. 系统设计
2.1 系统组成
煤矿带式输送机分拣机器人异物识别与定位系统采用双目视觉实时获取煤矿输送带上异物图像信息，提取异物边缘特征，识别目标异物并解算目标异物坐标，实时显示图像识别结果和坐标信息，为煤矿带式输送机分拣机器人提供目标异物坐标信息。煤矿带式输送机分拣机器人系统样机如图1所示。
![]()
图 1 煤矿带式输送机分拣机器人系统样机Figure 1. Prototype of sorting robot system of coal mine belt conveyor煤矿带式输送机分拣机器人异物识别与定位系统主要由输送带传送单元、视觉感知单元、信息处理及显示单元组成。
（1） 输送带传送单元：主要物料运输的主体。实际煤矿井下开采环境复杂，存在粉尘、水雾、照度低等问题，输送带上除煤、矸石等物料外，可能还存在金属与非金属等物料，见表1。
表 1 输送带上的异物类别Table 1. Types of foreign objects on conveyor belt序号 异物 序号 异物 序号 异物 1 木 8 铁背板 15 道钉/道木 2 （半）圆木 9 竹芭/塑芭 16 道夹板 3 锚杆/锚索 10 工字钢头 17 风带条 4 铁丝 11 钻头/杆 18 钢丝绳 5 编织袋 12 输送带头/卡 19 塑料瓶/袋 6 棉纱 13 脚线 20 盖板 7 螺栓、螺帽 14 雷管 21 水/水煤 （2） 视觉感知单元：双目视觉固定于输送带上方，用于实时采集输送带上的物料图像。利用局部补光装置使双目视觉具有井下低照度环境的适应能力。
（3） 信息处理及显示单元：通过目标异物图像信息建立特征分离、提取与识别模型，有效提升目标异物识别准确率与识别效率；设计输送带实时监控系统，实现异物实时捕捉与显示、位置坐标显示等，如图2所示。
![]()
图 2 煤矿带式输送机分拣机器人异物识别与定位系统界面Figure 2. Interface of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor2.2 系统识别与定位方法
为了解决煤矿输送带上存在的异物危害，本文提出了基于双目视觉的煤矿带式输送机分拣机器人异物识别与定位方法，其重点研究基于双目视觉的输送带目标异物图像采集与特征提取、建立输送带异物特征样本库、输送带异物坐标位置解算。方法架构如图3所示。
![]()
图 3 煤矿带式输送机分拣机器人异物识别和定位方法架构Figure 3. Architecture of foreign object recognition and positioning method for sorting robots of coal mine belt conveyor（1） 针对输送带异物图像采集问题，提出在图像采集过程中对输送带实时图像进行预处理的方法，并基于Canny算子进行图像信息增强，通过灰度拉伸方法改进图像边缘信息，突出异物边缘特征。
（2） 针对异物特征提取与识别问题，利用形态学方法提取异物形状特征，建立异物图像特征样本库，通过图像特征匹配方式解算出异物存在区域，实现异物类型的检测、分类与识别。
（3） 针对异物空间位置定位问题，在异物类型成功识别的基础上，建立相机、输送带与目标异物坐标转换关系，利用多目标质心快速计算算法求取异物质心坐标。
3. 异物识别方法
3.1 异物识别方法原理
本文通过实时采集输送带上图像数据，对图像特征进行边缘提取，结合目标异物样本图像特征进行匹配，同时，通过实时采集目标异物图像边缘特征刷新样本库信息，从而实现异物识别，异物识别方法原理如图4所示。
3.2 基于双目视觉的输送带异物检测与识别
针对利用双目视觉采集图像存在畸变严重、输送带上异物定位不准确的问题，利用基于平面模板法实现图像畸变矫正，为解决像素坐标到世界坐标的标定提供方法依据；针对输送带上异物识别困难的问题，设计输送带异物图像增强方法，利用形态学处理方式提取异物形状特征作为样本，结合样本匹配算法实现异物识别。
3.2.1 基于平面模板法的图像畸变矫正
本文采用平面模板法实现图像矫正，通过引入适当的畸变参数，得到离心畸变模型[18]：
$$ \left\{ \begin{gathered} {\delta _{{\rm{rd}}}} = 3({k_1}{o^2} + {k_2}{o^4} + \cdots )\sin (\varphi - {\varphi _0}) \\ {\delta _{{\rm{td}}}} = ({p_1}{o^2} + {p_2}{o^4} + \cdots )\cos (\varphi - {\varphi _0}) \\ \end{gathered} \right. $$ (1) 式中：
$\left( {{\delta _{{\rm{rd}}}},{\delta _{{\rm{td}}}}} \right)$ 为图像点畸变坐标；ks，ps为畸变系数，s为畸变系数的个数，s=1，2，…；$ o $ 为图像像素点到原点的距离；$ \varphi $ 为图像点的倾斜角；$ {\varphi _0} $ 为图像正方向与最大切向轴的最大夹角。畸变矫正后图像点坐标为
$$ \left\{ \begin{gathered} \hat {u} = u + {\delta _{{{u}}{\rm{r}}}} + {\delta _{{{u}}{\rm{t}}}} \\ \hat {v} = v + {\delta _{{{v}}{\rm{r}}}} + {\delta _{{{v}}{\rm{t}}}} \\ \end{gathered} \right. $$ (2) 式中：
$ \left( {\hat u，\hat v} \right) $ 为畸变引起的实际成像点坐标；$ \left( {u,v} \right) $ 为图像点的理想坐标；$ \left( {{\delta _{u{\rm{r}}}}，{\delta _{v{\rm{r}}}}} \right) $ 为图像点径向畸变坐标；$ \left( {{\delta _{u{\rm{t}}}}，{\delta _{v{\rm{t}}}}} \right) $ 为图像点偏心畸变坐标。用近似多项式求取视觉系统内外参数[19]：
$$ E = {\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {\left\| {{g_{ij}} - \hat g({\boldsymbol{M}},{{\boldsymbol{R}}_i},{{\boldsymbol{T}}_i},{k_1},{k_2},{k_3},{p_1},{p_2},{G_j})} \right\|}^2 } } $$ (3) 式中：n为图像帧数；m为每帧图像上特征点的个数；
$ {g_{ij}} $ 为第i帧图像上第j个特征点的图像坐标；$\hat g({\boldsymbol{M}}，{{\boldsymbol{R}}_i}， {{\boldsymbol{T}}_i}，{k_1}，{k_2}，{k_3}，{p_1}，{p_2}，{G_j})$ 为由空间坐标$ {G_j} $ 投影到世界坐标反求的图像坐标；M为内部参数矩阵；$ {{\boldsymbol{R}}_i} $ 为第i帧图像的旋转矩阵；$ {{\boldsymbol{T}}_i} $ 为第i帧图像的平移向量；$ {G_j} $ 为第j个特征点的空间坐标；$ {k}_{1}，{k}_{2}，{k}_{3}，{p}_{1}，{p}_{2} $ 为畸变系数。利用平面模板法实现图像矫正，并使其图像坐标原点和世界坐标原点重合，保证异物坐标解算时坐标位置的有效性。
3.2.2 异物图像预处理
本文需对原始图像数据进行灰度变换，经过灰度变换处理后，含有颜色信息的彩色图像变成了仅含亮度信息的灰度图像，提高了图像处理速度。为解决灰度化处理后依然无法去除图像数据的噪声干扰问题，采用中值滤波对目标异物图像进行去噪处理，对目标异物的边缘特征信息进行保护，并降低煤块图像信息对目标异物图像的影响。
3.2.3 异物图像边缘检测与特征提取
基于Canny算子对图像边缘特征进行增强，并通过灰度拉伸方法对边缘检测图像进行优化，从而得到准确的图像边缘特征，将图像边缘特征点用笛卡尔坐标
$ (x,y) $ 表示，由于形状边缘一般为封闭曲线，所以也可以用极坐标$ (\theta ,\rho ) $ 表示，利用该曲线判定形状。设形状的质心$ ({x_0},{y_0}) $ 为坐标原点，并建立极坐标系，则形状边缘可以表示为极坐标下的曲线：$$ \theta = \left\{ \begin{gathered} \arctan \left( {\frac{{y - {y_0}}}{{x - {x_0}}}} \right)\quad x - {x_0} \geqslant 0,y - {y_0} \geqslant 0 \\ \arctan \left( {\frac{{y - {y_0}}}{{x - {x_0}}}} \right)\quad x - {x_0} < 0 \\ \arctan \left( {\frac{{y - {y_0}}}{{x - {x_0}}}} \right)\quad x - {x_0} \geqslant 0,y - {y_0} < 0 \\ \end{gathered} \right. $$ (4) $$ \rho = \sqrt {{{(x - {x_0})}^2} + {{(y - {y_0})}^2}} $$ (5) 本文主要针对杆状目标进行识别，通过边缘特征提取后，准确计算出形状边缘曲线，并区分煤块与杆状异物，从而识别出目标异物。
4. 目标异物定位
在异物成功识别的基础上，通过划定异物识别感兴趣区域（Region of Interest，ROI）的方法提高异物识别检测效率，并以输送带为参照，建立视觉与输送带的坐标系转换，利用质心计算方程解算异物空间位置；将ROI作为机械臂末端工作区域，通过解算的异物质心坐标为机械臂末端抓取坐标，将其输送给机械臂控制系统，实现目标异物的抓取，完成分拣任务。
4.1 图像ROI确定
以目标异物边缘特征值为基础，建立目标异物的ROI，降低目标异物图像信息计算量，并为建立目标异物定位坐标系提供区域依据。杆状异物ROI划定方法如图5所示。以输送带为参照，在目标异物边缘特征值的基础上，划定ROI，该区域也为图1中的机械臂I工作区域。
4.2 相机、输送带与目标异物坐标系转换
对图像进行描述一般会涉及2个常用坐标系：图像坐标系
$ \left( {{O_1}xy} \right) $ 和像素坐标系$ \left( {{O_0}ab} \right) $ ，图像坐标系用于描述图像各点间的位置关系，像素坐标系用于描述图像像素特征。2个坐标系均处于成像平面中，它们的位置关系如图6所示。通过图6可得到坐标
$ (x,y) $ 和坐标$ (a,b) $ 之间的变换关系，且其满足以下转换模型：$$ \left\{ \begin{gathered} x = (a - {a_0}){\rm{d}}x \\ y = (b - {b_0}){\rm{d}}y \\ \end{gathered} \right. $$ (6) 式中：
$ ({a_0},{b_0}) $ 为图像坐标系的原点O1在像素坐标系下对应的坐标；$ {\rm{d}}x $ 和$ {\rm{d}}y $ 为每个像素点在x轴和y轴的物理尺寸。将式(6)进行矩阵变换可得
$$ \left[\begin{array}{l} x \\ y \\ 1 \end{array}\right]=\left[\begin{array}{ccc} {\rm{d}} x & 0 & -a_0 {\rm{d}} x \\ 0 & {\rm{d}} y & -b_0 {\rm{d}} y \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{l} a \\ b \\ 1 \end{array}\right] $$ (7) 根据ROI设置视觉内部坐标系，并以感兴趣区域OG为坐标系原点，以输送带前进方向为坐标x轴，表示输送带上距离，在输送带平面上与x轴垂直的方向为y轴，与xOGy平面垂直的为z轴，表示视觉高度，转换后坐标系如图7所示。
4.3 目标异物定位算法
异物样本匹配识别成功后，为获得异物准确的位置信息，采用异物的质心坐标来识别异物在输送带上的位置。实际识别时会存在多个异物被识别的情况，通常采用群目标几何中心的群起始算法计算多目标质心，但该算法过于复杂，实时性较差。本文采用一种多目标质心快速计算方法，获取标志异物的外接矩形顶点坐标
$ ({x_1}，{y_1}) $ 、$ ({x_2}，{y_1}) $ 、$ ({x_1}，{y_2}) $ 及$ ({x_2}，{y_2}) $ ，针对目标异物采用如下公式[20]得到异物质心坐标$ ({x_0}，{y_0}) $ ：$$ \left\{ \begin{gathered} {x_0} = \sum\limits_{q = {x_1}}^{{x_2}} {\sum\limits_{w = {y_1}}^{{y_2}} {qB(q，w)\Bigg/\sum\limits_{q = {x_1}}^{{x_2}} {\sum\limits_{w = {y_1}}^{{y_2}} {B(q，w)} } } } \\ {y_0} = \sum\limits_{q = {x_1}}^{{x_2}} {\sum\limits_{w = {y_1}}^{{y_2}} {wB(q，w)\Bigg/\sum\limits_{q = {x_1}}^{{x_2}} {\sum\limits_{w = {y_1}}^{{y_2}} {B(q，w)} } } } \\ \end{gathered} \right. $$ (8) 式中：B（q，w）为二值图像像素值，当像素B（q，w）属于该划定ROI时，B（q，w）=1，否则B（q，w）=0。
5. 实验验证与分析
5.1 实验平台参数及环境模拟
以煤矿带式输送机分拣机器人系统样机（图1）为研究对象，构建煤矿带式输送机分拣机器人异物识别与定位实验平台，将双目视觉传感器安装于带式输送机上方，主要性能参数见表2。
表 2 实验平台主要性能参数Table 2. Main performance parameters of the experimental platform序号 核心部件 主要参数 1 双目视觉 视角：对角线视角为121°；水平方向视角为105°；
垂直方向视角为58°焦距/mm： 2.45 深度工作距离/m： 0.32~7 同步精度/ms： ＜0.01 帧率/（帧·s−1）： 60 分辨率： 2 560×720 像素尺寸/μm： 3.75×3.75 2 机械臂 最大伸展距离/mm： 320 重复定位精度/mm： 0.2 抓取范围/mm： 310 抓取效率/%： ＞95 3 输送带 长度/mm： 600 速度/(mm·s−1)： 120 本文利用LabVIEW软件平台设计识别与定位系统软件，目标异物坐标信息、目标异物类别信息、输送带实时图像和目标识别提取图像等系统程序设计如图8所示。
![]()
图 8 目标异物坐标信息、目标异物类别信息、输送带实时图像和目标识别提取图像等系统程序Figure 8. System programs such as target foreign object coordinate information, target foreign object category information, real-time image of conveyor belt and target recognition and extraction image5.2 实验方案
本文以杆状异物为实验对象，通过实验样机验证煤矿带式输送机分拣机器人异物识别与定位系统及其算法的可靠性，实验主要包括对异物图像采集、处理实验；在图像处理的基础上，实现对输送带异物的匹配识别和坐标提取。实验过程及目标异物图像识别流程如图9所示。
![]()
图 9 煤矿带式输送机分拣机器人异物识别与定位实验Figure 9. Foreign object recognition and positioning experiment of sorting robot of coal mine belt conveyor通过杆状异物实验样本进行30组实验，图像识别结果见表3。识别率为93.33%。
表 3 异物图像识别结果Table 3. Foreign object image recognition results样本类别 样本数 正确识别样本数 识别率/% 杆状异物 30 28 93.33 5.3 目标异物识别与定位系统实验验证与分析
为了验证煤矿带式输送机分拣机器人异物识别与定位系统对不同长度与不同直径下的杆状目标异物的识别与定位情况，采集了如图10（a）所示的3，5，7 cm不同长度的杆状目标异物和图10（b）所示的5，10，15 mm不同直径下的杆状目标异物，识别率见表4和表5。
表 4 不同长度的杆状目标异物图像识别结果Table 4. Rod-shaped target foreign object image recognition results for different lengths长度/cm 实验次数 成功识别次数 识别率/% 3 40 39 97.5 5 40 37 92.5 7 40 38 95.0 表 5 不同直径的杆状目标异物图像识别结果Table 5. Rod-shaped target foreign object image recognition results for different diameters直径/mm 实验次数 成功识别次数 识别率/% 15 40 38 95.0 10 40 37 92.5 5 40 38 95.0 从表4、表5可看出，不同长度下、不同直径下的识别率差距较小，在固定场景下，该系统均能较准确地识别出目标异物。
通过对3种不同长度杆状目标异物和3种不同直径杆状目标异物识别结果表明，本文所设计的煤矿带式输送机分拣机器人异物识别率不受尺寸、材质和颜色等因素影响，对目标异物具有高精度检测与识别效果。
以图10（a）的杆状异物为例，对输送带运行过程中的20个目标异物进行实时定位实验，采用目标异物质心坐标
$ \left( {{x_0},{y_0}} \right) $ 和经双目视觉实时检测后解算出的目标异物质心坐标$( {x_0',y_0'} )$ 进行对比，结果见表6。表 6 目标异物质心位置坐标解算实验结果Table 6. Experimental results for solving the coordinates of the target foreign object's centre of mass position目标异物 x0/mm ${x}_{0}'$/mm 相对误差/% y0/mm ${y}_{0}'$/mm 相对误差/% 1 60 59.784 9 0.36 63 62.928 3 0.11 2 58 57.016 9 1.70 50 51.235 7 2.47 3 48 46.269 7 3.60 65 63.852 8 1.76 4 55 52.932 5 3.76 59 56.740 9 3.83 5 50 46.337 7 7.32 61 61.080 3 0.13 6 56 56.598 0 1.07 61 61.858 5 1.41 7 50 48.676 0 2.65 64 63.497 5 0.79 8 58 59.072 5 1.85 54 55.921 9 3.56 9 48 46.701 1 2.71 55 54.869 2 0.24 10 43 40.729 2 5.28 53 50.847 2 4.06 11 44 45.499 7 3.41 59 57.838 9 1.97 12 58 59.908 9 3.29 62 63.018 7 1.64 13 43 44.003 9 2.33 59 62.768 5 6.39 14 47 48.606 1 3.42 54 57.232 8 5.99 15 49 48.010 2 2.02 65 61.735 9 5.02 16 53 52.759 7 0.45 58 55.509 9 4.29 17 59 57.437 4 2.65 57 54.312 7 4.71 18 59 58.117 0 1.50 57 59.562 6 4.50 19 47 45.203 4 3.82 55 51.423 4 6.50 20 42 41.205 4 1.89 58 55.304 4 4.65 通过表6实验结果的分析可得出目标异物的坐标误差关系，如图11所示。可看出X轴最大误差为7.32%，平均误差为2.75%；Y轴最大误差为6.5%，平均误差为3.01%，考虑到输送带运动、视觉和系统运行环境等因素，误差在可控范围。
综上可知，采集杆状异物坐标数据满足实际杆状异物定位精度要求。本文研究的目标异物检测、识别与定位系统不受形状、材质和颜色等因素影响，根据样本库的建立与刷新，还可实现盘状、多边形等不同形状异物的识别与定位。
6. 结论
针对煤矿带式输送机异物隐患导致的安全危害问题，设计了一种煤矿带式输送机分拣机器人异物识别与定位系统，为实现煤矿输送带异物检测与精确识别提供方法与数据支持，为分拣机器人准确定位并抓取异物提供依据。
（1） 设计了输送带异物图像增强方法，利用形态学提取了异物形状特征，为异物在空间位置的解算提供依据。
（2） 以输送带为参照，划定异物识别感兴趣区域，提高了异物识别检测效率。
（3） 构建了视觉、异物与输送带的坐标系转换方程，利用质心快速计算方法实现对目标异物位置信息的解算。
（4） 通过样机实验与验证结果分析表明，煤矿带式输送机分拣机器人异物识别与定位系统能够实现输送带目标异物图像的采集、处理、特征提取、识别和位置定位，识别率为92.5%以上，目标异物位置定位平均误差为3%左右。
-
![]()
图 1 煤矿带式输送机分拣机器人系统样机
Figure 1. Prototype of sorting robot system of coal mine belt conveyor
![]()
图 2 煤矿带式输送机分拣机器人异物识别与定位系统界面
Figure 2. Interface of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor
![]()
图 3 煤矿带式输送机分拣机器人异物识别和定位方法架构
Figure 3. Architecture of foreign object recognition and positioning method for sorting robots of coal mine belt conveyor
![]()
图 8 目标异物坐标信息、目标异物类别信息、输送带实时图像和目标识别提取图像等系统程序
Figure 8. System programs such as target foreign object coordinate information, target foreign object category information, real-time image of conveyor belt and target recognition and extraction image
![]()
图 9 煤矿带式输送机分拣机器人异物识别与定位实验
Figure 9. Foreign object recognition and positioning experiment of sorting robot of coal mine belt conveyor
表 1 输送带上的异物类别
Table 1 Types of foreign objects on conveyor belt
序号 异物 序号 异物 序号 异物 1 木 8 铁背板 15 道钉/道木 2 （半）圆木 9 竹芭/塑芭 16 道夹板 3 锚杆/锚索 10 工字钢头 17 风带条 4 铁丝 11 钻头/杆 18 钢丝绳 5 编织袋 12 输送带头/卡 19 塑料瓶/袋 6 棉纱 13 脚线 20 盖板 7 螺栓、螺帽 14 雷管 21 水/水煤 
下载: 导出CSV
表 2 实验平台主要性能参数
Table 2 Main performance parameters of the experimental platform
序号 核心部件 主要参数 1 双目视觉 视角：对角线视角为121°；水平方向视角为105°；
垂直方向视角为58°焦距/mm： 2.45 深度工作距离/m： 0.32~7 同步精度/ms： ＜0.01 帧率/（帧·s−1）： 60 分辨率： 2 560×720 像素尺寸/μm： 3.75×3.75 2 机械臂 最大伸展距离/mm： 320 重复定位精度/mm： 0.2 抓取范围/mm： 310 抓取效率/%： ＞95 3 输送带 长度/mm： 600 速度/(mm·s−1)： 120
下载: 导出CSV
表 3 异物图像识别结果
Table 3 Foreign object image recognition results
样本类别 样本数 正确识别样本数 识别率/% 杆状异物 30 28 93.33
下载: 导出CSV
表 4 不同长度的杆状目标异物图像识别结果
Table 4 Rod-shaped target foreign object image recognition results for different lengths
长度/cm 实验次数 成功识别次数 识别率/% 3 40 39 97.5 5 40 37 92.5 7 40 38 95.0
下载: 导出CSV
表 5 不同直径的杆状目标异物图像识别结果
Table 5 Rod-shaped target foreign object image recognition results for different diameters
直径/mm 实验次数 成功识别次数 识别率/% 15 40 38 95.0 10 40 37 92.5 5 40 38 95.0
下载: 导出CSV
表 6 目标异物质心位置坐标解算实验结果
Table 6 Experimental results for solving the coordinates of the target foreign object's centre of mass position
目标异物 x0/mm ${x}_{0}'$/mm 相对误差/% y0/mm ${y}_{0}'$/mm 相对误差/% 1 60 59.784 9 0.36 63 62.928 3 0.11 2 58 57.016 9 1.70 50 51.235 7 2.47 3 48 46.269 7 3.60 65 63.852 8 1.76 4 55 52.932 5 3.76 59 56.740 9 3.83 5 50 46.337 7 7.32 61 61.080 3 0.13 6 56 56.598 0 1.07 61 61.858 5 1.41 7 50 48.676 0 2.65 64 63.497 5 0.79 8 58 59.072 5 1.85 54 55.921 9 3.56 9 48 46.701 1 2.71 55 54.869 2 0.24 10 43 40.729 2 5.28 53 50.847 2 4.06 11 44 45.499 7 3.41 59 57.838 9 1.97 12 58 59.908 9 3.29 62 63.018 7 1.64 13 43 44.003 9 2.33 59 62.768 5 6.39 14 47 48.606 1 3.42 54 57.232 8 5.99 15 49 48.010 2 2.02 65 61.735 9 5.02 16 53 52.759 7 0.45 58 55.509 9 4.29 17 59 57.437 4 2.65 57 54.312 7 4.71 18 59 58.117 0 1.50 57 59.562 6 4.50 19 47 45.203 4 3.82 55 51.423 4 6.50 20 42 41.205 4 1.89 58 55.304 4 4.65
下载: 导出CSV
-
[1] 刘峰. 对煤矿智能化发展的认识和思考[J]. 中国煤炭工业,2020(8):5-9. DOI: 10.3969/j.issn.1673-9612.2020.08.002 LIU Feng. Understanding and thinking on intelligent development of coal mine[J]. China Coal Industry,2020(8):5-9. DOI: 10.3969/j.issn.1673-9612.2020.08.002
[2] 葛世荣. 煤矿机器人现状及发展方向[J]. 中国煤炭,2019,45(7):18-27. DOI: 10.3969/j.issn.1006-530X.2019.07.004 GE Shirong. Present situation and development direction of coal mine robots[J]. China Coal,2019,45(7):18-27. DOI: 10.3969/j.issn.1006-530X.2019.07.004
[3] 文灵,谢元媛. 利用机器视觉远程监测煤矿带式输送机故障[J]. 能源与环保,2022,44(7):201-205. WEN Ling,XIE Yuanyuan. Remote monitoring of faults of coal mine belt conveyor by machine vision[J]. China Energy and Environmental Protection,2022,44(7):201-205.
[4] 刘莉莉,苗长云. 基于机器视觉的带式输送机带速检测方法的研究[J]. 仪表技术与传感器,2020(7):118-121,126. DOI: 10.3969/j.issn.1002-1841.2020.07.024 LIU Lili,MIAO Changyun. Research on belt conveyor speed detection based on machine vision[J]. Instrument Technique and Sensor,2020(7):118-121,126. DOI: 10.3969/j.issn.1002-1841.2020.07.024
[5] 杨春雨,顾振,张鑫,等. 基于深度学习的带式输送机煤流量双目视觉测量[J]. 仪器仪表学报,2021,41(8):164-174. DOI: 10.19650/j.cnki.cjsi.J2107842 YANG Chunyu,GU Zhen,ZHANG Xin,et al. Binocular vision measurement of coal flow of belt conveyors based on deep learning[J]. Chinese Journal of Scientific Instrument,2021,41(8):164-174. DOI: 10.19650/j.cnki.cjsi.J2107842
[6] 陈晓晶. 井工煤矿运输系统智能化技术现状及发展趋势[J]. 工矿自动化,2022,48(6):6-14, 35. DOI: 10.13272/j.issn.1671-251x.17933 CHEN Xiaojing. Current status and development trend of intelligent technology of underground coal mine transportation system[J]. Journal of Mine Automation,2022,48(6):6-14, 35. DOI: 10.13272/j.issn.1671-251x.17933
[7] 王志星,乔铁柱. 带式输送机胶带纵向撕裂双目视觉在线检测系统研究与设计[J]. 中国煤炭,2018,44(4):87-90, 105. DOI: 10.3969/j.issn.1006-530X.2018.04.016 WANG Zhixing,QIAO Tiezhu. Study and design on binocular vision online monitoring system of conveyor belt longitudinal tearing[J]. China Coal,2018,44(4):87-90, 105. DOI: 10.3969/j.issn.1006-530X.2018.04.016
[8] 王燕,郭潇樯,刘新华. 带式输送机大块异物视觉检测系统设计[J]. 机械科学与技术,2021,40(12):1939-1943. DOI: 10.13433/j.cnki.1003-8728.20200284 WANG Yan,GUO Xiaoqiang,LIU Xinhua. Design of visual detection system for large foreign body in belt conveyor[J]. Mechanical Science and Technology for Aerospace Engineering,2021,40(12):1939-1943. DOI: 10.13433/j.cnki.1003-8728.20200284
[9] 苗长云,陈雯. 基于机器视觉和支持向量机的带式输送机矸石检测方法[J]. 天津工业大学学报,2022,41(1):60-65. DOI: 10.3969/j.issn.1671-024x.2022.01.010 MIAO Changyun,CHEN Wen. A method for detecting gangue of belt conveyor based on machine vision and support vector machine[J]. Journal of Tiangong University,2022,41(1):60-65. DOI: 10.3969/j.issn.1671-024x.2022.01.010
[10] 杜京义,陈瑞,郝乐,等. 煤矿带式输送机异物检测[J]. 工矿自动化,2021,47(8):77-83. DOI: 10.13272/j.issn.1671-251x.2021040026 DU Jingyi,CHEN Rui,HAO Le,et al. Coal mine belt conveyor foreign object detection[J]. Industry and Mine Automation,2021,47(8):77-83. DOI: 10.13272/j.issn.1671-251x.2021040026
[11] 胡璟皓,高妍,张红娟,等. 基于深度学习的带式输送机非煤异物识别方法[J]. 工矿自动化,2021,47(6):57-62,90. HU Jinghao,GAO Yan,ZHANG Hongjuan,et al. Research on the identification method of non-coal foreign object of belt conveyor based on deep learning[J]. Industry and Mine Automation,2021,47(6):57-62,90.
[12] 吴守鹏,丁恩杰,俞啸. 基于改进FPN的输送带异物识别方法[J]. 煤矿安全,2019,50(12):127-130. WU Shoupeng,DING Enjie,YU Xiao. Foreign body identification of belt based on improved FPN[J]. Safety in Coal Mines,2019,50(12):127-130.
[13] 马宏伟,孙那新,张烨,等. 煤矸石分拣机器人动态目标稳定抓取轨迹规划[J]. 工矿自动化,2022,48(4):20-30. DOI: 10.13272/j.issn.1671-251x.2021110050 MA Hongwei,SUN Naxin,ZHANG Ye,et al. Track planning of coal gangue sorting robot for dynamic target stable grasping[J]. Journal of Mine Automation,2022,48(4):20-30. DOI: 10.13272/j.issn.1671-251x.2021110050
[14] 曹现刚,刘思颖,王鹏,等. 面向煤矸分拣机器人的煤矸识别定位系统研究[J]. 煤炭科学技术,2022,50(1):237-246. DOI: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201024 CAO Xiangang,LIU Siying,WANG Peng,et al. Research on coal gangue identification and positioning system based on coal-gangue sorting robot[J]. Coal Science and Technology,2022,50(1):237-246. DOI: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201024
[15] 王鹏,曹现刚,夏晶,等. 基于机器视觉的多机械臂煤矸石分拣机器人系统研究[J]. 工矿自动化,2019,45(9):47-53. DOI: 10.13272/j.issn.1671-251x.17442 WANG Peng,CAO Xiangang,XIA Jing,et al. Research on multi-manipulator coal and gangue sorting robot system based on machine vision[J]. Industry and Mine Automation,2019,45(9):47-53. DOI: 10.13272/j.issn.1671-251x.17442
[16] MATTONE R,CAMPAGIORNI G,GALATI F,et al. Sorting of items on a moving conveyor belt-part 1:a technique for detecting and classifying objects[J]. Robotics and Computer-Integrated Manufacturing,2000,16(2/3):73-80.
[17] FEIERABEND A. Application of NIR measurement technique for the identification and sorting of mineral rocks[J]. Gesellschaft Fuer Bergbau,Metallurgie,Rohstoff-und UmwelttechnikSchriftenreihe,2010(122):33.
[18] 石康,叶宏,胡安灿,等. 一种基于LabVIEW的机器视觉标定和校正方法[J]. 激光与光电子学进展,2014,51(10):127-136. SHI Kang. YE Hong,HU Ancan,et al. A new method for machine vision calibration and rectification based on LabVIEW[J]. Laser & Optoelectronics Progress,2014,51(10):127-136.
[19] 涂波,刘璐,刘一会,等. 一种扩展小孔成像模型的鱼眼相机矫正与标定方法[J]. 自动化学报,2014,40(4):653-659. TU Bo,LIU Lu,LIU Yihui,et al. A calibration method for fish-eye cameras based on pinhole model[J]. Acta Automatica Sinica,2014,40(4):653-659.
[20] 李海,王若璞,陈勇,等. 图像全站仪星点质心快速提取方法研究[J]. 测绘科学技术学报,2019,36(5):482-486. LI Hai,WANG Ruopu,CHEN Yong,et al. Fast star centroid extraction method for image total station[J]. Journal of Geomatics Science and Technology,2019,36(5):482-486.
-
期刊类型引用(20)
1. 王鑫. 皮带运输机异物检测方案设计. 机械管理开发. 2025(01): 145-146+207 . 
百度学术
2. 张国鸣. 煤矿带式输送机电气控制系统设计. 煤炭技术. 2024(01): 252-255 . 百度学术
3. 王枫，张胜. 基于立体视觉的高速公路收费机器人目标识别方法. 自动化与仪器仪表. 2024(04): 189-192 . 百度学术
4. 黄章瑞，程文婷. 基于机器学习的四足移动机器人视觉导航方法. 信息与电脑(理论版). 2024(05): 43-45 . 百度学术
5. 黄家林，方欢. 煤矿带式输送机数字孪生系统的HCPN性能评价方法. 电子设计工程. 2024(16): 22-26 . 百度学术
6. 徐明辉. 煤矿带式输送机综合控制技术的运用研究. 内蒙古煤炭经济. 2024(13): 130-132 . 百度学术
7. 侯晶男. 矿用带式输送机监控系统的设计及应用分析. 机械管理开发. 2024(08): 227-229 . 百度学术
8. 梅晓虎，吕小强，雷萌. 基于Stair-YOLOv7-tiny的煤矿井下输送带异物检测. 工矿自动化. 2024(08): 99-104+111 . 本站查看
9. 窦小雨. 基于激光传感技术的电子商务配送机器人自动化控制系统设计. 自动化与仪器仪表. 2024(09): 253-257 . 百度学术
10. 黄晨烜，常健，王雷. 基于激光雷达的井下带式输送机边缘提取方法. 工矿自动化. 2024(09): 115-123 . 本站查看
11. 唐弢，王振邦，许聪，李春宇. 基于视觉技术的物流分拣机器人自动定位系统设计. 自动化与仪器仪表. 2023(06): 188-191 . 百度学术
12. 刘卫东. 煤矿主运带式输送机自动控制系统的设计与应用. 矿业装备. 2023(06): 189-191 . 百度学术
13. 旷永龙. 煤矿带式输送机非煤异物检测系统设计与试验. 山西焦煤科技. 2023(08): 28-30+42 . 百度学术
14. 毛清华，郭文瑾，翟姣，王荣泉，尚新芒，李世坤，薛旭升. 煤矿带式输送机异常状态视频AI识别技术研究. 工矿自动化. 2023(09): 36-46 . 本站查看
15. 沈宁. 基于双目视觉的选煤厂用胶带输送机表面异物检测. 工矿自动化. 2023(S1): 82-85 . 本站查看
16. 李哲，伍世英，袁宝欣，许昌. 一种智能高效识别与分拣机器人方案设计思路. 科技风. 2023(30): 1-3 . 百度学术
17. 禹万林，郁杰. 基于负载预测的矿用带式输送机调速系统设计. 煤炭技术. 2023(12): 264-267 . 百度学术
18. 耿延兵，王章国. 基于图像灰度识别的煤泥水絮凝沉降速率快速检测方法. 工矿自动化. 2023(12): 87-93 . 本站查看
19. 曹正远，蒋伟，方成辉. 基于双注意力生成对抗网络的煤流异物智能检测方法. 工矿自动化. 2023(12): 56-62 . 本站查看
20. 李江涛，张康辉，沙特. 煤中异物识别的深度学习模型轻量化策略. 煤炭工程. 2023(S1): 220-224 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 1277
- HTML全文浏览量: 81
- PDF下载量: 86
- 被引次数: 26
