Research on conveyor belt deviation detection method
-
摘要: 基于机器视觉的输送带跑偏检测方法检测的输送带边缘特征中包含伪边缘,现有研究难以识别伪边缘,且多场景适应性差。针对该问题,对输送带监控图像提取感兴趣区域(ROI)并进行归一化,采用较大阈值区间的Canny算法提取边缘特征点,以提高算法的场景适应性,并采用形态学滤波方法处理部分杂质及伪边缘;对于Canny算法无法检测到有效边缘的图像,对提取的ROI进行伽马变换和45,135° 方向的梯度滤波,以增强边缘特征,之后进行基于Canny算法的特征点提取和形态学滤波。以边缘点像素值关系、邻域特征、紧密性特征,以及边缘线长度、相对位置、斜率等作为约束条件,采用基于分治搜索思想的直线筛选排序算法对提取的边缘特征点进行筛选及拟合,得到输送带实时边缘。将实时边缘的像素值与未发生跑偏时边缘像素值做差,得到当前跑偏的像素值。试验结果表明,针对多种场景下的输送带监控图像,基于Canny算法和直线筛选排序的输送带跑偏检测方法检测误差小于3个像素值,百张图像检测时间为6.945 1 s,边缘计算机处理4路视频图像的CPU占有率为132%,满足现场输送带边缘检测的准确性、实时性要求。Abstract: The machine vision-based conveyor belt deviation detection methods detect conveyor belt edge features. The features contain false edges. The existing research is difficult to identify false edges and has poor adaptability to multiple scenes. To solve this problem, the region of interest (ROI) is extracted from the conveyor belt monitoring image and normalized. The Canny algorithm with a larger threshold range is used to extract edge feature points to improve the scene adaptability of the algorithm. Morphological filtering methods are used to deal with some impurities and false edges. For images where the Canny algorithm cannot detect effective edges, gamma transform and gradient filtering in the 45° and 135° directions are performed on the extracted ROI to enhance edge features. The feature point extraction and morphological filtering based on the Canny algorithm are carried out. The pixel value relationship of edge points, neighborhood features, compactness features, as well as the length, relative position, and slope of edge lines are taken as constraints. The line filtering and sorting algorithm based on the idea of divide and conquer search is used to filter and fit the extracted edge feature points to obtain a real-time edge of the conveyor belt. The pixel value of the real-time edge is subtracted from the pixel value of the edge when no deviation occurs, and the pixel value of the current deviation is obtained. The test results show that for the conveyor belt monitoring images under various scenes, the detection error of the conveyor belt deviation detection method based on the Canny algorithm and line filtering and sorting is less than three pixel values. The detection time of 100 images is 6.9451 s. The CPU occupancy of the edge computer processing four video images is 132%, which meets the accuracy and real-time requirements of on-site conveyor belt edge detection.
-
0. 引言
大功率电液钻机(以下简称钻机)是应用于煤矿井下“以孔代巷”大直径定向钻孔高效施工的钻探设备,具有非接触控制特点。操控人员通过无线遥控器控制钻机[1-3],实现钻机自动取放钻杆、拧卸扣、提钻和钻进等动作,大大降低了作业人员劳动强度。但由于钻机的钻杆取放和钻杆拧卸(统称接钻杆)动作过程耗时长,导致钻机工作效率低。
钻杆取放控制方法包括点位控制法、行程控制法、临界控制法。点位控制法具有实现简单、严格按照顺序执行等特点,采用接近开关进行检测,点位之间属于开环控制[4-8],存在安全隐患,同时按照顺序执行耗时长。行程控制法采用位移传感器实现钻杆取放闭环控制,保证了运行安全[9-11],但按照顺序执行耗时长。临界控制法在接钻杆指令发出后,机械臂先运行至临界位置等候,等到动力头离开钻杆取放中部区域后,再执行后续动作,缩短了钻杆取放时间[12-15],但钻杆临界悬停等待,长时间反复会引起机械臂变形,从而影响精度,且只能通过机械限位撞击憋压判断动力头是否离开钻杆取放区域,有一定的等待时间。
钻杆拧卸控制方法包括液压匹配法和速度匹配法。液压匹配法通过调节动力头移动和回转液压油供给量实现钻杆拧卸,具有控制简单的特点,但液压油黏度受温度影响大,且压力调节响应存在时差,导致钻杆丝扣严重磨损,且拧卸扣耗时长。速度匹配法通过调节动力头移动和回转速度实现钻杆拧卸,具有精度高的特点,但钻杆拧卸耗时长,且双扣(主动钻杆和中间钻杆丝扣、中间钻杆和孔口钻杆丝扣)接扣采用串式法,耗时较长。
针对现有钻机接钻杆耗时长的问题,提出了一种快速接钻杆方法。将该方法应用在钻机闭环系统上,实现钻机机械部件精准运行,将钻杆取放和拧卸动作并行联动(包括下钻接钻杆和提钻接钻杆)。下钻接钻杆采用机械臂闭环联动和动力头同步上扣方法,保证钻杆空间移动轨迹始终在安全、距离最优状态下运行,缩短了下钻接钻杆时间;提钻接钻杆采用差值位移同步法,通过计算机械臂抓手径向缩回和机械臂横梁轴向位移差值,解决动力头与钻杆丝扣松开过程中机械臂抓放钻杆时间过长、干涉等问题。
1. 闭环系统硬件设计
闭环系统硬件包括机械部件和控制部件,机械部件是控制的本体,负责实现接钻杆动作;控制部件是控制的载体,负责实现接钻杆方法。
1.1 机械部件
机械部件包括机械大臂、机械横梁、机械小臂、机械抓手、动力头、主夹持器、副夹持器和松扣油缸[16-18](图1、图2)。钻杆取放通过机械臂动作实现,钻杆拧卸通过动力头和夹持器动作实现。主动钻杆和中间钻杆之间丝扣拧卸称为前扣拧卸,中间钻杆和孔口钻杆之间丝扣拧卸称为后扣拧卸(图3)。
1.2 控制部件
控制部件由传感器、PLC和电磁阀组成,如图4所示。传感器负责数据采集,PLC负责数据处理,电磁阀负责数据执行。
闭环系统检测端传感器分为3类14种,其中第1类为压力传感器,包括用于检测主夹持器夹紧压力、主夹持器松开压力、副夹持器夹紧压力、副夹持器松开压力、松扣油缸伸出压力、松开油缸缩回压力、机械抓手张开压力、机械抓手闭合压力;第2类为接近开关,用于检测钻杆公扣端与主夹持器干涉、钻杆母扣端与动力头干涉;第3类为位移传感器,用于检测动力头移动位置、机械大臂移动位置、机械横梁移动位置和机械小臂移动位置。
闭环系统核心控制器PLC型号为DX−L4530。其可靠性高,主板具有4路CAN2.0B,28路输入,20路输出,其中单路最大输出电流为4 A。系统输入包括1路CAN总线、2路开关量和4路模拟量,其中CAN总线输入为压力传感器信号,开关量输入为接近开关信号,模拟量输入为位移传感器信号。系统输出包括6路开关量和12路比例量,其中开关量输出包括主夹持器夹紧/松开、副夹持器夹紧/松开、松扣油缸伸出/缩回信号,比例量输出包括机械手张开/闭合、动力头正转/反转、动力头给进/起拔、机械大臂伸出/缩回、机械横梁伸出/缩回、机械小臂伸出/缩回信号。
闭环系统执行端电磁阀包括开关量电磁阀和比例电磁阀,开关量电磁阀用于控制钻机主副夹持器和松扣油缸动作,比例电磁阀用于控制动力头和机械臂动作。
2. 闭环系统软件设计
闭环系统软件基于CoDeSys V3.5 Patch 6平台进行开发和应用。软件自带PID、端口滤波、模拟量监测等模块,使得程序开发周期短。编程采用ST语言,可以简化繁琐指令,实现复杂算法,使得程序结构更紧凑,可读性更强[19-21]。
2.1 下钻接钻杆
为了实现快速下钻接钻杆,提出机械臂闭环联动和动力头同步上扣方法,如图5所示。接收到下钻接钻杆指令后,先进行机械臂复位(机械大臂、机械横梁、机械小臂缩回到位,机械抓手中有钻杆),复位结束机械大臂、机械横梁和动力头同时动作。为了防止钻杆移动过程中与动力头和主夹持器干涉(碰撞),通过接近开关识别安全距离(10 mm),当识别到干涉,机械横梁停止动作,动力头继续后退,远离主夹持器。当干涉解除,机械横梁继续移动直至到位后,机械大臂和机械小臂联动,将钻杆自上而下快速放入中部上卸区域,在主夹持器重夹钻杆的同时,机械臂复位。此处主夹持器采用重夹,目的是保证前扣中心线重合,顺利实现2个丝扣无啮合重叠。然后主夹持器变换轻夹,以保证中间钻杆可以轴向滑动且中心线重合,实现前后2个丝扣无啮合重叠。此时动力头再全速回转和给进,前后双扣同时开始啮合,正转压力达到预设值10 MPa时,钻杆丝扣啮合结束。与常规顺序上扣相比,同步上扣方法的中间钻杆轴向和径向处于浮动状态,有效避免了因动力头回转和给进带来的刚性冲击、匹配不佳导致丝扣损坏的情况,同时前后双扣同时啮合,大大缩短了钻杆丝扣啮合时间。
下钻接钻杆运行耗时轨迹如图6所示,其中序号1—6为常规运行耗时轨迹,直线代表机械臂顺序独立动作时的方向和耗时(t1~t6),实心圆点代表既是前一个独立动作的结束又是后一个独立动作的开始;序号7—9为本文方法运行耗时轨迹,直线代表机械臂复合动作时的方向和耗时(t7~t9),实心圆点代表既是前一个复合动作的结束又是后一个复合动作的开始。可看出本文方法运行轨迹采用既定点到目标点的最短距离方法,即序号7代替序号1和序号2,序号8代替序号3和序号4,序号9代替序号5和序号6,下钻接钻杆运行轨迹步骤只有常规方法的1/2,且耗时短。
2.2 提钻接钻杆
提钻接钻杆属于连续循环动作,为了解决常规方法中动力头与钻杆丝扣松开过程中,机械臂抓放钻杆时间过长、干涉等问题,提出差值位移同步法。差值位移目的是解决机械抓手与上卸钻杆的干涉问题,同步指机械大臂、机械小臂、机械横梁、后扣卸松、前扣卸松动作同时进行,目的是缩短提钻接钻杆时间。提钻接钻杆流程如图7所示。下发提钻指令后,机械臂和动力头同时动作,动力头依次卸后扣和前扣,所以机械小臂抓放钻杆机械臂复位默认机械抓手中有钻杆。在机械大臂、机械小臂、机械横梁同时动作阶段,由于机械抓手中无钻杆,不存在钻杆与动力头和主夹持器干涉,反而是机械抓手与中间钻杆干涉。中间钻杆属于钻具,不可安装接近开关,因此,通过机械臂动作位移差值来防止机械抓手与中间钻杆干涉。经测试计算,当机械抓手径向升高300 mm时,与机械横梁轴向位移差值越大越安全,在动力头松开前扣完成后,机械臂开始复位,控制结束。
提钻接钻杆运行耗时轨迹如图8所示,其中序号1—6为常规运行耗时轨迹,直线代表机械臂顺序独立动作时的方向和耗时(t10~t15),实心圆点代表既是前一个独立动作的结束又是后一个独立动作的开始;序号7为本文方法运行耗时轨迹,直线代表机械臂复合动作时的方向和耗时(t16~t19),实心圆点代表既是前一个复合动作的结束又是后一个复合动作的开始。可看出本文方法运行轨迹采用序号7代替序号1—6,提钻接钻杆运行轨迹步骤只有常规方法的1/6,且耗时短。
3. 试验验证
3.1 试验条件
将快速接钻杆方法应用于160 kW定向钻机上,钻杆长度为1 500 mm,直径为128 mm。在鄂尔多斯唐家会煤矿6号煤南回风大巷与2号联巷交汇处向61103工作面采空区方向施工顶板钻孔,如图9所示。施工钻孔累计进尺为1 600 m,接钻杆次数累计2 000余次。
3.2 试验结果分析
常规方法和本文方法接钻杆耗时统计如图10所示。可看出本文方法接钻杆整体耗时比常规方法短。
常规方法和本文方法下钻接钻杆、提钻接钻杆试验结果分别见表1和表2。由表1 可看出,常规方法利用严格单步顺序执行,下钻接钻杆平均用时为226 s,整体接钻杆成功率为75.2%;本文方法利用机械臂闭环联动和动力头同步上扣方法,下钻接钻杆平均用时47 s,整体接钻杆成功率为97.5%。由表2可看出,常规方法提钻接钻杆平均用时78 s,整体接钻杆成功率为77.7%;本文方法提钻接钻杆平均用时37 s,整体接钻杆成功率为96.8%。本文方法下钻接钻杆、提钻接钻杆用时分别较常规方法节省179,41 s,整体下钻接钻杆、提钻接钻杆成功率分别提高22.3%,19.1%。
表 1 不同方法下钻接钻杆实验结果Table 1. Test results of drilling and drill pipe connection by use of different methods指标 机械抓手 机械小臂 机械大臂 机械横梁 前扣 后扣 常规接钻杆
方法用时/s最大值 4 10 13 13 130 67 最小值 2 6 9 11 124 63 平均值 3 8 11 12 127 65 快速接钻杆
方法用时/s最大值 22 30 最小值 16 26 平均值 19 28 常规接钻杆
方法成功率/%单独 96 70 75 65 85 60 整体 75.2 快速接钻杆
方法成功率/%单独 98 97 整体 97.5 表 2 不同方法提钻接钻杆试验结果Table 2. Test result of lifting and drill pipe connection by use of different methods名称 机械抓手 机械小臂 机械大臂 机械横梁 前扣 后扣 常规接钻杆
方法用时/s最大值 4 10 13 13 25 23 最小值 2 6 9 11 21 19 平均值 3 8 11 12 23 21 快速接钻杆
方法用时/s最大值 40 最小值 34 平均值 37 常规接钻杆
方法成功率/%单独 96 70 75 65 80 80 整体 77.7 快速接钻杆
方法成功率/%整体 96.8 4. 结论
1) 在快速下钻接钻杆过程中,钻杆取放过程采用机械臂闭环联动方法,优化了钻杆运行轨迹,钻杆拧卸过程采用动力头同步上扣方法,有效避免了动力头因回转和前进复合动作带来的刚性冲击、匹配不佳造成的丝扣损坏情况。
2) 在快速提钻接钻杆过程中,考虑提钻接钻杆是一个连续循环动作,采用差值位移同步法,解决常规方法动力头与钻杆丝扣松开过程中,机械臂抓放钻杆时间过长、干涉等问题。
3) 提出的快速接钻杆方法大大缩短了接钻杆时间,快速接钻杆方法下钻接钻杆、提钻接钻杆用时较常规方法节省179,41 s,整体成功率分别提高22.3%,19.1%。
-
表 1 输送带跑偏检测结果
Table 1 Conveyor belt deviation detection results
场景 检测正确数/张 检测准确率/% 漏检数/张 漏检率/% 左边缘 右边缘 左边缘 右边缘 1 3 578 3 572 99.38 99.22 0 0 2 3 569 3 600 99.13 100 0 0 3 3 563 3 493 99.44 97.48 17 0.47 4 3 334 3 421 95.33 97.82 103 2.86 5 3 497 3 506 97.92 98.17 29 0.81 6 3 200 2 752 96.56 83.04 286 7.94 表 2 输送带跑偏检测算法运行时间
Table 2 Running time of conveyor belt deviation detection algorithm
图像数/张 1 10 100 1 000 时间/s 0.073 9 0.712 5 6.945 1 69.478 6 表 3 边缘计算机处理视频流的CPU占有率
Table 3 CPU occupancy of edge computer processing video flow
视频流/路 1 2 3 4 CPU占有率/% 52 81 106 132 表 4 输送带跑偏检测像素偏移值
Table 4 Pixel offset value of conveyor belt deviation detection
场景 实际像素偏移值 检测像素偏移值 像素差 左边缘 右边缘 左边缘 右边缘 左边缘 右边缘 1 10 15 10 15 0 0 2 2 3 2 3 0 0 3 22 22 23 22 1 0 4 −30 −29 −32 −29 2 0 5 −18 −20 −19 −21 1 1 6 −20 −21 −19 −23 1 2 -
[1] 张波. 皮带运输机皮带跑偏原因及处理措施[J]. 科技创新与应用,2019(20):125-126. ZHANG Bo. Causes and treatment measures of belt deviation of belt conveyors[J]. Technology Innovation and Application,2019(20):125-126.
[2] 陈赟. 我国工业自动化行业产业链技术水平和差距分析及发展对策[J]. 科学发展,2022(10):30-36. CHEN Yun. Analysis of the current situation of China's industrial automation industry development and countermeasure suggestions[J]. Scientific Development,2022(10):30-36.
[3] 胡康. 皮带运输机皮带跑偏成因及解决办法[J]. 价值工程,2021,40(12):114-116. HU Kang. Causes and solutions of belt deviation of belt conveyor[J]. Value Engineering,2021,40(12):114-116.
[4] 杨京东,杜贤羿,李大伟,等. 基于矢量控制的带式输送机PMSM调制研究[J]. 山西煤炭,2022,42(4):107-115. YANG Jingdong,DU Xianyi,LI Dawei,et al. PMSM modulation study of belt conveyor based on vector control[J]. Shanxi Coal,2022,42(4):107-115.
[5] 薛金国. 带式输送机跑偏机理分析与纠偏方法研究[J]. 当代化工研究,2021(11):51-52. XUE Jinguo. Analysis of belt conveyor deviation mechanism and research on deviation correction method[J]. Modern Chemical Research,2021(11):51-52.
[6] 高文兵. 煤矿带式输送机常见故障分析及处理措施探究[J]. 机械管理开发,2022,37(11):323-324,327. GAO Wenbing. Analysis of common faults of coal mine belt conveyor and investigation of handling measures[J]. Mechanical Management and Development,2022,37(11):323-324,327.
[7] 杨林顺,董志勇. 基于图像处理的输送带跑偏故障在线检测技术研究[J]. 煤炭工程,2020,52(10):116-120. YANG Linshun,DONG Zhiyong. On-line detection of conveyor belt deviation fault based on image processing[J]. Coal Engineering,2020,52(10):116-120.
[8] 邹廷彪. 带式输送机皮带跑偏研究及液压自动纠偏装置设计[J]. 自动化应用,2015(11):16-17,42. ZOU Tingbiao. Research on belt deviation of belt conveyor and design of hydraulic automatic deviation correction device[J]. Automation Application,2015(11):16-17,42.
[9] 张菲菲, 崔亚辉, 于琛, 等.基于机器学习的钻井工况识别技术现状及发展[J/OL].长江大学学报(自然科学版):1-13[2022-03-17]. https://doi.org/10.16772/j.cnki.1673-1409.20230302.001. ZHANG Feifei, CUI Yahui, YU Chen,et al. Recent developments and future trends of drilling status recognition technology based on machine learning[J/OL]. Journal of Yangtze University(Natural Science Edition):1-13[2022-03-17]. https://doi.org/10.16772/j.cnki.1673-1409.20230302.001.
[10] 王文清,田柏林,冯海明,等. 基于激光测距矿用带式输送机多参数检测方法研究[J]. 煤炭科学技术,2020,48(8):131-138. WANG Wenqing,TIAN Bailin,FENG Haiming,et al. Research on multi-parameters detection method of mine belt conveyor based on laser ranging[J]. Coal Science and Technology,2020,48(8):131-138.
[11] 董锴文,孙彦景,陈岩,等. 矿山生产作业场景视频结构化分析关键技术[J]. 煤炭学报,2021,46(11):3724-3735. DONG Kaiwen,SUN Yanjing,CHEN Yan,et al. Key technology of video structured analysis in mine production operation scenario[J]. Journal of China Coal Society,2021,46(11):3724-3735.
[12] 常娜. 图像处理中的边缘检测算法研究综述[J]. 中国科技信息,2011(4):130-131,149. CHANG Na. A review of edge detection algorithms in image processing[J]. China Science and Technology Information,2011(4):130-131,149.
[13] ZHANG Mengchao, SHI Hao, YU Yan, et al. A computer vision based conveyor deviation detection system[J]. Applied Sciences, 2020, 10(7): 2402.
[14] 徐欢,李振璧,姜媛媛,等. 基于OpenCV的输送带跑偏自动检测算法研究[J]. 工矿自动化,2014,40(9):48-52. XU Huan,LI Zhenbi,JIANG Yuanyuan,et al. Research of automatic detection algorithm of conveying belt deviation based on OpenCV[J]. Industry and Mine Automation,2014,40(9):48-52.
[15] 王星,白尚旺,潘理虎,等. 基于计算机视觉的带式输送机跑偏监测[J]. 煤矿安全,2017,48(5):130-133. WANG Xing,BAI Shangwang,PAN Lihu,et al. Deviation monitoring of belt conveyor based on computer vision[J]. Safety in Coal Mines,2017,48(5):130-133.
[16] 谭恒,张红娟,靳宝全,等. 基于机器视觉的煤矿带式输送机跑偏检测方法[J]. 煤炭技术,2021,40(5):152-156. TAN Heng,ZHANG Hongjuan,JIN Baoquan,et al. Method for detecting deviation of coal mine belt conveyor based on machine vision[J]. Coal Technology,2021,40(5):152-156.
[17] 林俊,党伟超,潘理虎,等. 基于计算机视觉的井下输送带跑偏检测方法[J]. 煤矿机械,2019,40(10):169-171. LIN Jun,DANG Weichao,PAN Lihu,et al. Deviation monitoring method of underground conveyor belt based on computer vision[J]. Coal Mine Machinery,2019,40(10):169-171.
[18] LIU Yi, MIAO Changyun, LI Xianguo, et al. Research on deviation detection of belt conveyor based on inspection robot and deep learning[J]. Complexity, 2021(3): 1- 15.
[19] 吴丽. 基于机器视觉的煤炭带式输送机的智能监控方法[J]. 煤炭技术,2022,41(7):202-205. WU Li. Intelligent monitoring method of coal belt conveyor based on machine vision[J]. Coal Technology,2022,41(7):202-205.
[20] 刘涛. 煤矿井下带式输送机智能控制系统研究[J]. 现代工业经济和信息化,2022,12(11):323-324. LIU Tao. Research on intelligent control system of underground belt conveyor in a coal mine[J]. Modern Industrial Economy and Informationization,2022,12(11):323-324.
[21] 王春华. 机器视觉的带式输送机监控系统中输送带积水检测研究[D]. 天津: 天津工业大学, 2019. WANG Chunhua. Research on detection of water accumulation in conveyor belt monitoring system for machine vision[D]. Tianjin: Tianjin Polytechnic University, 2019.