基于双目视觉的掘锚机器人行驶位移检测方法

马宏伟; 晁勇; 薛旭升; 毛清华; 王川伟

doi:10.13272/j.issn.1671-251x.2022100066

基于双目视觉的掘锚机器人行驶位移检测方法

doi: 10.13272/j.issn.1671-251x.2022100066

马宏伟^{1, 2,},
晁勇^{1, 2},
薛旭升^{1, 2},
毛清华^{1, 2},
王川伟^{1, 2}

1.
西安科技大学机械工程学院, 陕西西安　710054
2.
陕西省矿山机电装备智能检测与控制重点实验室, 陕西西安　710054

基金项目: 国家自然科学基金面上项目（51975468，52174150）；西安市科技计划项目（22GXFW0067）；陕煤联合基金项目（2021JLM-03）。

详细信息

作者简介:
马宏伟(1957—)，男，陕西兴平人，教授，博士，博士研究生导师，研究方向为智能检测与控制、机器人技术、现代无损检测与评价等，E-mail：mahw@xust.edu.cn

中图分类号: TD632.2
计量
- 文章访问数: 773
- HTML全文浏览量: 57
- PDF下载量: 49
- 被引次数: 0
出版历程
- 收稿日期: 2022-10-20
- 修回日期: 2022-12-05
- 网络出版日期: 2022-12-01

Binocular vision-based displacement detection method for anchor digging robot

MA Hongwei^{1, 2
,},
CHAO Yong^{1, 2},
XUE Xusheng^{1, 2},
MAO Qinghua^{1, 2},
WANG Chuanwei^{1, 2}

1.
College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China
2.
Shaanxi Key Laboratory of Mine Electromechanical Equipment Intelligent Detection and Control, Xi'an 710054, China

摘要

摘要: 针对掘锚机器人在行驶过程中存在行驶位移检测精度低的问题，以已支护锚杆为定位基准，通过分析掘锚机器人与已支护锚杆之间的距离关系，建立“掘锚机器人−已支护锚杆”定位模型，提出一种基于双目视觉的掘锚机器人行驶位移检测方法。煤矿井下环境复杂，采用传统的Census变换算法得到的视差图具有局限性，通过分析双目视觉测距原理，提出一种改进Census变换算法获取锚杆的视差图，得到锚杆图像的深度信息；提出一种锚杆特征的识别与定位方法，利用边缘检测算法对视差图中的锚杆进行轮廓提取，采用最小外接矩形与最大外接矩形算法对锚杆轮廓进行框选，提取锚杆特征点的像素坐标，通过分析坐标转换关系将特征点像素坐标转换为世界坐标，采用最小二乘法将特征点空间坐标拟合成一条直线，经过该直线建立平行于巷道截面的平面，解算双目相机与该平面之间的距离，进而得到掘锚机器人与该平面之间的距离。搭建移动机器人平台进行掘锚机器人行驶位移检测实验，结果表明：改进后的Census变换算法使误匹配率从19.85%降低到11.52%，较传统Census变换算法的误匹配率降低了41.96%；锚杆特征点识别与定位方法能够有效提取锚杆特征点的空间坐标，经过直线拟合得到相机与3个平行截面之间的距离分别为3 010.428，2 215.910，1 415.127 mm。在机器人定位实验中，将真实计算位移与理论位移进行对比，结果表明，真实计算位移曲线与理论位移曲线基本重合，理论位移与计算位移误差不超过20 mm，可实现掘锚机器人的自主、准确、实时位移检测。
- 掘锚机器人定位 /
- 双目视觉定位 /
- 双目测距 /
- 立体匹配算法 /
- Census变换算法 /
- 锚杆特征点识别 /
- “掘锚机器人−已支护锚杆”定位模型
Abstract: The problem of low detection accuracy of driving displacement exists in the driving process of anchor digging robots. In order to solve the above problem, taking the supporting bolt as the positioning benchmark, by analyzing the distance relationship between the anchor digging robot and the supporting bolt, the positioning model of "anchor digging robot-supported anchor" is established. This paper proposes a binocular vision-based displacement detection method for anchor digging robots. Due to the complexity of the underground coal mine environment, the disparity map obtained by using the traditional Census transform algorithm has limitations. By analyzing the binocular vision ranging principle, an improved Census transform algorithm is proposed to obtain the disparity map of the anchor and the depth information of the anchor image. This paper presents a method of anchor feature recognition and positioning, and uses edge detection algorithm to extract the anchor contour in disparity map. The minimum circumscribed rectangle and the maximum circumscribed rectangle algorithm are used to frame the anchor outline and extract the pixel coordinates of anchor feature points. By analyzing coordinate conversion relationships, the pixel coordinates of feature points are converted to world coordinates. By using the least square method, the spatial coordinates of feature points are fitted into a straight line. The plane parallel to the roadway section is established through the straight line. The distance between the binocular camera and the plane is calculated, and then the distance between the anchor digging robot and the plane is obtained. A mobile robot platform is set up to carry out the displacement detection experiment of the anchor digging robot. The results show the following points. The improved Census transform algorithm reduces the mismatch rate from 19.85% to 11.52%, which is 41.96% lower than the traditional Census transform algorithm. The method of anchor feature point recognition and positioning can effectively extract the spatial coordinates of anchor feature points. The distance between the camera and the three parallel sections is 3 010.428, 2 215.910, 1 415.127 mm respectively through straight line fitting. In the robot positioning experiment, the real calculated displacement is compared with the theoretical displacement. The results show that the real calculated displacement curve coincides with the theoretical displacement curve basically. The error between the theoretical displacement and the calculated displacement is less than 20 mm. The autonomous, accurate and real-time displacement detection of the anchor digging robot can be realized.
- anchor digging robot positioning /
- binocular vision positioning /
- binocular ranging /
- stereo matching algorithm /
- Census transform algorithm /
- anchor feature points recognition /
- positioning model of "anchor digging robot-supported bolt"
注释:

1) 【编者按】实现煤矿智能化，煤矿智能装备是基础。煤矿机器人是煤矿智能装备的典型代表，是煤矿智能化系统的重要成员。随着我国煤矿智能化建设步伐的不断加快，用机器人替人的呼声越来越高，对煤矿机器人的需求越来越大，有力地推动着煤矿机器人研发的不断深入。多年来，我国煤炭科技工作者立足学科发展前沿，致力于煤矿机器人技术攻关，突破了一系列关键技术难题，构建了先进的技术体系。为了进一步提升我国煤矿机器人研发水平，加强学术交流，《工矿自动化》编辑部特邀西安科技大学马宏伟教授担任客座主编，西安科技大学毛清华教授、薛旭升讲师担任客座副主编，2022年12期策划出版“煤矿机器人关键技术”专题。在专题出刊之际，衷心感谢各位专家学者的大力支持。

HTML全文

图 1 视觉定位原理

Figure 1. Visual positioning principle

下载: 全尺寸图片幻灯片

图 2 视觉测距系统结构

Figure 2. Structure of vision ranging system

下载: 全尺寸图片幻灯片

图 3 双目视觉测距原理

Figure 3. Binocular vision ranging principle

下载: 全尺寸图片幻灯片

图 4 双目视觉定位模型

Figure 4. Binocular vision positioning model

下载: 全尺寸图片幻灯片

图 5 Census变换算法改进前后对比

Figure 5. Comparison of Census transform algorithm before and after improvement

下载: 全尺寸图片幻灯片

图 6 图像处理流程

Figure 6. Image processing flow

下载: 全尺寸图片幻灯片

图 7 坐标系转换关系

Figure 7. Coordinate system conversion relationship

下载: 全尺寸图片幻灯片

图 8 “掘锚机器人−已支护锚杆”定位模型

Figure 8. Positioning model of “anchor digging robot-supported bolt”

下载: 全尺寸图片幻灯片

图 9 位移检测系统实验平台

Figure 9. Experiment platform of displacement detection system

下载: 全尺寸图片幻灯片

图 10 实验场地

Figure 10. Sketch map of experimental filed

下载: 全尺寸图片幻灯片

图 11 校正前后结果

Figure 11. Results before and after correction

下载: 全尺寸图片幻灯片

图 12 改进前后视差图效果对比

Figure 12. Effect comparison of disparity before and after improvement

下载: 全尺寸图片幻灯片

图 13 不同视差初始值下的性能对比

Figure 13. Performance comparison under different parallax initial values

下载: 全尺寸图片幻灯片

图 14 特征点提取结果

Figure 14. Extraction results of anchor feature points

下载: 全尺寸图片幻灯片

图 15 特征点拟合直线结果

Figure 15. Straight line fitting results of feature points

下载: 全尺寸图片幻灯片

图 16 特征点平行截面

Figure 16. Parallel section of feature points

下载: 全尺寸图片幻灯片

图 17 运动轨迹对比曲线

Figure 17. Comparison curve of motion track

下载: 全尺寸图片幻灯片

图 18 运动轨迹误差分布

Figure 18. Error distribution of motion track

下载: 全尺寸图片幻灯片

表 1 算法性能对比

Table 1. Comparison of algorithm performance

算法	误匹配率/%	运行时间/s
传统Census变换算法	19.85	4.21
改进Census变换算法	11.52	5.63

下载: 导出CSV

表 2 特征点坐标转换结果

Table 2. Coordinate conversion results of feature points

排数	编号	特征点像素坐标/pixel	特征点世界坐标/mm
第 1 排锚杆	1	（213,345）	（−1012.970,1005.375, 3012.562）
	2	（265,348）	（−514.383,1009.098, 3008.901）
	3	（313,345）	（−8.745,1008.787, 3006.125）
	4	（369,351）	（479.382,1003.812, 3009.351）
	5	（425,355）	（996.156,1011.176, 3015.203）
第 2 排锚杆	6	（157,391）	（−1008.506,1013.185, 2214.812）
	7	（237,324）	（−513.062,1024.289, 2207.625）
	8	（317,330）	（−15.085,1037.623, 2218.191）
	9	（293,325）	（483.410,1025.478, 2215.165）
	10	（472,329）	（979.406,1013.367, 2223.757）
第 3 排锚杆	11	（143,428）	（−1015.214,1031.156, 1410.816）
	12	（247,420）	（−521.467,1013.049, 1415.250）
	13	（359,414）	（−12.891,1016.475, 1417.441）
	14	（462,413）	（507.231,1023.125, 1417.541）
	15	（575,413）	（1051.398,1006.156, 1414.587）

下载: 导出CSV

参考文献(17)

[1]	马宏伟,王鹏,张旭辉,等. 煤矿巷道智能掘进机器人系统关键技术研究[J]. 西安科技大学学报,2020,40(5):751-759. MA Hongwei,WANG Peng,ZHANG Xuhui,et al. Research on key technologies of intelligent tunneling robot system for coal mine[J]. Journal of Xi'an University of Science and Technology,2020,40(5):751-759.
[2]	张羽飞,马宏伟,毛清华,等. 视觉与惯导融合的煤矿移动机器人定位方法[J]. 工矿自动化,2021,47(3):46-52. ZHANG Yufei,MA Hongwei,MAO Qinghua,et al. Coal mine mobile robot positioning method based on fusion of vision and inertial navigation[J]. Industry and Mine Automation,2021,47(3):46-52.
[3]	马宏伟,杨金科,毛清华,等. 煤矿护盾式掘进机器人系统精确定位研究[J]. 工矿自动化,2022,48(3):63-70. MA Hongwei,YANG Jinke,MAO Qinghua,et al. Research on precise positioning of shield roadheader robot system in coal mine[J]. Journal of Mine Automation,2022,48(3):63-70.
[4]	王媛媛,马宏伟,张广明,等. 基于光纤布拉格光栅的超声无损检测系统研究[J]. 现代电子技术,2022,45(9):143-146. WANG Yuanyuan,MA Hongwei,ZHANG Guangming,et al. Research on ultrasonic nondestructive testing system based on fiber Bragg grating[J]. Modern Electronics Technique,2022,45(9):143-146.
[5]	马宏伟,毛金根,毛清华,等. 基于惯导/全站仪组合的掘进机自主定位定向方法[J]. 煤炭科学技术,2022,50(8):189-195. MA Hongwei,MAO Jingen,MAO Qinghua,et al. Autonomous positioning and orientation method of roadheader based on combinaiton of INS and digital total station[J]. Coal Science and Technology,2022,50(8):189-195.
[6]	马宏伟,姚阳,薛旭升,等. 基于多传感器组合的钻锚机器人机身定位方法研究[J]. 煤炭科学技术,2021,49(1):278-285. MA Hongwei,YAO Yang,XUE Xusheng,et al. Research on body positioning method of drilll-anchor robot based on multi-sensor combination[J]. Coal Science and Technology,2021,49(1):278-285.
[7]	陈美蓉,王凯,张嘉纯,等. 煤矿井下超宽带定位混合解算方法[J]. 工矿自动化,2021,47(3):53-59. CHEN Meirong,WANG Kai,ZHANG Jiachun,et al. Hybrid solution method for ultra-wideb and positioning in coal mines[J]. Industry and Mine Automation,2021,47(3):53-59.
[8]	薛旭升,张旭辉,毛清华,等. 基于双目视觉的掘进机器人定位定向方法研究[J]. 西安科技大学学报,2020,40(5):781-789. XUE Xusheng,ZHANG Xuhui,MAO Qinghua,et al. Localization and orientation method of road header robot based on binocular vision[J]. Journal of Xi'an University of Science and Technology,2020,40(5):781-789.
[9]	顾梦娇,朱宇锋,郭迎庆,等. 基于半全局立体匹配算法的改进研究[J]. 电子测量技术,2020,43(19):89-93. GU Mengjiao,ZHU Yufeng,GUO Yingqing,et al. Improvement research based on semi-global stereo matching algorithm[J]. Electronic Measurement Technology,2020,43(19):89-93.
[10]	黄超,赵华治. 根据灰度值信息自适应窗口的半全局匹配[J]. 中国图象图形学报,2019,24(8):1381-1390. HUANG Chao,ZHAO Huazhi. Semi-global stereo matching with adaptive window based on grayscale value[J]. Journal of Image and Graphics,2019,24(8):1381-1390.
[11]	CHANG Y C,TSAI T H,HSU B H,et al. Algroithm and architecture of disparity estimation with mini-census adaptive support weight[J]. IEEE Transactions on Circuits and Systems for Video Technology,2010,20(6):792-805. doi: 10.1109/TCSVT.2010.2045814
[12]	YOON K J,KWEON I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656. doi: 10.1109/TPAMI.2006.70
[13]	李大华,沈洪宇,于晓,等. 一种改进Census变换的双目匹配测距方法[J]. 激光与光电子学进展,2019,56(11):197-202. LI Dahua,SHEN Hongyu,YU Xiao,et al. Binocular ranging method using stereo matching based on improved Census transform[J]. Laser & Optoelectronics Proress,2019,56(11):197-202.
[14]	王浩,张善房,朱建高,等. 基于双目视觉的测距系统研究[J]. 家电科技,2022(4):92-95. doi: 10.19784/j.cnki.issn1672-0172.2022.04.016 WANG Hao,ZHANG Shanfang,ZHU Jiangao,et al. Research on ranging system based on binocular vision[J]. Journal of Appliance Science & Technology,2022(4):92-95. doi: 10.19784/j.cnki.issn1672-0172.2022.04.016
[15]	虞文杰,叶嵩,郭毓,等. 基于改进Census变换与多特征融合的立体匹配算法[J]. 激光与光电子学进展,2022,59(8):157-163. YU Wenjie,YE Song,GUO Yu,et al. Stereo matching algorithm based on improved Census transform and multi-feature fusion[J]. Laser & Optoelectronics Progress,2022,59(8):157-163.
[16]	杨文娟,张旭辉,张超,等. 基于三激光束标靶的煤矿井下长距离视觉定位方法[J]. 煤炭学报,2022,47(2):986-1001. doi: 10.13225/j.cnki.jccs.xr21.1762 YANG Wenjuan,ZHANG Xuhui,ZHANG Chao,et al. Long distance vision localization method based on triple laser beams target in coal mine[J]. Journal of China Coal Society,2022,47(2):986-1001. doi: 10.13225/j.cnki.jccs.xr21.1762
[17]	谢孟辛,张捍卫,李鹏杰,等. 基于整体最小二乘原理的GPS轨道坐标拟合[J]. 导航定位学报,2021,9(4):11-18. doi: 10.16547/j.cnki.10-1096.20210402 XIE Mengxin,ZHANG Hanwei,LI Pengjie,et al. GPS orbit coordinate fitting method based on total least squares[J]. Journal of Navigation and Positioning,2021,9(4):11-18. doi: 10.16547/j.cnki.10-1096.20210402