矿用悬臂式掘进机截割头姿态视觉测量系统

张旭辉, 刘永伟, 杨文娟, 毛清华, 王冬曼, 周颖

(西安科技大学 机械工程学院, 陕西 西安 710054)

摘要针对目前悬臂式掘进机截割头姿态测量方法需要改变掘进机结构且测量稳定性不高的问题,采用单目视觉测量技术,设计了一种矿用悬臂式掘进机截割头姿态视觉测量系统。首先,在安装于截割臂靠近回转台处的红外标靶上采用多点状红外光源组成正方形,通过摄像机定时采集红外标靶图像;然后,通过提取光斑中心计算正方形顶点在像素坐标系中的坐标,再利用四点透视方法得到红外标靶在摄像机坐标系中的坐标;最后,利用建立的截割头姿态测量模型计算出截割头姿态角。实验结果表明,该系统测得的垂直摆角误差在±0.8°以内,水平摆角误差在±0.5°以内。

关键词煤炭开采; 悬臂式掘进机; 截割头姿态; 视觉测量; 单目视觉

中图分类号:TD632.2/421.5

文献标志码:A

网络出版地址:http://kns.cnki.net/kcms/detail/32.1627.TP.20180730.1620.002.html

Vision measurement system for cutting head attitude of mine-used boom-type roadheader

ZHANG Xuhui, LIU Yongwei, YANG Wenjuan, MAO Qinghua,WANG Dongman, ZHOU Ying

(School of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China)

Abstract:For problems that current vision measurement methods for cutting head attitude of boom-type roadheader needed to change roadheader structure with low measurement stability, a vision measurement system for cutting head attitude of mine-used boom-type roadheader was designed by use of monocular vision measurement technology. Firstly, multi-point infrared light source is used to form a square on infrared target installed on cutting arm near rotary table, and the infrared target image is regularly collected by camera. Then, center of light spot is extracted to calculate coordinate of the square vertices in pixel coordinate system, and coordinate of the infrared target in camera coordinate system is obtained by use of pesprctive-4-point method. Finally, attitude angle of cutting head is calculated by use of attitude measurement model of cutting head. The experimental results show that vertical swing angle error of the system is within ±0.8° and horizontal swing angle is within ±0.5°.

Key words:coal mining; boom-type roadheader; cutting head attitude; vision measurement; monocular vision

文章编号1671-251X(2018)08-0063-05

DOI:10.13272/j.issn.1671-251x.2018010067

收稿日期2018-01-23;

修回日期:2018-07-17;

责任编辑:盛男。

基金项目陕西省创新能力支撑计划项目(S2018-ZC-TD-0010);陕西省重点研发计划项目(2017ZDL-G3-8);西安市产学研协同创新计划项目(CXY1519-4);西安市科技局高校院所人才服务企业工程项目(2017079CG/RC042)。

作者简介张旭辉(1972-),男,陕西凤翔人,教授,博士,博士研究生导师,主要研究方向为矿山设备智能检测与控制,E-mail:zhangxh@xust.edu.cn。

引用格式张旭辉,刘永伟,杨文娟,等.矿用悬臂式掘进机截割头姿态视觉测量系统[J].工矿自动化,2018,44(8):63-67.

ZHANG Xuhui,LIU Yongwei,YANG Wenjuan,et al.Vision measurement system for cutting head attitude of mine-used boom-type roadheader[J].Industry and Mine Automation,2018,44(8):63-67.

0 引言

目前煤矿井下仍存在大量依靠人工操作、自动化程度不高的悬臂式掘进机[1],难以保证巷道掘进质量,施工效率低。在不改变掘进机结构基础上对现有掘进机功能进行升级改造,研发可视化导引系统为高粉尘环境下工作的掘进机司机提供操作引导,有助于提高掘进质量和效率。

悬臂式掘进机截割头姿态的精确测量是可视化导引系统的关键。目前掘进机截割头姿态主要采用直接或间接的接触式测量方法。直接接触式测量方法是在截割部上安装角度传感器测量截割头的水平和垂直摆角[2-4]。间接接触式测量方法是通过在摆动油缸中安装磁致伸缩式位移传感器测量油缸位移,利用掘进机结构的几何关系计算截割头的水平和垂直摆角[5-6]。但上述掘进机截割头姿态测量方法需要改变现有掘进机结构且测量稳定性不高。

视觉测量技术[7]作为一种非接触式测量方式,在工业生产检测环节、机器人位姿检测与导航、航天器姿态检测中均有广泛应用,具有精度较高、适应复杂环境的特点[8]。视觉测量主要方法有单目视觉测量、双目视觉测量和多目视觉测量,其中单目视觉测量系统结构简单,对相机的标定和校准也较为简单。因此,本文基于单目视觉测量原理提出了一种矿用悬臂式掘进机截割头姿态视觉测量系统。

1 系统原理

矿用悬臂式掘进机截割头姿态视觉测量系统主要由红外标靶、防爆摄像机等组成,如图1所示。将红外标靶放置于截割臂靠近回转台的位置;考虑到井下光照条件复杂、粉尘多的情况,红外标靶上采用多点状红外光源组成正方形,避免因某点被遮挡而无法计算红外标靶的空间位置。

图1 矿用悬臂式掘进机截割头姿态视觉测量系统组成
Fig.1 Composition of vision measurement system for cutting head attitude of mine-used boom-type roadheader

矿用悬臂式掘进机截割头姿态视觉测量系统工作流程如图2所示。首先使用防爆摄像机对红外标靶进行定时图像采集,并采用高斯滤波器对图像进行预处理。然后提取图像中光斑中心,计算红外标靶上正方形4个顶点在像素坐标系中的坐标,利用四点透视(Pesprctive-4-Point,P4P)方法[9]得到红外标靶上正方形顶点在摄像机坐标系中的坐标。最后根据建立的悬臂式掘进机截割头姿态测量模型计算截割头姿态角。

图2 矿用悬臂式掘进机截割头姿态视觉测量系统工作流程
Fig.2 Workflow of vision measurement system for cutting head attitude of mine-used boom-type roadheader

2 系统关键技术

2.1 红外标靶上正方形顶点坐标计算方法

对于井下恶劣环境,视觉测量难免会受到杂散光源、粉尘、水雾,甚至坠落物遮挡的影响。因此,红外标靶上正方形顶点坐标计算分为以下步骤:

(1) 滤除杂散光源。掘进工作面中杂散光源主要有激光指向仪、矿工头灯、矿用照明灯等可见光源,在摄像机镜头前安装窄带滤光片可消除杂散光源。

(2) 提取光斑边界。利用区域生长方法[10-11]对图像中光斑进行边界提取,并通过设置最小面积阈值滤除小光斑点。

(3) 确定光斑中心。首先去除光斑中灰度值大于245的像素点,然后根据二次线性插值法对灰度值为零的像素点进行插值,最后通过高斯曲面拟合法[12-13]确定光斑中心。

(4) 计算顶点坐标。根据光斑中心距像素坐标系原点的距离对光斑中心进行排序,再利用最小二乘直线拟合法[14]拟合红外标靶上正方形的4条边,通过直线两两相交计算出正方形4个顶点在像素坐标系中的坐标。

2.2 悬臂式掘进机截割头姿态测量模型

为确定悬臂式掘进机截割头姿态,首先需建立掘进机坐标系,如图3所示。基坐标系O0X0Y0Z0的原点与截割臂抬升关节的旋转轴线在同一高度,X0轴在掘进机的中轴线上,Z0轴在回转台的旋转轴线上;1坐标系O1X1Y1Z1的原点与基坐标系原点重合;2坐标系O2X2Y2Z2的原点在截割臂抬升关节的中心,Z2轴在截割臂抬升关节的轴线上;3坐标系O3X3Y3Z3的原点在伸缩油缸前关节的中心,Y3轴在伸缩油缸前关节的轴线上,Z3轴在油缸活塞杆的轴线上;4坐标系O4X4Y4Z4的原点在截割头最小截割半径的中心,Z4轴在截割头锥台的轴线上;摄像机坐标系OcXcYcZc以摄像机的光心为原点;标靶坐标系OwXwYwZw以红外标靶正方形中心为原点,Zw轴垂直于红外标靶。图3中a1a2a3分别为基坐标系原点与2坐标系原点、2坐标系原点与3坐标系原点、3坐标系原点与4坐标系原点之间的水平距离;b1b2分别为2坐标系原点与3坐标系原点、基坐标系原点与地面之间的垂直距离。

图3 矿用悬臂式掘进机坐标系
Fig.3 Coordinate system of mine-used boom-type roadheader

由文献[15]可知,4坐标系到基坐标系的转换矩阵为

(1)

式中:为1坐标系到基坐标系的转换矩阵,为2坐标系到1 坐标系的转换矩阵,为3坐标系到2坐标系的转换矩阵,标系到3坐标系的转换矩阵,为回转台绕Z1轴旋转角度,即截割头水平摆角;θ2为截割臂绕Z2轴旋转角度,即截割头垂直摆角;d为油缸伸缩距离。

假设已知截割臂上某一点在标靶坐标系、摄像机坐标系中的坐标分别为(XwYwZw),(XcYcZc),则[15]

(2)

式中:为基坐标系到摄像机坐标系的转换矩阵;为标靶坐标系到4坐标系的转换矩阵。

利用摄像机外参数标定方法得再根据式(1)计算出θ1θ2,即截割头的姿态角。

3 系统实验

搭建矿用悬臂式掘进机截割头姿态视觉测量系统实验平台,如图4所示。掘进机样机与实际EBZ160型掘进机尺寸比例为1∶5;红外标靶上均匀布置16个红外LED灯组成250 mm×250 mm正方形,红外标靶通过螺丝固定在掘进机样机的截割臂上;摄像机采用MV-EM130M工业相机并加850 nm的窄带滤镜;采用VC++编写程序,实现相机每100 ms采集1张图片。

图4 矿用悬臂式掘进机截割头姿态视觉测量实验平台
Fig.4 Experimental platform of vision measurement for cutting head attitude of mine-used boom-type roadheader

实验前,将掘进机的截割头摆动到左下方或右下方的极限位置,对摄像机内外参数进行标定。实验中,将截割头摆动到不同位置,得到系统测量的截割头垂直摆角和水平摆角,见表1、表2(截割头垂直摆角和水平摆角的实际值分别通过精度为0.01°的倾角传感器和精度为0.05°的角度编码器测得)。

表1 截割头垂直摆角测量结果
Table 1 Measurement results of vertical swing angle of cutting head (°)

实际值测量值实际值测量值6.085.52-4.64-4.219.359.50-6.96-7.3114.2213.57-13.62-14.1016.9616.68-19.35-19.0822.7221.96-21.86-21.33

表2 截割头水平摆角测量结果
Table 2 Measurement results of horizontal swing angle of cutting head (°)

实际值测量值10.109.6420.0019.90-9.82-9.70-19.02-19.26

从表1和表2可看出,系统测量值与实际值相比,垂直摆角误差在±0.8°以内,水平摆角误差在±0.5°以内,满足矿山巷道掘进施工对掘进机截割头姿态测量精度要求。

4 结语

利用单目视觉测量技术设计了矿用悬臂式掘进机截割头姿态视觉测量系统,介绍了该系统工作原理,阐述了系统关键技术。实验结果表明,该系统垂直摆角测量误差在±0.8°以内,水平摆角测量误差在±0.5°以内,满足掘进机截割头姿态测量精度要求。下一步工作是对影响测量精度的因素进行分析,优化测量方案,提高截割头姿态测量精度,为掘进机的自动截割成形控制提供技术支持。

参考文献(References):

[1] 王俊龙.我国煤矿巷道掘进技术和装备的现状与发展[J].煤,2016,25(3):70-71.

[2] 冯宪琴,苑卫东,黄燕梅.矿井掘进机自动截割成形控制技术研究[J].煤炭技术,2014,33(5):194-196.

FENG Xianqin,YUAN Weidong,HUANG Yanmei. Research on mine tunneling machine automatic cutting shaping control technology[J].Coal Technology,2014,33(5):194-196.

[3] 李建刚.自动化掘进机仿形截割控制策略研究[D].阜新:辽宁工程技术大学,2012.

[4] TIAN Jie,CHEN Guoqiang,YANG Yang,et al.Application and testing of a vertical angle control for a boom-type road header[J].International Journal of Mining Science and Technology,2010,20(1):152-158.

[5] 田劼,吴淼.煤矿掘进机自动截割成形控制方法研究[J].煤矿机械,2015,36(5):54-57.

TIAN Jie,WU Miao.Research on automatic cutting shaping control method of coal mine roadheader[J].Coal Mine Machinery,2015,36(5):54-57.

[6] 王苏彧,吴淼.基于PCC的纵轴式掘进机自主截割控制系统研究[J].煤炭工程,2016,48(6):132-135.

WANG Suyu,WU Miao.Autonomous cutting control system of longitudinal roadheader based on PCC[J].Coal Engineering,2016,48(6):132-135.

[7] 刘睿智.基于单目相机的旋转对称目标视觉测量[D].大连:大连理工大学,2016.

[8] 张宇.基于计算机视觉的姿态测量方法及测量精度分析[D].哈尔滨:哈尔滨工业大学,2012.

[9] TANG Jianliang,CHEN Wensheng,WANG Jie.A novel linear algorithm for P5P problem[J].Applied Mathematics and Computation,2008,205(2):628-634.

[10] 蔡佳,黄攀峰,张彬.基于梯度的区域生长和距离直方图的快速圆检测方法[J].光学学报,2015,35(3):185-194.

CAI Jia,HUANG Panfeng,ZHANG Bin.Fast circle detector based on region-growing of gradient and histogram of Euclidean distance[J].Acta Optica Sinica,2015,35(3):185-194.

[11] 樊晓燕,陈兆学.基于Hough变换的椭圆检测方法[J].微计算机信息,2012(9):411-412.

FAN Xiaoyan,CHEN Zhaoxue.Ellipse detection methods based on Hough transform[J].Microcomputer Information,2012(9):411-412.

[12] 孙立环,赵霄洋,高凌妤,等.基于亚像素定位技术的激光光斑中心位置测量[J].激光技术,2017,41(4):511-514.

SUN Lihuan,ZHAO Xiaoyang,GAO Lingyu,et al.Measurement of laser spot center position based on sub pixel positioning technology[J].Laser Technology,2017,41(4):511-514.

[13] 段振云,王宁,赵文珍,等.基于高斯积分曲面拟合的亚像素边缘定位算法[J].仪器仪表学报,2017,38(1):219-225.

DUAN Zhenyun,WANG Ning,ZHAO Wenzhen,et al.Sub-pixel edge location algorithm based on Gauss integral curved surface fitting[J].Chinese Journal of Scientific Instrument,2017,38(1):219-225.

[14] 鞠英博,李伟,姚磊.基于总体最小二乘的直线拟合方法探究[J].测绘与空间地理信息,2017,40(6):166-168.

JU Yingbo,LI Wei,YAO Lei.Linear fitting method based on total least squares[J].Geomatics & Spatial Information Technology,2017,40(6):166-168.

[15] 陈利.基于VR的悬臂式掘进机远程操控与仿真系统研究[D].西安:西安科技大学,2017.