0 引言
近年来，随着煤矿综采技术装备快速发展，开采任务量成倍增长，采掘失衡问题尤为突出[1-2]，掘进装备智能化问题亟待解决。由于井下环境复杂，存在粉尘、噪声等，在截割过程中掘进机司机难以准确判断截割头位置，导致巷道断面成形质量差等问题[3-4]。因此，研究掘进机截割头位姿精确测量，实现复杂工况下井下设备的局部定位，对于提高巷道断面成形质量和掘进工作效率具有重要意义。
悬臂式掘进机截割头位姿检测方法主要包括接触式和非接触式2种，其中接触式测量方式应用广泛，取得了一定效果，但易受井下振动等工况影响，造成传感器数据不稳甚至失效[5-8]。视觉测量是一种非接触式测量方法，利用光学成像原理和位姿解算模型实现目标物体的姿态求解，具有价格低、便于安装标定的特点，用于设备局部定位具有较大优势[9-10]。文献[11]提出了一种基于红外LED特征的悬臂式掘进机截割头位姿视觉测量方法，通过相机采集红外标靶特征，实现了截割头姿态的实时解算和可视化显示。但在实际应用过程中，巷道环境、测量方法、标定参数误差、图像特征提取精度等都会对视觉测量结果产生影响[12]。
工业相机外参标定稳定性对视觉测量精度具有重要影响。在悬臂式掘进机截割头位姿视觉测量系统中，外参标定即求取相机与掘进机机体之间的位姿关系，确定相机坐标系与掘进机基坐标系的相对位置，从而为截割头位姿解算奠定基础。外参数即相机坐标系相对于掘进机基坐标系的转换矩阵。现有外参标定方法需依靠经验将截割臂摆至正中位置(未知)，标定结果存在较大波动。针对该问题，本文提出了一种基于多点固定的外参标定方法，该方法将截割臂摆动到已知极限位置时的相关数据作为标定依据，可有效提高外参标定稳定性，且具有简单、快速、不受限于机身位姿的优点。
防爆工业相机采集掘进机运行过程中的红外LED标靶图像并进行预处理后，需进一步提取光斑中心来进行截割头位姿解算。但红外LED光斑的形状不规则，难以对光斑中心进行提取，且掘进机作业过程中的振动、光线等因素会影响光斑中心提取精度。现有的灰度质心法采用像素的灰度值作为权重来计算光斑质心，精度只能到像素级，仅可粗略满足实际应用需求。亚像素级边缘检测算法可有效降低光斑中心提取误差，从而提高视觉测量精度。因此，本文采用亚像素级[13]边缘检测算法对光斑中心提取方法进行改进。
1 系统组成及原理
悬臂式掘进机截割头位姿视觉测量系统由悬臂式掘进机、防爆工业相机、红外LED标靶、机载防爆计算机、捷联惯导、超声波传感器等组成，如图1所示。红外LED标靶垂直固定于掘进机截割臂上，防爆工业相机、机载防爆计算机固定于掘进机机身上。
图1 悬臂式掘进机截割头位姿视觉测量系统组成
Fig.1 Composition of vision measurement system for cutting head position of cantilever roadheader
对掘进机运行过程中的红外LED标靶图像进行采集和预处理后，求得光斑中心特征点在标靶坐标系和相机坐标系中的坐标，计算截割头的水平摆角和垂直摆角，从而得到截割头相对于机身的位姿
通过捷联惯导、超声波传感器数据计算得到机身相对于巷道的位姿0T；计算截割头相对于巷道断面的位姿，即截割头的绝对位姿4T：
(1)
2 外参标定改进方法
2.1 坐标系建立
坐标系定义如图2所示[15]，其中O0X0Y0Z0，O1X1Y1Z1，O2X2Y2Z2，O3X3Y3Z3，O4X4Y4Z4分别为悬臂式掘进机基坐标系、回转关节坐标系、抬升关节坐标系、伸缩关节坐标系及截割头坐标系，OcXcYcZc，OwXwYwZw分别为相机坐标系及标靶坐标系。
图2 坐标系定义
Fig.2 Definition of coordinate systems
相机坐标系到掘进机基坐标系的转换矩阵
为
(2)
式中：
为掘进机截割头坐标系到掘进机基坐标系的转换矩阵；
为标靶坐标系到截割头坐标系的转换矩阵，可根据标靶在悬臂式掘进机上的相对安装位置确定；
为相机坐标系到标靶坐标系的转换矩阵，可由相机内外参标定方法求得。
2.2 基于多点固定的标定方法
要得到确定相机坐标系到掘进机基坐标系的转换矩阵，需借助视觉测量系统确
的值。
由掘进机结构参数可知，截割臂水平摆角θ1的变化范围为[-32°,32°]，垂直摆角θ2的变化范围为[-132°,-66°]。运行视觉测量系统，控制掘进机截割臂分别摆动到左上角、右上角、左下角、右下角4个已知极限位置，(θ1，θ2)分别为(-32°，-132°)，(32°，-132°)，(-32°，-66°)，(32°，-66°)，如图3所示。
图3 截割头摆动位置
Fig.3 Swing positions of cutting head
依据(θ1，θ2)的值，结合式(2)，采用文献[15]中的方法求得掘进机截割头坐标系到掘进机基坐标系的转换矩
再通过式(2)计算即可得
为保证精确性，在每个已知极限位置采集多组标靶图像，分别计算得到多组外参矩阵值；采用箱线图法[16]选取适当阈值，剔除标定过程中所出现的异常值；取平均值，求得相机坐标系到掘进机基坐标系的转换矩
由旋转矩阵R和平移矩阵t组成：
(3)
求得相机坐标系到掘进机基坐标系的转换矩
即完成外参标定过程。结
再次代入式(2)，可求解运动过程中截割头相对于机身的转换矩
代入式(1)，可得到截割头的绝对位姿4T，从而实现截割头局部位姿测量。
3 光斑中心提取改进方法
为实现光斑中心精确定位，首先采用灰度质心法进行光斑中心粗提取，然后采用亚像素级边缘检测算法求出亚像素级边缘坐标[17]，最后使用基于最小二乘法的椭圆中心拟合算法[18]进行光斑中心定位。
进行亚像素级边缘细定位之前，将边缘点所在区域划分为2个部分，如图4所示，设黄色部分为区域1，蓝色部分为区域2，原点O为圆心，P(xp，yp)为圆边缘像素点。
图4 边缘点区域划分
Fig.4 Region division for edge point
设区域1中点P的临近点为K(xk，yk)，J(xj，yj)，K点和J点分别为直线OP与直线x=xp+1，x=xp-1的交点；设区域2中点P的临近点为M(xm，ym)， N(xn，yn)，M点和N点分别为直线OP与直线y=yp+1，y=yp-1的交点。假设边缘点P位于区域2内，则有ym=yp+1，因为点M在直线OP上，且直线OP已知，通过ym可以求得xm。
任意像素点(i,j)的灰度值可表示为
(4)
式中g(x,y)为图像的连续光强分布。
对边缘点P的临近点进行灰度插值。根据线性插值原理得到M点的灰度值：
f(xm，ym)=(1-λ)f([xm]，ym)+
λf([xm]+1，ym)
(5)
式中：[xm]为xm的整数部分；λ=xm-[xm]。
同理可得临近点K(xk，yk)，J(xj，yj)，N(xn，yn)的灰度值f(xk，yk)，f(xj，yj)，f(xn，yn)。根据4个临近点的灰度值可得到亚像素级边缘点坐标(x0,y0):
(6)
4 实验验证
悬臂式掘进机截割头位姿视觉测量实验平台如图5所示，包括1∶5实验室掘进机模型、30 cm×30 cm红外LED标靶、MV-EM130M/C型工业相机、机载防爆计算机、SCA120T型倾角传感器、拉绳传感器。红外LED标靶上均匀分布16个红外LED光源。倾角传感器、拉绳传感器分别用于检测截割臂垂直摆角和水平摆角。
图5 悬臂式掘进机截割头位姿视觉测量实验平台
Fig.5 Experimental platform for vision measurement of cutting head position of cantilever roadheader
4.1 光斑中心提取精度对比
采集到红外LED光斑图像后，首先进行二值化处理；其次采用灰度质心法实现光斑中心粗提取，对杂点进行滤除；然后采用亚像素级边缘检测方法实现边缘细定位；最后通过最小二乘拟合获取光斑中心，得到其三维坐标值。光斑中心提取过程如图6所示。
图6 光斑中心提取过程
Fig.6 Spot center extraction process
根据所得光斑中心坐标值计算标靶LED灯间距，并与实际间距120 mm进行对比。将截割头摆动至按3×3布置的9个位置点，在每个位置点采集多组图像，进行均值滤波处理，测量误差如图7所示。
图7 光斑中心提取方法改进前后测量结果对比
Fig.7 Comparison of measurement results before and after the improvement of spot center extraction method
由图7可知，改进前最大测量误差为3.2 mm，最大相对误差为2.7%；改进后最大测量误差为1 mm，最大相对误差为0.8%。
4.2 外参标定实验
在实验室关灯并紧闭窗帘，模拟煤矿井下光线不足环境，利用计算机程序实现工业相机的软触发，设置采集时间间隔为100 ms。分别摆动掘进机截割臂至左上角、左下角、右上角、右下角4个极限位置，通过防爆工业相机采集各位置的图像，通过计算机进行图像预处理、光斑中心提取及外参标定。每标定1次将相机在x轴方向移动50 mm，实现不同距离的外参标定。改进后的外参标定结果见表1、表2。
表1 外参数t
Table 1 External parameter t m
序号坐标x坐标y坐标z11.528 280-0.012 0391.565 07021.576 580-0.014 5841.562 61031.626 610-0.013 4081.558 50041.671 690-0.012 9211.568 66051.726 110-0.019 7431.573 890
表2 外参数R
Table 2 External parameter R (°)
序号x轴转角αy轴转角βz轴转角γ1-1.909 40-0.098 0790.098 0802-2.785 72-0.102 0810.102 0813-2.016 30-0.166 6200.166 6214-2.157 04-0.193 7290.193 7305-1.721 15 0.143 189-0.143 190
由表1、表2可知，平移矩阵中位移的最大变化幅度为15 mm，旋转矩阵中角度的最大变化幅度为1°，说明用基于多点固定的外参标定方法所获得的外参数矩阵比较稳定，可为掘进机截割头位姿解算奠定基础。
4.3 系统测量误差对比
在截割头位姿视觉测量实验平台上，使用倾角传感器和拉绳传感器检测截割臂真实摆动角，并采用改进前后的视觉测量系统进行对比实验。截割头水平摆角、垂直摆角测量结果对比分别见表3、表4。
表3 截割头水平摆角测量结果对比
Table 3 Measurement results comparison of horizontal swing angle of cutting head (°)
编号真实值测量结果误差改进前改进后改进前改进后10.0131.259 1830.061 1661.246 1830.048 16620.0291.675 6580.260 2411.646 6580.231 2413-13.819-12.372 800-13.365 7001.446 2000.453 3004-13.596-12.400 300-13.134 3001.195 7000.461 7005-13.024-11.441 500-13.308 6801.582 500-0.284 68060.2390.282 492-0.115 6840.043 492-0.354 684713.92312.861 41014.172 280-1.061 5900.249 280813.40813.460 98013.720 8500.052 9800.312 850913.59013.398 46013.234 900-0.191 540-0.355 100
由表3、表4可知，视觉测量系统改进前对截割头摆角的测量误差范围为[-1.2°,1.7°]，改进后截割头水平摆角误差范围为[-0.5°,0.5°]，垂直摆角误差范围为[-0.6°,0.6°]。实验结果表明，改进方法有效提高了截割头摆角的检测精度。以EBZ160掘进机为例，截割臂长度为4.7 m，结合摆角误差范围，可计算得到截割头位置误差在50 mm以内，满足煤矿井下截割头实时测量精度需求。
表4 截割头垂直摆角测量结果对比
Table 4 Measurement results comparison of vertical swing angle of cutting head (°)
编号真实值测量结果误差改进前改进后改进前改进后1-90.257-89.999 8-90.532 20.257 2-0.275 22-103.813-104.219 0-104.367 0-0.406 0-0.554 03-103.452-104.624 0-103.101 0-1.172 00.351 04-88.882-90.001 4-88.363 2-1.119 40.518 85-72.995-73.940 7-72.541 1-0.945 70.453 96-73.181-73.582 5-73.591 5-0.401 5-0.410 57-73.284-73.451 5-74.020 4-0.167 5-0.236 38-89.575-89.445 4-89.435 00.129 60.140 09-103.993-104.114 0-103.536 0-0.121 00.457 0
5 结论
(1) 针对悬臂式掘进机截割头位姿视觉测量系统外参标定结果存在较大波动的问题，提出一种基于多点固定的外参标定方法，该方法将截割臂摆动到极限位置(已知)时的相关数据作为标定依据，可有效提高外参标定稳定性。
(2) 针对灰度质心法提取光斑中心精度只能到像素级的问题，提出采用亚像素级边缘检测算法改进光斑中心提取方法。在采用灰度质心法进行光斑中心粗提取的基础上，采用亚像素级边缘检测算法进行边缘细定位，再使用基于最小二乘法的椭圆中心拟合算法进行光斑中心定位。
(3) 光斑中心提取精度对比实验结果表明，改进光斑中心提取方法将标靶LED灯间距最大测量误差从3.2 mm缩小为1 mm，提高了检测精度。外参标定实验结果表明，基于多点固定的外参标定方法所获得的外参数矩阵比较稳定，平移矩阵中位移的最大变化幅度为15 mm，旋转矩阵中角度的最大变化幅度为1°。系统测量误差对比实验结果表明，视觉测量系统改进前对截割头摆角的测量误差范围为[-1.2°,1.7°]，改进后截割头水平摆角误差范围为[-0.5°,0.5°]，垂直摆角误差范围为[-0.6°,0.6°]，说明改进方法有效提高了截割头摆角的检测精度。
[1] 王焱金,张建广,马昭.综掘装备技术研究现状及发展趋势[J].煤炭科学技术,2015,43(11):87-90.
WANG Yanjin,ZHANG Jianguang,MA Zhao.Research status and development tendency of mine fully-mechanized heading equipment technology[J]. Coal Science and Technology,2015,43(11):87-90.
[2] 王步康.煤矿巷道掘进技术与装备的现状及趋势分析[J].煤炭科学技术,2020,48(11):1-11.
WANG Bukang.Current status and trend analysis of readway driving technology and equipment in coal mine[J].Coal Science and Technology,2020,48(11): 1-11.
[3] 项杰,杨尚武.悬臂式掘进机导航技术现状及其发展[J].科技创新与应用,2019(14):160-161.
XIANG Jie, YANG Shangwu. Present situation and development of navigation technology of boom-type roadheader[J].Technology Innovation and Application,2019(14):160-161.
[4] 田原.悬臂式掘进机导航技术现状及其发展方向[J].工矿自动化,2017,43(8):37-43.
TIAN Yuan.Present situation and development direction of navigation technology of boom-type roadheader[J].Industry and Mine Automation,2017, 43(8):37-43.
[5] 李军利.悬臂式掘进机断面自动成形理论与控制策略研究[D].太原:太原理工大学,2009.
LI Junli. Research on automatic cross section profiling theory and control strategy for boom-type roadheader[D].Taiyuan:Taiyuan University of Technology,2009.
[6] 王苏彧,吴淼.基于PCC的纵轴式掘进机自主截割控制系统研究[J].煤炭工程,2016,48(6):132-135.
WANG Suyu,WU Miao.Autonomous cutting control system of longitudinal roadheader based on PCC[J]. Coal Engineering,2016,48(6):132-135.
[7] 冯宪琴,苑卫东,黄燕梅.矿井掘进机自动截割成形控制技术研究[J].煤炭技术,2014,33(5):194-196.
FENG Xianqin,YUAN Weidong,HUANG Yanmei. Research on mine tunneling machine automatic cutting shaping control technology[J].Coal Technology,2014,33(5):194-196.
[8] 贺建伟,常映辉,陈宁,等.井下掘进装备组合导航系统研究[J].煤矿机械,2020,41(9):32-34.
HE Jianwei,CHANG Yinghui,CHEN Ning,et al. Research on integrated navigation system of underground driving equipment[J]. Coal Mine Machinery,2020,41(9):32-34.
[9] 杜雨馨,刘停,童敏明,等.基于机器视觉的悬臂式掘进机机身位姿检测系统[J].煤炭学报,2016,41(11): 2897-2906.
DU Yuxin,LIU Ting,TONG Minming,et al. Pose measurement system of boom-type roadheader based on machine vision[J].Journal of China Coal Society, 2016,41(11):2897-2906.
[10] 张旭辉,刘永伟,毛清华,等.煤矿悬臂式掘进机智能控制技术研究及进展[J].重型机械,2018(2):22-27.
ZHANG Xuhui,LIU Yongwei,MAO Qinghua,et al. Research and progress on intelligent control technology of boom-type roadheader in coal mine[J].Heavy Machinery,2018(2):22-27.
[11] 杨文娟,张旭辉,马宏伟,等.悬臂式掘进机机身及截割头位姿视觉测量系统研究[J].煤炭科学技术,2019,47(6):50-57.
YANG Wenjuan, ZHANG Xuhui, MA Hongwei, et al. Research on position and posture measurement system of body and cutting head for boom-type roadheader based on machine vision[J].Coal Science and Technology,2019,47(6):50-57.
[12] 张旭辉,赵建勋,杨文娟,等.悬臂式掘进机视觉导航与定向掘进控制技术研究[J/OL].煤炭学报:1-11[2020-09-22]. https://doi.org/10.13225/j.cnki.jccs.ZN20.035 7.
ZHANG Xuhui, ZHAO Jianxun, YANG Wenjuan,et al. Vision-based navigation and directional heading control technologies of boom-type roadheader[J/OL]. Journal of China Coal Society:1-11[2020-09-22]. https://doi.org/10.13225/j.cnki.jccs.ZN20.035 7.
[13] 罗振威,丁跃浇,甘玉坤,等.基于边缘线性拟合的芯片亚像素定位算法[J].软件,2020,41(6):204-207.
LUO Zhenwei,DING Yuejiao,GAN Yukun,et al. Chip sub-pixel localization algorithm based on edge linear fitting[J].Computer Engineering & Software,2020,41(6):204-207.
[14] 杨文娟,马宏伟,张旭辉.悬臂式掘进机截割头姿态视觉检测系统[J].煤炭学报,2018,43(增刊2):581-590.
YANG Wenjuan,MA Hongwei,ZHANG Xuhui.Attitude measurement system of cutting head for boom-type roadheader based on vision measurement[J].Journal of China Coal Society,2018,43(S2):581-590.
[15] 陈利.基于VR的悬臂式掘进机远程操控与仿真系统研究[D].西安:西安科技大学,2017.
CHEN Li.Research on remote control and simulation system of boom roadheader based on VR[D].Xi'an: Xi'an University of Science and Technology, 2017.
[16] 寇元宝,汪崇建,贠瑞光.采煤机运行数据预处理算法研究[J].煤矿机械,2020,41(10):41-43.
KOU Yuanbao,WANG Chongjian,YUN Ruiguang. Research on preprocessing algorithm of shearer operation data[J].Coal Mine Machinery,2020,41(10): 41-43.
[17] 王毅恒.多视角三维重建中高精度标定方法的研究与应用[D].北京:北京交通大学,2018.
WANG Yiheng. Research and application of high accuracy calibration method in multi-view 3D reconstruction[D]. Beijing:Beijing Jiaotong University, 2018.
[18] 闫蓓,王斌,李媛.基于最小二乘法的椭圆拟合改进算法[J].北京航空航天大学学报,2008,34(3): 295-298.
YAN Bei,WANG Bin,LI Yuan. Optimal ellipse fitting method based on least-square principle[J]. Journal of Beijing University of Aeronautics and Astronautics, 2008,34(3):295-298.
