0.   引言

《中国工程科技2035发展战略 • 能源与矿业领域报告》中指出，煤矿设备精确定位是煤炭智能化开采亟需解决的问题之一^[1-3]。掘进装备的精确定位、定向导航是实现巷道掘进智能化的关键^[4]，悬臂式掘进机属于非全断面掘进设备，其定位、定向和定形截割难度大。掘进机位姿测量技术是保证巷道成形质量的基础和关键，也是近年来行业攻关的热点。文献[5]提出基于双目视觉的悬臂式掘进机位姿测量技术，采用3D−3D运动估计方法求解位姿参数，但由于双目视觉方法测量的距离有限，需要频繁移动标靶，很难应用于环境复杂的掘进工作面。文献[6]提出基于激光靶向扫描的掘进机位姿测量方法，但该方法会产生姿态角累计误差，掘进机每前进50 m需进行1次激光标靶移站和重新标定。文献[7]提出一种基于室内全球定位系统（indoor Global Positioning System，iGPS）的掘进机位姿检测系统，在测量距离较短时具有较高精度，但在实际应用中测量距离通常大于17 m，此时系统精度无法保证。文献[8]提出一种基于超宽带（Ultra Wide Band，UWB）的掘进机位姿检测系统，该系统可进行自主标定，消除UWB定位基站移动造成的累计误差，但姿态角解算精度不高，且需要搭配倾角传感器辅助测量。文献[9]提出一种基于惯导的掘进机位姿检测系统，该系统三轴姿态角测量精度高，但难以建立掘进机坐标系与巷道基准坐标系的联系，受航位推算原理限制，三轴坐标测量误差随着时间推移而增大。文献[10]提出一种基于机器视觉的掘进机位姿检测系统，机身姿态角测量误差小于0.16°，但无法测量相机与激光发射器的距离。

将机器视觉和激光融合的掘进机位姿检测系统具有环境适应性好、精度高等优势^[11]。文献[12-13]提出一种基于组合激光和机器视觉的掘进机位姿检测系统，截割头位置测量误差不超过40 mm，姿态角测量误差不超过0.5°，但该系统未能根据粉尘浓度自适应调整相机参数和图像处理参数，导致图像特征难以精确提取，影响了系统的适应性和稳定性。针对该问题，本文对掘进机位姿视觉检测系统进行改进，利用矿用防爆工业相机采集不同粉尘浓度下的激光点−线图像，建立粉尘浓度等级与图像灰度值的关系模型，划分浓度等级，通过实验获取不同粉尘浓度等级下的最优相机参数和图像处理参数，并根据粉尘浓度自适应调整参数值，提高点−线特征提取的稳定性和精度，进而提高掘进机位姿视觉检测系统的精度。

1.   悬臂式掘进机位姿视觉检测系统原理

悬臂式掘进机位姿视觉检测系统由2个红外激光指向仪、MV−EMV510M防爆工业相机、防爆计算机和悬臂式掘进机组成，如图1所示。其中，${O_{\rm{c}}}{X_{\rm{c}}}{Y_{\rm{c}}}{Z_{\rm{c}}}$为防爆工业相机坐标系，以相机光心为原点；${O_{\rm{d}}}{X_{\rm{d}}}{Y_{\rm{d}}}{Z_{\rm{d}}}$为激光定向坐标系，以2个红外激光指向仪光源连线的中点为原点。防爆工业相机和防爆计算机固定在悬臂式掘进机机体上，2个红外激光指向仪水平安装于掘进机后方，朝向掘进机掘进方向。对红外激光指向仪进行调平，使其发出的2条光线平行且保持在水平方向。通过防爆工业相机采集激光束图像，利用改进随机Hough变换对激光束进行直线检测，最后通过“门”型三线模型解算掘进机机身位姿^[12]。

图  1  悬臂式掘进机位姿视觉检测系统

Figure  1.  Position and posture measurement system for boom-type roadheader based on machine vision

下载: 全尺寸图片 幻灯片

2.   悬臂式掘进机位姿视觉检测系统改进

煤矿井下存在高粉尘、低照度的复杂工况，图像采集质量和特征提取效果受粉尘浓度影响较大，若相机参数和特征提取参数不能根据粉尘浓度变化进行自适应调整，易产生点−线特征提取不稳定和图像丢帧等问题。针对该问题，对悬臂式掘进机位姿视觉检测系统进行改进。改进后悬臂式掘进机位姿视觉检测系统主要包括光斑坐标确定和掘进机位姿解算2个部分，光斑坐标确定又分为粉尘浓度估计、激光束直线方程提取和激光束光斑提取3个部分，如图2所示。由于掘进机位姿解算原理在文献[12]中已有详细介绍，本文侧重于分析光斑坐标确定部分，主要研究粉尘浓度与相机参数和图像处理参数之间的关系，根据粉尘浓度自适应调整相关参数值，提高图像采集质量和点−线特征提取精度，进而提高掘进机位姿检测精度。

图  2  改进后悬臂式掘进机位姿视觉检测系统流程

Figure  2.  Flow of the improved position and posture measurement system for boom-type roadheader based on machine vision

下载: 全尺寸图片 幻灯片

粉尘浓度估计部分确定粉尘浓度与图像之间的映射关系。通过防爆工业相机采集图像并进行预处理，通过直方图均衡化对图像进行增强，获取平均灰度信息，并建立图像灰度值与粉尘浓度等级之间的关系模型，根据关系模型和图像灰度信息得到粉尘浓度等级，将粉尘浓度等级与相机参数和色调（H）、饱和度（S）、明度（V）阈值进行映射，再生成自适应粉尘浓度的参数和阈值。

利用Hough变换与最小二乘法提取激光束直线方程。对输入的图像进行去噪和畸变矫正处理，将图像由RGB空间转换至HSV颜色空间，再将H，S，V阈值与计算值进行对比，排除HSV空间中的强干扰因素，得到激光束区域的二值图像；对激光束区域的二值图像进行边缘提取、骨架提取等处理，得到激光束的轮廓及骨架信息；结合Hough变换和最小二乘法去除剩余的少量噪声信息，得到激光束直线方程。

利用拟合方法提取激光束光斑中心坐标。光斑亮度较高时，其红（R）、绿（G）、蓝（B）三通道的值较大，且激光光晕区域R通道的值大于B和G通道的值。根据图像中像素点三通道的值及其关系可在多杂光背景中确定光斑区域和激光光晕区域。通过冒泡排序法获取图像中各光斑之间的距离，当距离在一定范围内时，表明是红外激光指向仪的2个光斑，求取光斑中心坐标。

3.   参数自适应调整算法

3.1   图像灰度值与粉尘浓度等级关系模型

用防爆工业相机获取激光穿过粉尘的光斑与激光束图像，用Halcon对每幅图像的光斑进行处理，得到光斑区域的平均灰度值，建立光斑区域的透过率与灰度值的关系，最终根据测得的透过率建立灰度值和粉尘浓度等级的关系^[14-15]。透过率模型为

式中：$T(x)$为被粉尘遮挡的图像中像素x的颜色；$t(x)$为像素$x$处粉尘的透过率；$J(x)$为像素$x$处激光线区域颜色；$s(x)$为像素$x$处粉尘的颜色。

根据式（1）得到像素$x$处当前帧的三通道颜色${T_{\rm{H}}}(x)$，${T_{\rm{S}}}(x)$，${T_{\rm{V}}}(x)$：

式中${J_{\rm{H}}}(x)$，${J_{\rm{S}}}(x)$，${J_{\rm{V}}}(x)$为像素$x$处参考帧的三通道颜色。

在粉尘颜色s(x)已知的前提下，以图像分块为单位估算透过率。设$\omega (x)$为以像素$x$为中心的图像分块，则根据该图像分块估算的像素$x$处粉尘的透过率为

式中：$y$为图像分块$\omega (x)$中的像素；${T_c}(y)$为像素$y$的$c$通道值。

像素x处的灰度值为

式中${t_0}$，${t_{\min }}$分别为透过率的基准值和最小值。

由式（4）可得到灰度值与透过率之间的映射关系。透过率越小，则粉尘浓度越大，图像的灰度值越大，即像素越趋近白色。因此，根据透过率范围可划分出粉尘浓度等级，从而建立灰度值与粉尘浓度等级的关系，见表1。

表  1  图像灰度值与粉尘浓度等级的关系

Table  1.  The relationship between image gray value and dust concentration level

灰度值	透过率/%	粉尘浓度等级
160~200	0~20	超高浓度
120~160	20~40	高浓度
70~120	40~70	中浓度
40~70	70~100	低浓度

下载: 导出CSV 

| 显示表格

3.2   参数优化

曝光时间是影响图像清晰度的重要参数^[16-17]。在不过曝的前提下，增加曝光时间可以提高信噪比，使图像更清晰。H，S，V阈值是影响点−线特征提取结果的重要参数，根据多次实验结果得出，H通道的最大值和最小值、S通道和V通道的最大值不需要调整，只需调整S通道和V通道的最小值，调节范围为20~50。

由于在超高浓度粉尘环境下无法获取图像特征，所以设置粉尘浓度分别为高浓度、中浓度、低浓度，在每组浓度下分别设置曝光时间为40 000，60 000，80 000 μs，在每种曝光时间下，设置S通道和V通道的最小值S_min，V_min，均取为25，35，45，进行掘进机位姿实验，获取不同粉尘浓度下的最优参数。设机身位置坐标真实值为（−100 mm，10 000 mm，90 mm），测量值为（X，Y，Z），以中浓度为例，得到不同参数下悬臂式掘进机位姿测量结果，见表2。

表  2  中浓度粉尘环境下参数选取实验结果

Table  2.  Experimental results of parameter selection in medium-concentration dust environment

曝光时间/μs	Smin	Vmin	测量值/mm			可用 图像/张
			X	Y	Z
40 000	25	25	—	—	—	—
		35	—	—	—	—
		45	−124.3	9964.1	112.3	65
	35	25	−123.3	9959.2	116.3	72
		35	−125.2	9962.5	115.1	76
		45	−128.1	9969.3	113.3	91
	45	25	−125.4	9965.3	110.7	78
		35	−126.8	9968.1	112.1	88
		45	—	—	—	—
60 000	25	25	—	—	—	—
		35	—	—	—	—
		45	−125.4	9964.3	110.7	78
	35	25	−122.3	9965.6	110.3	80
		35	−126.2	9967.8	112.1	84
		45	−124.1	9966.6	114.3	88
	45	25	−126.4	9967.5	115.7	90
		35	−126.1	9969.2	113.1	94
		45	—	—	—	—
80 000	25	25	—	—	—	—
		35	—	—	—	—
		45	—	—	—	—
	35	25	—	—	—	—
		35	−126.2	9965.5	112.1	75
		45	−127.9	9961.2	115.3	79
	45	25	—	—	—	—
		35	−127.8	9963.1	111.1	84
		45	−129.1	9970.3	114.3	80

下载: 导出CSV 

| 显示表格

粉尘浓度一定，相机曝光时间为40 000，60 000，80 000 μs，S_min为25时，不能提取出准确的图像特征信息，因此很难得到机身位置数据；相机曝光时间为80 000 μs时，虽然通过调整S_min和V_min可在一定程度上提高位姿检测精度，但获取的可用图像数量有限，很难保证数据的实时性；当相机曝光时间为60 000 μs，S_min为35或45，V_min为35时，不但可保证位姿检测精度，数据的实时性也较高，因此，粉尘浓度等级为中浓度时，该组参数为最优参数。

同理，得到高浓度和低浓度粉尘下的最优相机参数及图像处理参数，见表3。

表  3  不同粉尘浓度等级下的最优相机和图像处理参数

Table  3.  Optimal camera and image processing parameters under different dust concentration levels

粉尘浓度等级	曝光时间/μs	Smin	Vmin
高浓度	60 000	45	35，45
中浓度	60 000	35，45	35
低浓度	40 000	35	45

下载: 导出CSV 

| 显示表格

4.   实验分析

搭建悬臂式掘进机位姿视觉检测系统实验平台，如图3所示。该平台由悬臂式掘进机、红外激光指向仪、MV−EMV510M防爆工业相机、防爆计算机、数字全站仪、粉尘浓度传感器、粉尘制造器等组成。防爆工业相机位于机身后方，2个红外激光指向仪水平且平行指向掘进机前进方向，数字全站仪位于红外激光指向仪与防爆工业相机之间的任意位置，以数字全站仪测量结果为基准。

图  3  悬臂式掘进机位姿视觉检测系统实验平台

Figure  3.  Experimental platform for position and posture measurement system for boom-type roadheader based on machine vision

下载: 全尺寸图片 幻灯片

将防爆工业相机固定于板车上移动5个不同位置（各位置粉尘浓度不同），采集不同粉尘浓度下的激光束图像（图4），进行图像预处理、光斑中心定位、激光束直线特征提取及机身位姿解算，得到机身在激光定向坐标系中的位姿，再根据坐标系之间的转换关系，得到机身在数字全站仪坐标系下的位姿。每组实验至少保证100张图像，结果取平均值，见表4。参数自适应调整算法与非自适应调整算法在3个方向的误差对比如图5所示，误差统计结果见表5。

图  4  不同粉尘浓度等级下的激光束图像

Figure  4.  Laser beam images under different dust concentration levels

下载: 全尺寸图片 幻灯片

表  4  掘进机位姿检测实验结果

Table  4.  The experimental results of the position and posture detection of the roadheader

项目	编号	X/mm	Y/mm	Z/mm
位姿真实值	1	−100	10 000	−90
	2	−200	15 000	−90
	3	−300	20 000	−90
	4	−350	25 000	−90
	5	−420	30 000	−90
位姿测量值 （非自适应调整）	1	−135.2	9 963.8	−120.6
	2	−169.4	15 039.5	−60.9
	3	−339.8	20 039.2	−118.8
	4	−312.4	24 958.5	−60.4
	5	−458.5	30 042.2	−59.2
位姿测量值 （自适应调整）	1	−128.1	9 969.3	−113.3
	2	−173.6	15 031.2	−67.5
	3	−329.5	20 029.7	−112.1
	4	−321.9	24 970.5	−68.9
	5	−449.2	30 031.8	−66.3

下载: 导出CSV 

| 显示表格

图  5  掘进机位姿测量误差

Figure  5.  The measurement error of the position and posture of the roadheader

下载: 全尺寸图片 幻灯片

表  5  参数自适应与非自适应调整算法误差对比

Table  5.  Error comparison between parameter adaptive adjustment algorithm and non-adaptive adjustment algorithm

参数调整 算法	最大误差/mm				平均误差/mm			可用 图像/张
	X 方向	Y 方向	Z 方向		X 方向	Y 方向	Z 方向
非自适应	39.8	42.2	30.8		36.34	39.74	29.78	75
自适应	29.5	31.8	23.7		28.26	30.58	22.54	90

下载: 导出CSV 

| 显示表格

实验结果表明，采用参数自适应调整算法后，3个方向的位姿测量误差均有效降低，处理100张图像后得到的可用图像从75张提高到90张，说明参数自适应调整算法可有效提高图像特征提取精度和数据的可用性，从而保证悬臂式掘进机机身定位精度和稳定性。

5.   结语

介绍了悬臂式掘进机位姿视觉检测系统原理，分析了其存在的问题并对系统进行改进。通过透过率建立图像灰度值与粉尘浓度等级的关系模型，通过实验获取不同粉尘浓度等级下的最优相机参数和图像处理参数。进行特征提取时，可根据图像灰度值判断粉尘浓度等级，进而得到最优参数。实验结果验证了参数自适应调整算法可提高图像采集质量和点−线特征提取的稳定性和精度，进而提高掘进机位姿视觉检测系统的精度。