Research on the cantilever roadheader positioning based on near-infrared binocular stereo vision
-
摘要: 针对现有掘进机无法实时定位、定位不准确、视觉定位中相机视野被遮挡导致定位失败等问题，提出了一种将基于近红外双目立体视觉的悬臂式掘进机定位方案。在悬臂式掘进机机身与机臂安装近红外LED标靶，以LED作为近红外标靶构建掘进机特征信息，通过图像处理、位姿解算实现掘进机机身与截割部的三维空间定位。双目立体视觉相机安装在巷道顶部，随着掘进机不断推进，掘进机与双目立体视觉相机距离逐渐增加，造成双目图像获取失败，进而导致视觉解算截割部位姿失败。针对该问题，引入基于一维卷积神经网络（1D−CNN）的掘进机截割部磁场辅助定位方法。在掘进机机身两侧安装三轴数字磁场计，并在机臂处安装永磁体，以磁场的强度分量和双目立体视觉相机获取的位姿数据作为训练数据，构建1D−CNN模型，输出在视觉测量失效情况下掘进机截割部位姿。从深度信息和掘进机机身及截割部位姿2个方面对基于近红外双目立体视觉的悬臂式掘进机定位方案进行实验，结果表明：机身测量误差在±11 mm以内，相对误差在0.4%以内。截割部测量误差在±50 mm以内，相对误差在1%以内；掘进机机身与截割部间的相对位姿误差在±2.5°以内，俯仰角的均方根误差为根0.930 1°，偏航角的均方根误差为0.922 0°。上述误差在巷道作业允许范围内，验证了该方案的有效性和可靠性。对基于1D−CNN的掘进机截割部磁场辅助定位方法进行了有效性验证，为模拟井下复杂磁场环境，在掘进机附近随机添加干扰磁源，结果表明：该方法对掘进机截割部俯仰角、偏航角、翻滚角的预测值与测量的真实值基本吻合，预测的俯仰角、偏航角、翻滚角决定系数分别为0.992 4，0.995 9，0.917 4，说明基于1D−CNN的掘进机截割部磁场辅助定位方法能够较好地满足在视觉定位失效下的掘进机定位需求。Abstract: The existing roadheader has problems, such as unable real-time positioning, inaccurate positioning, and positioning failure caused by camera view occlusion in visual positioning. In order to solve the above problems, a positioning scheme of the cantilever roadheader based on near-infrared binocular stereo vision is proposed. A near-infrared LED target is arranged on the fuselage and arm of cantilever roadheader. Taking LED as the near-infrared target, the characteristic information of the roadheader is constructed. The three-dimensional spatial positioning of the roadheader fuselage and the cutting part is realized through image processing and pose calculation. The binocular stereo vision camera is arranged at the top of a roadway. The distance between the roadheader and the binocular stereo vision camera gradually increases as the roadheader continues to advance. It leads to the failure of binocular image acquisition, which leads to the failure of the visual solution of the pose of the cutting part. In order to solve this problem, a magnetic field assisted positioning method of the cutting part based on one-dimensional convolution neural network (1D-CNN) is introduced. Three-axis digital magnetometers are arranged on two sides of the fuselage of the roadheader. The permanent magnet is arranged on the machine arm. The strength component of a magnetic field and pose data obtained by binocular stereo vision camera are used as training data to construct the 1D-CNN model, and the pose of a cutting part of the roadheader is output under the condition that vision measurement fails. The cantilever roadheader positioning based on near-infraared binocular stereo vision scheme is tested from the aspects of depth information and its fuselage of the roadheader and the cutting position are verified. The results showed that the measurement error of the fuselage is within ±11 mm, and the relative error is within 0.4%. The measurement error of the cutting part is within ±50 mm, and the relative error is within 1%.The relative pose error between the roadheader fuselage and the cutting part is within ±2.5°, the root-mean-square error of the pitch angle is 0.930 1°, and the root-mean-square error of the yaw angle is 0.922 0°. The errors are within the allowable range of roadway operation. The results show that the cantilever roadheader positioning scheme based on near-infrared binocular stereo vision is effective and reliable. The effectiveness of the magnetic field assisted positioning method based on 1D-CNN is verified. In order to simulate the complex magnetic field environment in coal mine underground, the interference magnetic source is randomly added near the roadheader. The results show that the predicted values of the pitch angle, yaw angle and rolling angle of the cutting part of the roadheader by this method are basically consistent with the measured real values. The determination coefficients of the predicted pitch angle, yaw angle and rolling angle are 0.992 4, 0.995 9 and 0.917 4 respectively. It shows that the magnetic field assisted positioning method of the cutting part of the roadheader based on 1D-CNN can better meet the positioning requirements of the roadheader in the case of visual positioning failure.
-
0. 引言
自“十三五”以来，我国煤炭行业自主科研创新能力得到了大幅改善，但是创新推动能力依旧不足[1]。GB50213—2010《煤矿井巷工程质量验收规范》规定我国煤矿掘进断面的允许偏差为−50~+150 mm。但煤矿井下巷道掘进中悬臂式掘进机截割部位姿通常用固定在巷道顶板上的点光源来指示掘进方向，通过判断激光投影点在巷道掘进断面上的位置，确定下一步的掘进方向[2]。该方法存在掘进精度有限、测量工作量大、生产效率低、人身不安全等问题，很难保证巷道成形质量达到要求。为了实现掘进机的智能切割控制，亟需提高悬臂式掘进机位姿参数的自动实时检测[3]。
为实现巷道无人化掘进，学者提出了多种定位方法。文献[4]通过读取全站仪激光光斑距目标板中心的偏移量来推断当前隧道的偏差，实现隧道内掘进机的跟踪和引导，但全站仪无法实时自主测量且不能适应井下掘进状况。文献[5]采用惯性导航技术实现掘进机实时自主测量，然而系统存在时间偏差、成本高、初始对准时间较长等问题，加上掘进机抖动幅度大、巷道测量环境较差等缺陷，增加了累计误差。文献[6-7]开发了一种基于iGPS的掘进机测量系统，以基于随机误差传递方程来评估掘进机的空间角度和位移，该系统的测量介质为激光，掘进机作业时存在遮挡问题，同时激光发射装置结构复杂，易损坏，在复杂工况下，巷道掘进精度会受到很大影响。文献[8-9]采用超宽带技术实现掘进机位姿实时检测，但由于巷道环境复杂，金属材料设备较多，易导致超宽带信号发生漫反射，使得掘进机位姿测量误差偏大、失败等情况。文献[10]提出了一种基于激光束的悬臂式掘进机位姿测量系统。结合坐标系转换关系得到掘进机机身在巷道坐标系中的位姿信息，但测量距离的增加或相机视野被遮挡等问题易导致测量失效。
针对现有掘进机无法实时定位、定位不准确、视觉定位中相机视野被遮挡导致定位失败等问题，提出了一种基于近红外双目立体视觉的悬臂式掘进机定位方案。该方案以LED作为近红外标靶构建掘进机特征信息，通过图像处理、位姿解算实现掘进机机身与截割部的三维空间定位；为解决双目立体视觉位姿解算失效问题[11]，引入基于一维卷积神经网络（One Dimensional-Convolutional Neural Network，1D−CNN）[12-14]的井下磁场视觉辅助定位算法，通过构建神经网络模型训练磁场信号数据，预测掘进机截割部的位姿变化，为视觉定位掘进机位姿提供了一种在视觉测量失效情况下的辅助定位方案。
1. 悬臂式掘进机定位系统
悬臂式掘进机机身及截割部位姿测量系统由悬臂式掘进机、机身近红外LED标靶、机臂近红外LED标靶、2台近红外相机组成的双目立体视觉相机、三轴数字磁场计、永磁体组成，如图1所示。机身近红外LED标靶根据作业的实际情况固定在机身四周边缘处，机臂近红外LED标靶安装在掘进机截割部护罩四周边缘处。将双目立体视觉相机安装在巷道顶端，获得足够的相机视野对掘进工作面进行图像采集。为防止在恶劣环境下图像采集失败、位姿测量失效等问题，在掘进机机身两侧各安装高精度三轴数字磁场计，并在机臂处安装永磁体，以磁场的强度分量和近红外双目立体视觉相机获取的位姿数据作为训练数据，构建1D−CNN模型，输出在视觉测量失效情况下掘进机位姿。
![]()
图 1 悬臂式掘进机机身及截割部位姿测量系统结构Figure 1. Structure of cantilever roadheader fuselage and cutting part pose measurement system悬臂式掘进机机身及截割部位姿测量方案如图2所示。首先，根据双目立体视觉测量原理设计近红外双目立体视觉相机，并采用张正友标定原理对双目立体视觉相机进行标定，计算相机相关参数。在掘进过程中，相机与掘进机间的外部参数也需要标定，并将其作为下次掘进机工作的初始数据。随着掘进工作的不断进行，掘进机与相机间距离误差不断累计，在掘进机等待支护阶段需要对二者间的外部参数进行重新标定。其次，在掘进工作开始前利用迭代最近点（Iterative Closest Point，ICP）[15]算法对掘进机机身坐标系与相机坐标系进行外部参数解算。根据相机标定得到的参数，利用相机校正技术实现图像立体校正。对近红外图像进行图像增强、去噪，利用Canny边缘检测方法分割目标，并利用分散度筛选出真正的近红外LED标靶，得到标靶质心坐标，根据欧氏距离等方法对标靶质心进行定位、跟踪及匹配。再次，根据双目立体视觉测量原理计算巷道坐标系下的三维空间坐标，在掘进机机身与截割部建立坐标系，根据ICP算法求解巷道坐标系与机身坐标系、巷道坐标系与截割部坐标系间的位姿关系。最后，根据位姿解算模型求解掘进机截割部与机身间的位姿关系。
![]()
图 2 悬臂式掘进机机身及截割部位姿测量方案Figure 2. Pose measurement scheme of cantilever roadheader fuselage and cutting part由于煤矿井下掘进机工作环境恶劣，巷道复杂多变，且双目立体视觉测量距离有限，导致掘进机在掘进过程中视觉位姿估计失效。针对该问题，引入基于1D−CNN的井下磁场视觉辅助定位算法。在1D−CNN的基础上搭建网络模型，该模型包括2个输入层，训练数据经过3层1D−CNN卷积，每层卷积都经过批标准化（Batch Normalization，BN）使其加快收敛，防止过拟合。数据经Selu激活函数处理后输入下一卷积层，不断改善训练参数。由于特征较少，所以未采用池化层，添加平展层将张量重新整形为矢量。数据经卷积后引入Selu激活函数连接输出层，得到悬臂式掘进机截割部位姿预测值。
悬臂式掘进机机身及截割部位姿空间坐标系如图3所示。以机身与机臂近红外LED标靶的中心为原点，建立机身坐标系OfXfYfZf和机臂坐标系OeXeYeZe；以截割部中心点为原点，建立截割部坐标系OhXhYhZh；以近红外相机1，2的光心为相机坐标系原点，设相机的光轴为Zc轴，垂直相机光轴向下为Yc轴，水平垂直相机光轴为Xc轴，建立相机坐标系Oc1Xc1Yc1Zc1和Oc2Xc2Yc2Zc2；将近红外相机1坐标系设置为世界坐标系（即巷道坐标系）OwXwYwZw。
![]()
图 3 悬臂式掘进机机身及截割部位姿空间坐标系Figure 3. Pose space coordinate systems of cantilever roadheader fuselage and cutting part2. 近红外标靶图像特征提取、定位与匹配
2.1 近红外LED标靶特征提取
受煤矿井下作业面高粉尘、高湿度、强振动和电磁等干扰[16]的影响，双目立体视觉相机采集到的图像质量较差且伴有噪声，因此采用滤波、平滑等预处理技术对立体校正后的图像进行处理，以提高图像对比度和亮度、改善图像质量。
将近红外LED标靶作为掘进机位姿估计的重要识别特征，通过最大类间方差法 OTSU 分割原理计算Canny边缘检测最佳阈值，对近红外图像进行处理。设近红外图像为二值函数
$I(x,y)$ ，假设存在阈值f将图像分为前景和后景2类（图像的像素灰度值小于f的为前景，图像的像素灰度值大于f的为后景），前景和后景的均值分别为${\omega _{{\rm{mv}}1}}$ 和$ {\omega _{{\rm{mv}}2}} $ ，整个图像的均值为${\omega _{{\rm{mv}}}}$ ，图像被分为前景和后景的概率分别为${p_1}$ 和${p_2}$ ，则有$$\begin{split} \\ {\omega _{{\rm{mv}}}} = {p_1}{\omega _{{\rm{mv}}1}} + {p_2}{\omega _{{\rm{mv}}2}} \end{split} $$ (1) $$ {p_1} + {p_2} = 1 $$ (2) 根据方差知识，可得类间方差为
$$ {\sigma ^2} = {p_1}{\left( {{\omega _{{\rm{mv}}1}} - {\omega _{{\rm{mv}}}}} \right)^2} + {p_2}{\left( {{\omega _{{\rm{mv}}2}} - {\omega _{{\rm{mv}}}}} \right)^2} $$ (3) 将式（3）简化，可得
$$ {\sigma ^2} = {p_1}{p_2}{\left( {{\omega _{{\rm{mv}}2}} - {\omega _{{\rm{mv}}1}}} \right)^2} $$ (4) 阈值的确定是控制边缘检测效果的关键，将通过OTSU得到的最佳阈值应用在Canny边缘检测双阈值检测步骤中，获取不同目标的图像边缘特征。之后对获取的边缘轮廓信息进行拟合，根据分散度进行特征选择，剔除非标靶的干扰目标。近红外LED标靶特征提取结果如图4所示。可看出近红外LED标靶的特征提取与识别效果较好。
2.2 近红外LED标靶定位与匹配
悬臂式掘进机双目视觉位姿测量方法中利用重心进行特征点匹配，利用图像的矩计算近红外LED标靶轮廓重心坐标，以一阶矩和零阶矩计算重心，实现近红外双目图像中标靶质心的精确定位。匹配过程如下：
（1） 采集目标轮廓信息。计算左相机（近红外相机1）图像目标第j个边缘轮廓点像素坐标
$\left( {{x_{{\rm{l}}j}},{y_{{\rm{l}}j}}} \right)$ ，X，Y方向坐标均值为$\left( {{{\overline x}_{{\rm{l}}j}},{{\overline y}_{{\rm{l}}j}}} \right)$ ；计算右相机（近红外相机2）图像目标第j个边缘轮廓点像素坐标$\left( {{x_{{\rm{r}}j}},{y_{{\rm{r}}j}}} \right)$ ，X，Y方向坐标均值为$\left( {{{\overline x}_{{\rm{r}}j}},{{\overline y}_{{\rm{r}}j}}} \right)$ 。（2） 计算X方向和Y方向的差值。将右相机图像边缘轮廓点像素坐标X方向平均值与左相机图像边缘轮廓点像素坐标X方向的平均值相减，得X方向上的差值
$\Delta \overline x $ ，同理计算Y方向上的差值$\Delta \overline y $ 。（3） 计算右相机图像质心平移后的坐标点。将右相机图像质心坐标与差值
$\Delta \overline x $ ，$\Delta \overline y $ 相减，即右相机图像标靶质心平移至左相机图像处，得到右相机图像各质心平移到左相机图像后的坐标点$\left( {{{x'} _{{\rm{l}}j}},{{y'} _{{\rm{l}}j}}} \right)$ 。（4） 计算欧氏距离。以左相机图像第1个特征点
$\left( {{x_{{\rm{l}}1}},{y_{{\rm{l}}1}}} \right)$ 为匹配点，分别计算右相机图像各质心平移后的特征点$\left( {{{x'} _{{\rm{r}}j}},{{y'} _{{\rm{r}}j}}} \right)$ 之间的欧氏距离$D$ 。$$ \begin{split} D = \sqrt {{{\left( {{x_{{\rm{l}}j}} - {x'_{{\rm{r}}j}}} \right)}^2} + {{\left( {{y_{{\rm{l}}j}} - {y'_{{\rm{r}}j}}} \right)}^2}} \end{split}$$ (5) 提取左相机图像第1个特征点
$\left( {{x_{{\rm{l}}1}},{y_{{\rm{l}}1}}} \right)$ 与距右相机图像标靶质心平移后的特征点欧氏距离最小的最邻点与次邻近点。提取这2个关键点，用最近邻点欧氏距离Dm除以次邻近点的欧氏距离${D_{m{\text{ + }}1}}$ ，得到比率$\lambda $ 。$$ \lambda = \frac{{{D_m}}}{{{D_{m + 1}}}} $$ (6) 当
$\lambda $ ＜0.8时，左相机图像第1个特征点与最近邻点为1对匹配点，否则重新匹配。依此类推，对左相机图像中所有特征点进行匹配。3. 悬臂式掘进机位姿估计
3.1 掘进机位姿估计数学模型
将巷道坐标系与机身坐标系下的3D坐标作为输入，通过刚性变换（旋转变换和平移变换）使其转换到同一坐标系下。设巷道坐标系下目标点集为
$S\left( {X,Y,Z} \right)$ ，机身坐标系下参考点集为$J(X',Y',Z')$ ，将机身坐标系下参考点集通过刚性变换转换到巷道坐标系下目标点集，其转换关系为$$ \left[ \begin{gathered} {X'} \\ {Y'} \\ {Z'} \\ 1 \\ \end{gathered} \right] = \left[ \begin{gathered} X \\ Y \\ Z \\ 1 \\ \end{gathered} \right]{\boldsymbol{M}} $$ (7) 式中M为映射矩阵。
三维点云围绕
$X,Y,Z$ 轴旋转，可得如下转换关系。$$ \begin{split} \left[ \begin{gathered} X \\ Y \\ Z \\ 1 \\ \end{gathered} \right] &= \left[ {\begin{array}{*{20}{c}} 1 & 0& 0& 0 \\ 0 & {\cos \; \alpha }& {\sin \; \alpha }& 0 \\ 0 & { - \sin \; \alpha }& {\cos \; \alpha }& 0 \\ 0 & 0& 0& 1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\cos \; \beta } & 0& { - \sin \; \beta }& 0 \\ 0 &1 &0 & 0 \\ {\sin \; \alpha } &0 & {\cos \; \beta }& 0 \\ 0 &0 &0 & 1 \end{array}} \right] {\text{ = }} \\& \left[ {\begin{array}{*{20}{c}} {\cos \; \gamma }&{ - \sin \; \gamma }&0&0 \\ { - \sin \; \gamma }&{\cos \; \gamma }&0&0 \\ 0&0&1&0 \\ 0&0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{t_X}} \\ {{t_Y}} \\ {{t_Z}} \\ 0 \end{array}} \right]\\[-30pt] \end{split} $$ (8) 式中：
$\alpha $ 为偏航角；$\; \beta $ 为俯仰角；$\gamma $ 为翻滚角；${t_X},{t_Y},{t_Z}$ 分别为围绕$X,Y,Z$ 轴旋转的偏移量。3.2 掘进机位姿估计算法
ICP算法用于寻找目标点集
$S$ 和参考点集$J$ 之间的刚性变换，使2个匹配数据在某种度量标准下满足最优匹配。假设目标点集$S$ 的坐标为{$S_{i} \mid S_{i} \in {{\bf{Z}}}^{3}, i=1,2, \cdots, N$ }，N为目标点集中目标点，参考点集$J$ 的坐标为$\left\{J_{i} \mid J_{i} \in {\bf{Z}}^{3}\right\}$ ，第i个参考点Ji经过k次迭代后的坐标为$\left\{J_{i}^{k} \mid J_{i}^{k} \in {\bf{Z}}^{3}\right\}$ 。计算目标点集$S$ 与参考点集J经过k次迭代后对应点之间的变换矩阵并更新原始变换，直到目标点集与参考点集间的距离小于给定阈值$\tau $ 。ICP算法步骤如下：(1) 计算参考点集J经过k次迭代后第i个对应点与目标点集S经过k次迭代后第i个对应点的对应关系，使得
$\left\| {J_i^k - S_i^k} \right\| 最小 $ 。(2) 计算经过k次迭代后旋转矩阵
${{\boldsymbol{R}}^k}$ 和平移矩阵${{\boldsymbol{T}}^k}$ ，满足关系${ \displaystyle \sum\limits_{i = 1}^N {\left\| {{{\boldsymbol{R}}^k}S_i^k + {{\boldsymbol{T}}^k} - J_i^k} \right\|} ^2} 最小 $ 。(3) 运用经过k次迭代后旋转矩阵
${{\boldsymbol{R}}^k}$ 与平移矩阵${{\boldsymbol{T}}^k}$ 变换目标点集S的位置，即$S=\left\{S_{i}^{k+1} \mid S_{i}^{k+1}= \right. \left. {\boldsymbol{ R}}^{k} S_{i}^{k}+{\boldsymbol{T}}^{k}, S_{i}^{k} \in S\right\}$ 。(4) 将经过k+1次迭代后的均方误差d k+1作为目标函数。
$$ {d^{k + 1}} = \frac{1}{N}{\sum\limits_{i = 1}^N {\left\| {S_i^{k + 1} - J_i^k} \right\|} ^2} $$ (9) (5) 当
${d^{k + 1}}$ ≥$\tau $ 时，则返回步骤(1)，直到${d^{k + 1}}$ ＜$\tau $ 或迭代次数$k$ 大于预设的最大迭代次数，算法结束。当算法结束后有效收敛到局部最小值，则最后1次迭代得到的目标点集即为最终的目标点集。
3.3 掘进机位姿估计实现
搭建模拟测量掘进机位姿实验平台，分别在机身与机臂安装近红外LED标靶。掘进机机身近红外LED标靶在巷道坐标系及机身坐标系下的点集分别为
$A$ 和A′。掘进机机臂近红外LED标靶在巷道坐标系及机身坐标系下的点集分别为$B$ 和B′。通过ICP算法使得不同坐标系下的空间点数据合并到同一坐标系中，即得出巷道坐标系与掘进机机身坐标系的变换矩阵
${{\boldsymbol{H}}_1}$ ，${{\boldsymbol{H}}_1}{\text{ = }}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{R}}_1}}&{{{\boldsymbol{T}}_1}} \\ 0&1 \end{array}} \right]$ ，R1，T1分别为旋转矩阵，平移矩阵。根据位姿解算模型可得巷道坐标系与掘进机机臂坐标系的变换矩阵${{\boldsymbol{H}}_2}$ ，${{\boldsymbol{H}}_2}{\text{ = }}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{R}}_2}}&{{{\boldsymbol{T}}_2}} \\ 0&1 \end{array}} \right]$ ，R2，T2分别为旋转矩阵，平移矩阵。由悬臂式掘进机的构造可知掘进机机臂通过回转结构和液压系统与机身进行连接，实现掘进机机臂的上下摆动与左右回转。通过位姿解算模型可得掘进机机身与机臂在巷道坐标系下的位姿信息，从而计算出掘进机机身与机臂间的位姿关系。
以巷道坐标系为中间量，根据巷道坐标系与机身坐标系、巷道坐标系与机臂坐标系的关系，计算掘进机机身坐标系与机臂坐标系的变换矩阵
${{\boldsymbol{H}}_3}$ ，${{\boldsymbol{H}}_3}{\text{ = }}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{R}}_3}}& {{{\boldsymbol{T}}_3}} \\[-1pt] 0 & 1 \end{array}} \right]$ 。$$ {{\boldsymbol{H}}_3} = {{{{\boldsymbol{H}}}}_1}{{\boldsymbol{H}}_2} = \left[ \begin{gathered} {{{\boldsymbol{R}}_1}{{\boldsymbol{R}}_2} + {{\boldsymbol{T}}_1}{{\boldsymbol{R}}_2}} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {{{\boldsymbol{R}}_1}{{\boldsymbol{R}}_2} + {{\boldsymbol{T}}_1}{{\boldsymbol{T}}_2}} {\kern 1pt} {\kern 1pt} \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} 0{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} 1 \\ \end{gathered} \right]$$ (10) 由此可解算出机身坐标系与机臂坐标系间的变换关系，即旋转矩阵
${{\boldsymbol{R}}_3}$ 与平移矩阵${{\boldsymbol{T}}_3}$ 。根据$\alpha $ ，$\beta $ ，$\gamma $ 解算出绕机臂坐标系Xe，Ye，Ze轴的旋转角度$ {\alpha }{''}， {\beta }{''}，{\gamma }{''} $ 。综上，可计算出掘进机在巷道坐标系下掘进机机身与机臂的空间位姿及机臂相对于机身的空间位姿。
因截割部与掘进机机臂的运动相同，则掘进机机身坐标系与截割部坐标系的变换矩阵
$ {{\boldsymbol{H}}_4} = {{\boldsymbol{H}}_3} $ ，截割部平移矩阵为${{\boldsymbol{T}}_5} = {{\boldsymbol{T}}_3} + {{\boldsymbol{T}}_4}$ ，T4为机臂坐标系与截割部坐标系的平移矩阵，${{\boldsymbol{T}}_4} = \left[ {\begin{array}{*{20}{c}} 0 \\[-3pt] a \\[-3pt] {b + d} \end{array}} \right]$ ，其中，a为$y$ 方向上轴心距，b为掘进机截割部中心点距离机臂中心的初始位置，设置初始位置为0，$d$ 为掘进机截割部液压关节处的伸缩量，d=0。4. 双目视觉位姿辅助估计
4.1 数据采集与处理
对处于不同强度范围的数据进行归一化处理，用于网络训练。
$$ {\overline C_n} = \frac{{{C_n} - C_{\min}}}{{ C _{\max} - C _{\min}}} $$ (11) 式中：
$ {\overline C_n} $ 为第n个输入变量归一化值；$C_{{\rm{min}}}, C_{{\rm{max}}} $ 分别为输入变量的最小，最大实测值；Cn为第n个输入变量的实测值。4.2 1D−CNN截割部位姿估计网络模型
3层卷积层的一维卷积核大小均为3，卷积核的数量依次为16，32，64，模型使用Adam优化方法训练参数，学习率为0.003。采用Selu激活函数对输入信息进行非线性变换，之后输入下一卷积层，不断改善训练参数，批大小为64，迭代次数为1 000。数据经卷积后引入Selu激活函数连接输出层，经过不断改进优化，最后得到1D−CNN截割部位姿估计网络模型。
4.3 视觉测量辅助方法
双目视觉测量失效下磁场辅助定位时相机前移如图5所示。随着掘进机不断前进，双目立体视觉相机与掘进机距离不断增加，当掘进距离较远时，近红外LED标靶采集出现缺失，此时位姿解算模型位姿解算失败。为保证掘进机位姿解算的实时连续性，磁场辅助定位算法开始工作，掘进机两侧磁场计采集的磁场信号经过数据处理，调用已经训练好的1D−CNN位姿估计模型（视觉位姿解算数据实时更新，磁场数据训练模型需不断进行更新，以符合掘进机当时的巷道磁场环境），输出此时掘进机截割部位姿信息。双目立体视觉相机从地点A移动到适宜工作的地点B，双目立体视觉相机开始正常工作。以此类推，保证掘进机截割部位姿解算保持连续性，其中网络模型需实时训练，即边掘进边训练，以防止井下磁场异常变化导致模型失效。
![]()
图 5 双目视觉测量失效下磁场辅助定位时相机前移Figure 5. Camera moves forward in magnetic field assisted positioning under the failure of binocular vision measurement5. 实验结果与分析
5.1 双目立体视觉位姿解算
为验证近红外双目立体视觉的悬臂式掘进机截割部及机身位姿测量方案的可行性，从深度信息和掘进机位姿2个方面进行验证分析。
本实验采用2部Mako G−223B NIR近红外视觉相机搭建双目立体视觉相机测量系统，由8组LED灯组成近红外LED标靶，采用690 nm工业激光测距模块对近红外LED标靶进行深度信息测量，采用角度传感器对掘进机截割部相对机身坐标系的位姿变换信息进行测量。
在实验过程中模拟掘进机截割部做切割煤层运动，将高精度传感器安装在机臂中间位置，对截割部的空间位置进行检测，双目立体视觉相机测量系统对截割部模拟切割煤层过程进行实时数据采集，获取数据后传输至计算机，计算机对图像进行分析处理，计算出截割部与机身的三维空间信息及截割部与机身的位姿信息，最后根据截割部与机身的转换关系解算截割部空间位姿。
在巷道坐标系下掘进机机身与截割部空间坐标变化如图6所示。可看出在掘进机机身静止、截割部做截割煤层运动时，机身空间坐标未出现明显波动，截割部空间坐标发生变化，符合实际截割部运动状态，说明基于近红外双目立体视觉空间位置定位方法可行。
![]()
图 6 掘进机机身与截割部空间坐标变化Figure 6. Space coordinate change of roadheader fuselage and cutting part在巷道坐标系下掘进机机身与截割部空间深度及误差见表1。可看出掘进机机身在Zw轴方向的测量误差在±11 mm以内，相对误差在0.4%以内。截割部在Zw轴方向的测量误差在±50 mm以内，相对误差在1%以内。该误差在井下煤矿施工标准误差允许范围内，说明该系统满足掘进过程中悬臂式掘进机机身及截割部空间位置的精确测量需求。
表 1 掘进机机身与截割部空间深度及误差Table 1. Space depth and error of roadheader fuselage and cutting part数据采集点
序号机身 截割部 测量值/mm 真实值/mm 误差/mm 相对误差/% 测量值/mm 真实值/mm 误差/mm 相对误差/% 1 2 953.23 2 948.49 4.74 0.16 4 953.81 4 951.44 2.37 0.05 2 2 953.23 2 949.27 3.97 0.13 4 885.71 4 934.01 48.30 0.98 3 2 953.23 2 949.06 4.17 0.14 4 953.81 4 940.48 13.33 0.27 4 2 953.36 2 943.01 10.35 0.35 4 875.18 4 910.01 34.83 0.71 5 2 953.23 2 943.47 9.76 0.33 4 799.32 4 826.18 26.87 0.56 巷道坐标系下的机身与截割部位姿变化如图7所示。可看出在掘进机机身静止、截割部做截割煤层运动时，机身空间位姿角未出现明显波动，截割部空间位姿角发生变化，其位姿角变化符合实际截割部运动状态，说明基于近红外双目立体视觉空间姿态定位方法可行。
![]()
图 7 巷道坐标系下的机身与截割部位姿变化Figure 7. The relation between the cutting part and pose of the fuselage in the tunnel coordinate system通过位姿解算模型解算出机身与巷道坐标系、截割部与巷道坐标系的位姿变化及截割部与机身的位姿变化关系。实验过程中机身固定，掘进机模型通过不断改变截割部的动作模拟掘进机切割煤层，其位姿测量误差如图8所示。可看出掘进机机身与截割部间的相对位姿误差在
$ \pm {2.5^ \circ }$ 以内。通过计算可得俯仰角的均方根误差为0.930 1°，偏航角的均方根误差为0.922 0°（由于截割部是旋转的，不考虑翻滚角的变化）。此误差在巷道作业允许范围之内，说明采用基于近红外双目立体视觉的悬臂式掘进机位姿测量方案进行掘进机姿态解算具有较高的有效性和可靠性。![]()
图 8 掘进机机身与截割部相对位姿误差Figure 8. The relative pose error of roadheader fuselage and cutting part5.2 视觉位姿解算失效下的磁场位姿解算
为验证基于1D−CNN的掘进机截割部磁场辅助定位方法的有效性，在实验室内搭建了模拟掘进机实验平台进行实验。为模拟井下复杂磁场环境，在掘进机附近随机添加干扰磁源，将采集到的2 228组磁场强度信号作为数据集，选取80%数据作为训练集，剩下20%数据作为测试集。基于1D−CNN的掘进机截割部磁场辅助定位方法对截割部俯仰角、偏航角、翻滚角预测值与实测值对比如图9-图11所示。可看出掘进机截割部俯仰角、偏航角、翻滚角预测值与实测值基本吻合。
![]()
图 9 掘进机截割部俯仰角预测结果Figure 9. Prediction results of pitch angle of roadheader cutting part![]()
图 10 掘进机截割部偏航角预测结果Figure 10. Prediction results of yaw angle of roadheader cutting part![]()
图 11 掘进机截割部翻滚角预测结果Figure 11. Prediction results of rolling angle of roadheader cutting part为了更加精准评价基于1D−CNN的掘进机截割部磁场辅助定位方法的有效性，采用决定系数G2作为评价指标（G2越接近1，说明预测结果的准确率越高）。基于1D−CNN的掘进机截割部磁场辅助定位方法预测俯仰角G2为0.992 4，偏航角G2为0.995 9，翻滚角G2为0.917 4，说明该方法能够很好地满足在视觉定位失效下的掘进机定位需求。
将基于近红外双目立体视觉的悬臂式掘进机位姿测量方案与基于1D−CNN的磁场辅助定位方法相结合，解决了井下复杂环境导致掘进机截割部位姿实时定位问题，最终实现基于近红外双目立体视觉的悬臂式掘进机定位测量研究。
6. 结论
（1） 从深度信息和掘进机位姿2个方面对掘进机测量进行验证分析。结果表明：机身测量误差在±11 mm以内，相对误差在0.4%以内。截割部测量误差在±50 mm以内，相对误差在1%以内；掘进机机身与截割部间的相对位姿误差在±2.5°以内，俯仰角的均方根误差为0.930 1°，偏航角的均方误差为0.922 0°。
（2） 掘进机截割部俯仰角、偏航角、翻滚角预测值与实测值基本吻合。基于1D−CNN的掘进机截割部磁场辅助定位方法预测俯仰角G2为0.992 4，偏航角G2为0.995 9，翻滚角G2为0.917 4，说明该方法能够很好地满足在视觉定位失效下的掘进机定位需求。
（3） 为进一步提高掘进机定位的可行性，未来应改进视觉测量的解算结果，加入滤波平滑等技术使其在实际应用中稳定输出，不受干扰；在磁场辅助定位方向，应将磁源与机身融合，使其模块化，从而保证在实际生产中稳定高效运行。
-
![]()
图 1 悬臂式掘进机机身及截割部位姿测量系统结构
Figure 1. Structure of cantilever roadheader fuselage and cutting part pose measurement system
![]()
图 2 悬臂式掘进机机身及截割部位姿测量方案
Figure 2. Pose measurement scheme of cantilever roadheader fuselage and cutting part
![]()
图 3 悬臂式掘进机机身及截割部位姿空间坐标系
Figure 3. Pose space coordinate systems of cantilever roadheader fuselage and cutting part
![]()
图 5 双目视觉测量失效下磁场辅助定位时相机前移
Figure 5. Camera moves forward in magnetic field assisted positioning under the failure of binocular vision measurement
![]()
图 6 掘进机机身与截割部空间坐标变化
Figure 6. Space coordinate change of roadheader fuselage and cutting part
![]()
图 7 巷道坐标系下的机身与截割部位姿变化
Figure 7. The relation between the cutting part and pose of the fuselage in the tunnel coordinate system
![]()
图 8 掘进机机身与截割部相对位姿误差
Figure 8. The relative pose error of roadheader fuselage and cutting part
![]()
图 9 掘进机截割部俯仰角预测结果
Figure 9. Prediction results of pitch angle of roadheader cutting part
![]()
图 10 掘进机截割部偏航角预测结果
Figure 10. Prediction results of yaw angle of roadheader cutting part
![]()
图 11 掘进机截割部翻滚角预测结果
Figure 11. Prediction results of rolling angle of roadheader cutting part
表 1 掘进机机身与截割部空间深度及误差
Table 1 Space depth and error of roadheader fuselage and cutting part
数据采集点
序号机身 截割部 测量值/mm 真实值/mm 误差/mm 相对误差/% 测量值/mm 真实值/mm 误差/mm 相对误差/% 1 2 953.23 2 948.49 4.74 0.16 4 953.81 4 951.44 2.37 0.05 2 2 953.23 2 949.27 3.97 0.13 4 885.71 4 934.01 48.30 0.98 3 2 953.23 2 949.06 4.17 0.14 4 953.81 4 940.48 13.33 0.27 4 2 953.36 2 943.01 10.35 0.35 4 875.18 4 910.01 34.83 0.71 5 2 953.23 2 943.47 9.76 0.33 4 799.32 4 826.18 26.87 0.56 
下载: 导出CSV
-
[1] 刘峰,曹文君,张建明,等. 我国煤炭工业科技创新进展及“十四五”发展方向[J]. 煤炭学报,2021,46(1):1-15. LIU Feng,CAO Wenjun,ZHANG Jianming,et al. Current technological innovation and development direction of the 14th Five-Year Plan period in China coal industry[J]. Journal of China Coal Society,2021,46(1):1-15.
[2] 杜雨馨,刘停,童敏明,等. 基于机器视觉的悬臂式掘进机机身位姿检测系统[J]. 煤炭学报,2016,41(11):2897-2906. DU Yuxin,LIU Ting,TONG Minming,et al. Pose measurement system of boom-type roadheader based on machine vision[J]. Journal of China Coal Society,2016,41(11):2897-2906.
[3] 雷孟宇, 张旭辉, 杨文娟, 等. 煤矿掘进装备视觉位姿检测与控制研究现状与趋势[J/OL]. 煤炭学报: 1-14 [2022-01-06]. DOI: 10.13225/j. cnki. jccs. JJ21.0534. LEI Mengyu, ZHANG Xuhui, YANG Wenjuan, et al. Current status and trend of research on visual pose detection and control of tunneling equipment in coal mines[J/OL]. Journal of China Coal Society: 1-14[202201-06]. DOI: 10.13225/j.cnki.jccs.JJ21.0534.
[4] 朱信平,李睿,高娟,等. 基于全站仪的掘进机机身位姿参数测量方法[J]. 煤炭工程,2011(6):113-115. DOI: 10.3969/j.issn.1671-0959.2011.06.044 ZHU Xinping,LI Rui,GAO Juan,et al. Measurement method of body pose parameters of roadheader based on total station[J]. Coal Engineering,2011(6):113-115. DOI: 10.3969/j.issn.1671-0959.2011.06.044
[5] 田原. 基于零速修正的掘进机惯性导航定位方法[J]. 工矿自动化,2019,45(8):70-73. TIAN Yuan. Inertial navigation positioning method of roadheader based on zero-velocity update[J]. Industry and Mine Automation,2019,45(8):70-73.
[6] 陶云飞,宗凯,张敏骏,等. 基于iGPS的掘进机单站多点分时机身位姿测量方法[J]. 煤炭学报,2015,40(11):2611-2616. TAO Yunfei,ZONG Kai,ZHANG Minjun,et al. Aposition and orientation measurement method of single-station,multipoint and time-sharing for roadheader body based on iGPS[J]. Journal of China Coal Society,2015,40(11):2611-2616.
[7] 陶云飞,李瑞,李嘉赓,等. iGPS的单站多点分时测量系统对掘进机偏向位移精度研究[J]. 煤炭技术,2017,36(2):246-247. TAO Yunfei,LI Rui,LI Jiageng,et al. Research on positioning accuracy of roadheader based on singlestation,multipoint and time-shared of iGPS measurement system[J]. Coal Technology,2017,36(2):246-247.
[8] FU Shishen,LI Yiming,ZONG Kai,et al. Ultra-wideband pose detection method based on TDOA positioning model for boom-type roadheader[J]. AEU-International Journal of Electronics and Communications,2018,99:70-80.
[9] 符世琛,李一鸣,杨健健,等. 基于超宽带技术的掘进机自主定位定向方法研究[J]. 煤炭学报,2015,40(11):2603-2610. FU Shichen,LI Yiming,YANG Jianjian,et al. Research on autonomous positioning and orientation method of roadheader based on ultra wide-band technology[J]. Journal of China Coal Society,2015,40(11):2603-2610.
[10] 杨文娟,张旭辉,马宏伟,等. 悬臂式掘进机机身及截割头位姿视觉测量系统研究[J]. 煤炭科学技术,2019,47(6):50-57. YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Research on position and posturel measurement system of body and cutting head for boom-type roadheader based on machine vision[J]. Coal Science and Technology,2019,47(6):50-57.
[11] LIANG Jiefeng,JING Tianjun,NIU Huanna,et al. Two-terminal fault location method of distribution network based on adaptive convolution neural network[J]. IEEE Access,2020,8:54035-54043. DOI: 10.1109/ACCESS.2020.2980573
[12] 周飞燕,金林鹏,董军. 卷积神经网络研究综述[J]. 计算机学报,2017,40(6):1229-1251. DOI: 10.11897/SP.J.1016.2017.01229 ZHOU Feiyan,JIN Linpeng,DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers,2017,40(6):1229-1251. DOI: 10.11897/SP.J.1016.2017.01229
[13] 牛乃平,张小刚,丁华. 基于1D-CNN的采煤机摇臂齿轮故障诊断[J]. 煤矿机械,2020,41(11):148-150. NIU Naiping,ZHANG Xiaogang,DIGN Hua. Fault diagnosis of shearer rocker arm gear based on 1D-CNN[J]. Coal Mine Machinery,2020,41(11):148-150.
[14] 马乔雨,张欣,张春雷,等. 基于一维卷积神经网络的横波速度预测[J]. 岩性油气藏,2021,33(4):111-120. DOI: 10.12108/yxyqc.20210412 MA Qiaoyu,ZHANG Xin,ZHANG Chunlei,et al. Shear wave velocity prediction based on one-dimensional convolutional neural network[J]. Lithologic Reservoirs,2021,33(4):111-120. DOI: 10.12108/yxyqc.20210412
[15] 王志同,牛志刚,郭晨星,等. 可自动回撤煤矿探测机器人设计[J]. 工矿自动化,2018,44(5):6-12. WANG Zhitong,NIU Zhigang,GUO Chenxing,et al. Design of coal mine detection robot with automatic returning[J]. Industry and Mine Automation,2018,44(5):6-12.
[16] 司垒. 采煤机智能控制关键技术研究[D]. 徐州: 中国矿业大学, 2015. SI Lei. Research on key technologies of intelligent control for shearer[D]. Xuzhou: China University of Mining and Technology, 2015.
-
期刊类型引用(4)
1. 包辉. 双目立体视觉几何量的高精度测量技术在计量检测中的应用和发展前景. 信息记录材料. 2024(01): 124-126 . 
百度学术
2. 李守业，胡茂海，李天冉，段哲一. 基于相机平移矩阵奇异值分解的极线校正. 红外技术. 2024(02): 155-161 . 百度学术
3. 郑林超. 掘进机截齿截割的受力分析及仿真. 机械管理开发. 2024(02): 79-80+83 . 百度学术
4. 郑瑞东，韩燮，高波. 悬臂式掘进机位姿测量方法研究. 中北大学学报(自然科学版). 2024(06): 823-831 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 1118
- HTML全文浏览量: 52
- PDF下载量: 62
- 被引次数: 6
