Bimodal environment perception technology for underground coal mine based on radar and visual fusion
-
摘要: 环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法，通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合，从而提高环境感知能力。为了更好地提取目标特征信息，提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理，多模态特征融合网络模块提取融合信息中的目标特征，多任务处理网络模块采用不同的任务头处理目标特征信息，完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验，结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%，10%，对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上，有效提升了煤矿井下环境感知能力，可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。Abstract: Environmental perception is a key technology for scenario applications such as coal mine inspection robots and visual measurement systems. The single modal environmental perception technology has poor perception capability for complex environments in underground coal mines. A bimodal space fusion method for radar and vision has been proposed. The modal achieves the fusion of information collected by LiDAR and camera through coordinate conversion, thereby improving environmental perception capability. In order to better extract object feature information, a bimodal fusion environment perception network architecture technology route is proposed. The environmental information collected by the camera and radar is fused and processed by the radar and visual bimodal space fusion method. The multimodal feature fusion network module extracts object features from the fused information. The multitask processing network module uses different task heads to process object feature information, completing environmental perception tasks such as object detection, image segmentation, and object classification. The experiment is conducted using the YOLOv5s object detection algorithm to build a bimodal feature extraction network module. The results show that the success rate of the bimodal environment perception technology for underground coal mine based on radar and visual fusion for personnel detection in underground roadway environments is improved by 15% and 10% compared to visual and radar perception, respectively. The mean average precision of segmentation for various types of objects such as lane lines and signs are improved by more than 10% compared to visual perception. It effectively improves the perception capability of underground environment in coal mines, providing technical support for application scenarios such as coal mine road environment perception, visual measurement systems, unmanned mining vehicle navigation systems, and mine search and rescue robots.
-
0. 引言
煤矿井下高粉尘、高水雾、低照度等恶劣工况往往导致传统视觉图像采集装置的环境感知能力受限，给井下作业和安全监测工作的开展带来巨大挑战。如何准确地感知环境信息并协助采取相应预警干预措施，对于保障煤矿井下安全生产意义重大[1-2]。随着计算机、通信、微电子技术的迅速发展，多传感器数据融合技术受到普遍关注和广泛应用[3-5]。将井下多种类型的传感器信息进行融合处理，在降低理解模糊性的同时提高数据利用率，可以有效推进煤矿智能化发展[6-8]。
在矿用多传感器数据融合方面，视觉相机因能获取环境丰富的纹理、颜色信息且价格低廉而被广泛使用[9-10]。杨静宜等[11]基于机器视觉理论，利用视觉传感器实现了对巷道路面边界的感知。尽管视觉相机感知简单直观，但其对环境光照变化敏感，易受煤矿井下环境因素的影响，感知结果具有一定的不准确性。雷达具有良好的精度和距离测量能力，且受煤矿暗光、粉尘、多雾等环境因素影响较小，因而被用于煤矿环境感知中，但其存在对细节感知不足的问题[12-13]。为更好地结合相机和雷达的优势，张海波[14]通过将图像点云与激光点云进行融合和分割，实现了煤岩分布情况的准确识别；袁晓明等[15]将深度相机红外成像技术和平面激光雷达探测技术相结合，实现了机器人的环境感知功能；杨春雨等[16]认为煤矿机器人环境感知的关键技术是多元传感器融合，其中包括雷达和视觉信息的融合。可见，将视觉相机和激光雷达所采集的信息融合，可有效提升对煤矿井下复杂多变环境的感知能力。
在实际应用中，雷达和相机数据的融合方法直接影响环境感知结果。陈少杰等[17]提出一种基于视差图特征点对求解激光雷达与双目相机之间配准参数的方法，通过视差图的互补特性感知高精度的三维环境信息，实现二者的高度融合；张赛赛等[18]提出了一种基于多维度动态卷积的激光雷达与相机外参标定方法，提高了雷达和相机外参标定的精度。但上述方法对于煤矿井下特殊的作业环境并不具有普适性。
针对煤矿井下复杂环境及作业场景多任务需求，本文对矿用摄像仪图像信息与雷达信息进行研究，提出了雷达与视觉双模态空间融合方法，可更好地将摄像仪与雷达在环境感知方面的优点结合，有效弥补了摄像仪在煤矿环境感知过程中易受环境影响导致信息不准，雷达感知结果因其稀疏性造成感知细节不够、远距离目标分类精度低等不足；同时，为了更好地提取目标特征信息，提出了双模态融合环境感知网络架构，为后续多任务的进行提供了技术参考。通过实验证明，提出的方法及技术架构可有效提升煤矿井下环境感知能力，为煤矿道路环境感知和视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供可靠的图像信息及技术支持。
1. 雷达与视觉双模态空间融合方法
雷达信息与摄像仪信息融合分为前融合和后融合2种方式。前融合是指借助相机标定的空间坐标系与世界坐标系之间的关系，获得相机世界三维坐标信息，再将雷达获得的世界三维信息以相机世界三维坐标作参照进行融合，并将融合后的环境三维空间信息送到感知网络中进行处理。后融合是指将摄像机与雷达获得的三维环境空间信息分别送到感知网络中进行处理，获得环境特征信息后再将其进行融合。
针对煤矿井下低算力限制和应用需求，提出了雷达与视觉双模态空间融合方法。该方法属于前融合方法，实质上是通过2类不同传感器之间的坐标转换来实现融合。坐标转换的具体过程：获取雷达的外参，即完成数据在雷达坐标系与世界坐标系之间的转换，之后计算数据在世界坐标系与相机坐标系之间的转换，最终获取目标数据从相机坐标系到像素坐标系的转换关系。通过这种坐标系之间的递进关系，即可完成雷达与摄像仪之间的数据转换。其中世界坐标系在该过程中相当于连接2个传感器坐标系的桥梁。5种坐标系之间的关系如图1所示。
1） 雷达坐标系与世界坐标系之间的转换。转换关系如图2所示，雷达安装在雷达坐标系的原点$ {{O}}_{\mathrm{r}} $处，$ {{X}}_{\mathrm{r}}{{O}}_{\mathrm{r}}{{Z}}_{\mathrm{r}} $平面为雷达探测平面。假设雷达探测的目标为点$ {Q} $，其探测距离r与角度$ \mathrm{\theta } $已知，在世界坐标系中的位置为$ \left(X_{\mathrm{w}},Y_{\mathrm{w}},Z_{\mathrm{w}}\right) $，则坐标转换关系为
$$ \left\{ \begin{array}{l}{{X}}_{\mathrm{w}}={r} \mathrm{s}\mathrm{i}\mathrm{n}\;\mathrm{\theta }\\ {{Y}}_{\mathrm{w}}=-{{{H}}}\\ {{Z}}_{\mathrm{w}}={{L}}_{0}+{r} \mathrm{c}\mathrm{o}\mathrm{s}\;\mathrm{\theta }\end{array}\right. $$ (1) 式中：H为雷达检测平面与世界坐标系平面之间的距离；L0为雷达坐标系原点Or与世界坐标系原点Ow之间的距离。
![]()
图 2 雷达坐标系与世界坐标系的转换关系Figure 2. Conversion relationship between radar coordinate system and world coordinate system2） 世界坐标系与相机坐标系之间的转换。世界坐标系到像素坐标系之间的转换过程需要经历相机坐标系及图像坐标系的转换。像素坐标系、相机坐标系、图像坐标系之间的转换关系如图3所示。世界坐标系$ {{X}}_{\mathrm{w}}{{Y}}_{\mathrm{w}}{{Z}}_{\mathrm{w}}$描述物体在真实世界中的相对位置，其坐标原点Ow为人工设定；相机坐标系$ X_{\mathrm{c}}Y_{\mathrm{c}}Z_{\mathrm{c}} $描述真实物体与相机的相对位置关系，其坐标原点Oc为相机光心所在的位置。二者的功能都是描述空间目标的位置信息，只是坐标系的原点不同，所以二者可以通过平移或旋转实现转换。设点$ {{{P}}} $在相机坐标系中的位置为$ \left({{X}}_{\mathrm{c}}， {{Y}}_{\mathrm{c}}， {{Z}}_{\mathrm{c}}\right) $，在世界坐标系中的位置为$ \left({{X}}_{\mathrm{w}}， {{Y}}_{\mathrm{w}}， {{Z}}_{\mathrm{w}}\right) $，简单的平移变换公式为
$$ \left\{ \begin{array}{l}{{X}}_{\mathrm{w}}={{X}}_{\mathrm{c}}+{{U}}_{{X}}\\ {{Y}}_{\mathrm{w}}={{Y}}_{\mathrm{c}}+{{U}}_{{Y}}\\ {{Z}}_{\mathrm{w}}={{Z}}_{\mathrm{c}}+{{U}}_{{{Z}}}\end{array}\right. $$ (2) 式中${{U}}_{{X}}， {{U}}_{{Y}}， {{U}}_{{{{Z}}}}$为三轴平移量。
若在进行平移变换的同时存在旋转操作，则空间点$ {P} $由相机坐标系到世界坐标系的转换关系为
$$ \left[ \begin{array}{c}{{X}}_{\mathrm{w}}\\ {{Y}}_{\mathrm{w}}\\ {{Z}}_{\mathrm{w}}\\ 1\end{array} \right]=\left[ \begin{array}{cc}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{1}\left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right] $$ (3) 式中：$ {{\boldsymbol{R}}} $为旋转矩阵，为$ 3\times 3 $的单位正交矩阵，表示2种坐标系之间的旋转关系；$ {{\boldsymbol{T}}} $为平移矩阵，表示2种坐标系之间的平移关系；M1为相机坐标系与世界坐标系的转换矩阵。
M1由旋转矩阵$ {{\boldsymbol{R}}}$、平移矩阵$ {{\boldsymbol{T}}} $及三维零向量组成，通过M1即可完成2种坐标系之间的转换。
3） 相机坐标系与图像坐标系之间的转换。在图3中，为了方便后续的推导计算，将成像平面放在相机中心和物体之间，虚构出一个虚拟成像平面。已知点$ {P} $在相机坐标系中的位置为$ \left({{X}}_{\mathrm{c}},{{Y}}_{\mathrm{c}},{{Z}}_{\mathrm{c}}\right) $，点$ {P} $在成像平面的投影为$ {{P}}{{{'}}} $，则在虚拟成像平面的投影也为$ {{P}}'$，在图像坐标系中的坐标为$ ({x}， {y}) $，则可以将虚拟成像平面的$ {{P}}' $点和相机坐标系中的$ {P} $点看作2个相似三角形的顶点，根据其相似的性质可以得到任意点的相机坐标系与图像坐标系的转换关系：
$$ \left\{ \begin{array}{l}{{X}}_{\mathrm{c}}={{Z}}_{\mathrm{c}}\dfrac{{x}}{{f}}\\ {{Y}}_{\mathrm{c}}={{Z}}_{\mathrm{c}}\dfrac{{y}}{{f}}\end{array}\right. $$ (4) 式中$ {f} $为相机焦距。
将式（4）用齐次坐标表示，并转换为矩阵形式，可得
$$ \left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right]=\left[ \begin{array}{ccc}\dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0& 0\\ 0& \dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0\\ 0& 0& {{Z}}_{\mathrm{c}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{l}{x}\\ {y}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{2}\left[ \begin{array}{l}{x}\\ {y}\\ 1\end{array} \right] $$ (5) 式中$ {{{\boldsymbol{M}}}}_{2} $为相机内参。
将式（3）和式（5）结合，可以获得世界坐标系到图像坐标系的转换关系：
$$ \begin{split} \left[ \begin{array}{c}{{X}}_{\mathrm{w}}\\ {{Y}}_{\mathrm{w}}\\ {{Z}}_{\mathrm{w}}\\ 1\end{array} \right] =&\left[ \begin{array}{ll}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{1}\left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right]=\\ & {{{\boldsymbol{M}}}}_{1}\left[ \begin{array}{ccc}\dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0& 0\\ 0& \dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0\\ 0& 0& {{Z}}_{\mathrm{c}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{c}{x}\\ {y}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{1}{{{\boldsymbol{M}}}}_{2}\left[ \begin{array}{c}{x}\\ {y}\\ 1\end{array} \right] \end{split}$$ (6) 4） 像素坐标系与图像坐标系之间的转换。图像坐标系是一个二维坐标系，用于描述相机捕捉到的图像位置和方向，其原点位于图像中心。在图像坐标系中每个像素都有1个对应的坐标（u，v）。因此，像素坐标系也称为图像物理坐标系，其原点在图像的左上角。像素坐标系和图像坐标系关系如图4所示。假设图像坐标系的原点$ {{O}}_{\mathrm{c}} $在像素坐标系下的坐标为$ \left({{u}}_{0}， {{v}}_{0}\right) $，若图像坐标系中存在某点$ ({x}， {y}) $，则对应像素坐标系中的坐标为
$$ \left\{ \begin{array}{l}{u}=\dfrac{{x}}{{{\mathrm{d}}}{x}}+{{u}}_{0}\\ {v}=\dfrac{{y}}{{{\mathrm{d}}}{y}}+{{v}}_{0}\end{array}\right. $$ (7) 由式（7）进一步转换可得
$$ \left\{ \begin{array}{l}{x}={u}{{{{{\mathrm{d}}}}}}{{x}}-{{u}}_{0}{{{\mathrm{d}}}}{{x}}\\ {y}={v}{{{\mathrm{d}}}}{{y}}-{{v}}_{0}{{{{{\mathrm{d}}}}}}{{y}}\end{array}\right. $$ (8) 将式（8）改写为矩阵形式：
$$ \left[ \begin{array}{l}{x}\\ {y}\\ 1\end{array} \right]=\left[ \begin{array}{ccc}{{{\mathrm{d}}}}{{x}}& 0& -{{u}}_{0}{{{\mathrm{d}}}}{{x}}\\ 0& {{{\mathrm{d}}}}{{y}}& -{{v}}_{0}{{{\mathrm{d}}}}{{y}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{l}{u}\\ {v}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{3}\left[ \begin{array}{l}{u}\\ {v}\\ 1\end{array} \right] $$ (9) 式中$ {{{\boldsymbol{M}}}}_{3} $为相机外参。
由式（9）可进行图像坐标系与像素坐标系之间的坐标转换。已知由式（6）可以进行世界坐标系与图像坐标系之间的坐标转换，将2个公式结合，则可以获得像素坐标系与世界坐标系之间的转换关系：
$$\begin{split} & \left[ \begin{array}{c}{{X}}_{\mathrm{w}}\\ {{Y}}_{\mathrm{w}}\\ {{Z}}_{\mathrm{w}}\\ 1\end{array} \right]=\left[ \begin{array}{cc}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{c}{{X}}_{\mathrm{c}}\\ {{Y}}_{\mathrm{c}}\\ {{Z}}_{\mathrm{c}}\\ 1\end{array} \right]=\left[ \begin{array}{cc}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{ccc}\dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0& 0\\ 0& \dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0\\ 0& 0& {{Z}}_{\mathrm{c}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{c}{x}\\ {y}\\ 1\end{array} \right]=\\ & \left[ \begin{array}{cc}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{ccc}\dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0& 0\\ 0& \dfrac{{{Z}}_{\mathrm{c}}}{{f}}& 0\\ 0& 0& {{Z}}_{\mathrm{c}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{ccc}{{{\mathrm{d}}}}{x}& 0& -{{u}}_{0}{{{\mathrm{d}}}}{{x}}\\ 0& {{{\mathrm{d}}}}{{y}}& -{{v}}_{0}{{{\mathrm{d}}}}{{y}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{c}{u}\\ {v}\\ 1\end{array} \right]=\\ & \left[ \begin{array}{cc}{{\boldsymbol{R}}}& {{\boldsymbol{T}}}\\ {{\bf{0}}}^{{{\mathrm{T}}}}& {\bf{1}}\end{array} \right]\left[ \begin{array}{ccc}\dfrac{{{Z}}_{\mathrm{c}}{{{\mathrm{d}}}}{{x}}}{{f}}& 0& -\dfrac{{{Z}}_{\mathrm{c}}{{u}}_{0}{{{\mathrm{d}}}}{{x}}}{{f}}\\ 0& \dfrac{{{Z}}_{\mathrm{c}}{{{\mathrm{d}}}}{{y}}}{{f}}& -\dfrac{{{Z}}_{\mathrm{c}}{{v}}_{0}{{{\mathrm{d}}}}{{y}}}{{f}}\\ 0& 0& {{Z}}_{\mathrm{c}}\\ 0& 0& 1\end{array} \right]\left[ \begin{array}{c}{u}\\ {v}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{1}{{{\boldsymbol{M}}}}_{0}\left[ \begin{array}{c}{u}\\ {v}\\ 1\end{array} \right] \end{split}$$ (10) $ {{{\boldsymbol{M}}}}_{1} $与相机外参相关，$ {{{\boldsymbol{M}}}}_{0} $与相机内参相关。为了方便后续内参及外参的求取，可以将式（10）转换为
$$ {{Z}}_{\mathrm{c}}\left[ \begin{array}{c}{u}\\ {v}\\ 1\end{array} \right]={{{\boldsymbol{M}}}}_{2}{{{\boldsymbol{M}}}}_{3}\left[ \begin{array}{c}{{X}}_{\mathrm{w}}\\ {{Y}}_{\mathrm{w}}\\ {{Z}}_{\mathrm{w}}\\ 1\end{array} \right] $$ (11) 相机内外参可以通过相机标定的方法获取，当各参数已知后，即可进行世界坐标系与像素坐标系之间的转换。同时通过式（1）得到雷达坐标系与世界坐标系的转换关系，便可将雷达采集的数据投影至相机所采集的图像上，即完成雷达与视觉传感器的空间融合。
完成雷达与视觉传感器空间融合后，将融合数据送入双模态融合环境感知网络中进行处理，经过特征提取和任务处理后可得相应结果。
2. 双模态融合环境感知网络架构
双模态融合环境感知网络架构如图5所示。其包括双模态环境感知信息融合模块、双模态特征提取网络模块、多任务处理网络模块。
![]()
图 5 双模态融合环境感知技术网络架构Figure 5. Network architecture of bimodal fusion environment perception technology在双模态环境感知信息融合模块中，摄像仪和雷达双传感器获取周围环境信息，经雷达与视觉双模态空间融合方法进行融合处理，得到细节更加丰富的环境信息；融合信息输入双模态特征提取网络模块，通过神经网络对环境信息特征进行学习；针对煤矿不同工业场景需求，多任务处理网络模块采取相应的任务头程序处理双模态特征提取网络模块提取的目标特征信息，进而完成图像增强、目标检测、图像分割、目标分类等环境感知任务，最终实现对煤矿环境的有效感知与应用。
1） 双模态特征提取网络模块。该模块是一种通用的特征提取神经网络架构，主要依靠神经网络的卷积、池化、注意力机制等通用技术操作实现特定场景的特征提取，具体实现方法可参考文献[19-20]。本文主要介绍该模块的技术路线，如图6所示，其主要是基于卷积神经网络构成的深层卷积网络，由卷积操作、注意力机制、时空校对模块、解卷积4个部分组成。当图像信息经双模态特征融合网络模块处理后得到二维图像特征和三维图像特征，之后输入多任务功能模块。
由于矿用神经网络模型在实际部署过程中需考虑轻量化的要求，所以设计双模态特征提取网络模块时通常采用通道剪枝、正则化、多层参数剪枝、模型量化方法进行模型轻量化[21]。
2） 多任务处理网络模块。双模态特征数据融合后的输出为空间特征信息图，后续需加上不同任务的任务头程序对特征信息进行处理。针对矿用场景，常用的任务头包括分割头、目标检测头、分类头3种，在不同的应用场景下，网络任务的侧重点不同，通过调整相应的权重比例赋予各任务不同的优先级，进而得到最终输出结果，其具体实现方法可参考文献[22-24]。
3. 硬件实现与应用
3.1 硬件实现
本文所用的雷达主要为矿用毫米波雷达和矿用激光雷达2种。毫米波雷达波长通常为4～12 mm，激光雷达波长通常为900～1 500 nm。相比毫米波雷达，激光雷达可以看得更“细”、更精确，但成本更高，安标认证难度更大。矿用摄像仪无需使用特殊的发射器和接收器，硬件要求及成本低，可直接根据环境光采集图像。
由于2种传感器设备的自身特性，难免存在摄像仪和雷达标定不准、同步存在误差及运动过程中松动等问题，同时在实际使用过程中，由于受到多粉尘、多雾、暗光等煤矿井下环境影响，摄像仪存在图像模糊、雷达存在形成凝露情况，甚至出现雷达点云数据丢帧、摄像仪画面缺失问题。
在实际应用中，对于摄像仪，可进行摄像仪到图像坐标系的内参、三维空间坐标到摄像仪坐标系的外参标定，从而进行偏移补偿；对于雷达，可采用姿态调节方式对其位置信息、前后帧的相对位置关系进行建模和补偿。摄像仪及激光雷达的畸变补偿方法可参考文献[25]。通过计算雷达自身角速度与线速度，尽量还原激光真实情况，完成畸变补偿，从而确保某一时刻的点云和该时刻对应位置的雷达能同时触发。对于不同传感器的同步误差问题，采用硬同步方法，以激光雷达作为触发其他传感器的源头，当激光雷达转到某个角度时才触发该角度的摄像仪，从而缓解不同传感器之间时间差过大的问题，且该时间同步方案可以嵌入硬件内部，大大降低了同步误差，改善了数据对齐效果。对于雷达丢失点云信息或出现凝露等问题，可通过添加故障报警装置，在设备出现异常情况时及时给出故障提示，并结合人工或机械制动方式进行故障处理。
3.2 实际场景应用
在实际应用中，本文提出的煤矿井下环境感知技术整体运行由感知、决策规划、控制3个部分组成。先用激光雷达与双目摄像仪获得环境信息，再利用内置芯片及云端同步处理相关数据，最终实现井下设备控制和应用。
根据装置运行时的工作状态，可将其分为固定点位装置和移动装置2类。固定点位装置主要为矿用激光雷达摄像仪，场景应用如图7所示。采用提出的煤矿井下环境感知技术获得处理结果后，通过云−边−端协同技术将处理结果上传到本地服务器及云端服务器进行数据存储及处理。当出现预先设定的违规危险情况，如有落石、行人误闯入危险区、未戴安全帽等，云−边−端协同的处理中心将根据危险层级进行相应的设备控制。例如，检测到未戴安全帽情况时，可将处理结果传输到移动边缘控制器进行处理，并由移动边缘控制器对报警器等设备进行联动控制；检测到有落石情况时，可由本地或云端服务器进行报警记录，并发布警报至集控中心，由人工协同进行处理（包括封闭现场等）。
对于移动装置，如移动机器人、无人巡检机器人、自动驾驶矿车等，采用提出的煤矿井下环境感知技术获得处理结果后，将结果传输到自身处理器。处理器根据专家系统或自身预设的处理命令，将命令下发至控制器（以电动机控制器为主），通过控制转速，实现装置转向、停止、加速、急停等操作。移动场景应用如图8所示。
4. 实验及结果分析
4.1 实验设置及评价指标
整体模型前期训练过程中，在实验室GPU服务器上进行加速实验，实验环境及参数如下。
CPU i9−9820X GPU NVIDIA RTX 2080 Ti GPU×2 操作系统 Ubuntu 20.04 架构 PyTorch 实验总轮数 100 批数大小 4 初始学习率 0.001 模型优化器 AdamW 权重衰减项 1×10−4 网络模型训练过程中使用的损失函数为交叉熵损失函数[26]，其用于描述检测预测值与实际标签值2个概率分布之间的差异性。交叉熵损失函数值越小，表明预测结果越接近目标结果。
采用平均精度均值（mean Average Precision，mAP）、召回率、平均交并比（Mean Intersection over Union，MIoU）作为客观评价环境感知效果的指标。
4.2 实验结果分析
1） 模型轻量化效果。在实验室测试中，双模态特征提取网络模块采用YOLOv5s目标检测算法架构[27-28]，并采用特征金字塔结构[29]将不同层级的特征图进行拼接，从而减小网络深度和计算量，以实现轻量化操作，效果见表1。可看出轻量化模型较原模型的检测精度降低约5%，检测速度为原模型的1.7倍，每秒浮点运算次数提升43.14%。可见，轻量化模型在达到原模型相似精度的基础上，检测速度大幅提升，为煤矿井下模型部署提供了理论依据和技术路线。
表 1 模型轻量化效果Table 1. Model lightweighting effects模型 模型大小/MiB 平均精度/% 平均帧率/
（帧·s−1）每秒浮点运算
次数/106轻量化前 256 87.7 28.7 53.17 轻量化后 52.6 82.6 49.8 30.23 2） 单模态与双模态感知对比实验。在煤矿现场测试中，采用YOLOv5s架构，在巷道暗光环境中进行行人检测重复测试，场景包括单人行走、多人并排行走等。检测结果见表2，可看出双模态煤矿井下环境感知技术在井下暗光条件下较视觉、雷达感知成功率分别提升15%，10%，证明了本文融合方法可克服单传感器的缺点，有效提升环境感知能力。某次行人感知结果如图9所示，可看出融合感知对暗光环境中行人边界的感知更加清晰。
表 2 单模态与双模态检测结果对比Table 2. Comparison between of unimodal and bimodal detection results感知方式 目标总数/个 检测数/个 漏检数/个 成功率/% 视觉 60 45 15 75 雷达 60 48 12 80 融合 60 54 6 90 3） 各类目标分割实验。在实验室测试中，采用YOLOv5s架构，对煤矿井下低能见度场所下的背景、车道线、车辆、路面、标志牌、行人等目标进行分割实验。采集煤矿井下相关图像，采用翻转、平移等操作增加数据集的多样性和泛化性，最终制作成实验用数据集（含训练集1 628张，测试集569张）。目标分割结果见表3。可看出在煤矿井下低照度环境中进行分割任务时，采用双模态空间融合图像时不同目标分割的准确率较纯图像有所提升，mAP均提升10%以上，对行人、标志牌识别的mAP提升度最高，分别为20%，24%。某图像的目标分割效果如图10所示，可看出双模态空间融合图像的分割结果更加接近真实标签，对边界、不同类别分割得更加清晰，错分、误分更少。由此可知，视觉与雷达双模态空间融合较单模态具有更强的环境感知能力，进一步验证了本文方法的优越性。
表 3 煤矿井下各类目标分割结果的评价指标Table 3. Evaluation indexes of segmentation results of various types of object in underground coal mine% 目标 纯图像 双模态空间融合图像 mIoU 召回率 mAP mIoU 召回率 mAP 背景 83.21 75.74 99.22 85.62 89.61 99.78 车辆 77.48 81.62 79.82 79.40 84.50 88.92 路面 79.27 79.80 72.31 82.12 91.30 82.38 车道线 74.21 67.90 68.35 80.21 91.56 77.62 标志牌 74.01 78.33 60.54 78.88 90.37 79.85 行人 84.21 83.44 66.95 90.25 95.65 83.44 5. 结论
1） 针对煤矿井下复杂环境及作业场景多任务需求，融合雷达点云信息与摄像仪信息，提出了雷达与视觉双模态空间融合方法，可以有效地结合雷达和摄像仪在环境感知上的优势，获得更加丰富的环境感知信息。
2） 为了更好地提取目标特征信息，创新性地提出了双模态融合环境感知网络架构，包含双模态环境感知信息融合模块、双模态特征提取网络模块、多任务处理网络模块3个部分，为提取双模态目标特征信息及后续多任务的开展提供了可行技术路线。
3） 通过实验验证了提出的基于雷达与视觉融合的双模态煤矿井下环境感知技术相较于单模态感知技术的环境感知能力有较大提升，提高了目标检测、分割、分类等智能视觉任务的准确率，为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景决策提供了可靠的图像信息来源及技术支持。
4） 未来将在矿用模型算法研究、多模态信息融合方向进行更多尝试，探索新的煤矿环境感知技术，不断提升对煤矿环境的感知能力。
-
![]()
图 2 雷达坐标系与世界坐标系的转换关系
Figure 2. Conversion relationship between radar coordinate system and world coordinate system
![]()
图 5 双模态融合环境感知技术网络架构
Figure 5. Network architecture of bimodal fusion environment perception technology
CPU i9−9820X GPU NVIDIA RTX 2080 Ti GPU×2 操作系统 Ubuntu 20.04 架构 PyTorch 实验总轮数 100 批数大小 4 初始学习率 0.001 模型优化器 AdamW 权重衰减项 1×10−4 
下载: 导出CSV
表 1 模型轻量化效果
Table 1 Model lightweighting effects
模型 模型大小/MiB 平均精度/% 平均帧率/
（帧·s−1）每秒浮点运算
次数/106轻量化前 256 87.7 28.7 53.17 轻量化后 52.6 82.6 49.8 30.23
下载: 导出CSV
表 2 单模态与双模态检测结果对比
Table 2 Comparison between of unimodal and bimodal detection results
感知方式 目标总数/个 检测数/个 漏检数/个 成功率/% 视觉 60 45 15 75 雷达 60 48 12 80 融合 60 54 6 90
下载: 导出CSV
表 3 煤矿井下各类目标分割结果的评价指标
Table 3 Evaluation indexes of segmentation results of various types of object in underground coal mine
% 目标 纯图像 双模态空间融合图像 mIoU 召回率 mAP mIoU 召回率 mAP 背景 83.21 75.74 99.22 85.62 89.61 99.78 车辆 77.48 81.62 79.82 79.40 84.50 88.92 路面 79.27 79.80 72.31 82.12 91.30 82.38 车道线 74.21 67.90 68.35 80.21 91.56 77.62 标志牌 74.01 78.33 60.54 78.88 90.37 79.85 行人 84.21 83.44 66.95 90.25 95.65 83.44
下载: 导出CSV
-
[1] 胡青松,孟春蕾,李世银,等. 矿井无人驾驶环境感知技术研究现状及展望[J]. 工矿自动化,2023,49(6):128-140. HU Qingsong,MENG Chunlei,LI Shiyin,et al. Research status and prospects of perception technology for unmanned mining vehicle driving environment[J]. Journal of Mine Automation,2023,49(6):128-140.
[2] XING Zhizhong,ZHAO Shuanfeng,GUO Wei,et al. Identifying balls feature in a large-scale laser point cloud of a coal mining environment by a multiscale dynamic graph convolution neural network[J]. ACS Omega,2022,7(6):4892-4907. DOI: 10.1021/acsomega.1c05473
[3] 王国法,赵国瑞,任怀伟. 智慧煤矿与智能化开采关键核心技术分析[J]. 煤炭学报,2019,44(1):34-41. WANG Guofa,ZHAO Guorui,REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining[J]. Journal of China Coal Society,2019,44(1):34-41.
[4] 鲍久圣,章全利,葛世荣,等. 煤矿井下无人化辅助运输系统关键基础研究及应用实践[J]. 煤炭学报,2023,48(2):1085-1098. DOI: 10.13225/j.cnki.jccs.2022.1600 BAO Jiusheng,ZHANG Quanli,GE Shirong,et al. Basic research and application practice of unmanned auxiliary transportation system in coal mine[J]. Journal of China Coal Society,2023,48(2):1085-1098. DOI: 10.13225/j.cnki.jccs.2022.1600
[5] LI Xiaohu,WAN Shaoke,LIU Shijie,et al. Bearing fault diagnosis method based on attention mechanism and multilayer fusion network[J]. ISA Transactions,2022,128:550-564. DOI: 10.1016/j.isatra.2021.11.020
[6] ZHANG Di. Interoperability technology of sports health monitoring equipment based on multi-sensor information fusion[J]. Eurasip Journal on Advances in Signal Processing,2021,2021(1):1-18. DOI: 10.1186/s13634-020-00710-6
[7] 蔡峰,孔令华,程志恒. 大型煤炭企业煤矿智能化建设进展、问题和对策研究[J]. 中国煤炭,2023,49(6):14-18. DOI: 10.3969/j.issn.1006-530X.2023.06.003 CAI Feng,KONG Linghua,CHENG Zhiheng. Research on the progress,problems,and countermeasures of intelligent construction in large coal enterprises' coal mines[J]. China Coal,2023,49(6):14-18. DOI: 10.3969/j.issn.1006-530X.2023.06.003
[8] 张鹏鹏,俞阿龙,孙诗裕,等. 多传感器数据融合在矿井安全监测中的应用[J]. 工矿自动化,2015,41(12):5-8. ZHANG Pengpeng,YU Along,SUN Shiyu,et al. Application of multi-sensor data fusion in mine safety monitoring[J]. Industry and Mine Automation,2015,41(12):5-8.
[9] 张静. 基于多传感器融合的露天矿山障碍物检测方法研究[D]. 长沙:湖南大学,2022. ZHANG Jing. The obstacle detection method based on multi-sensor fusion in open-pit mines[D]. Changsha:Hunan University,2022.
[10] 胡荣华,安冬,史梦圆,等. 智能矿用机器人研究现状及发展趋势[J]. 黄金,2023,44(9):59-68. DOI: 10.11792/hj20230910 HU Ronghua,AN Dong,SHI Mengyuan,et al. Research situation and development tendency of intelligent mining robots[J]. Gold,2023,44(9):59-68. DOI: 10.11792/hj20230910
[11] 杨静宜,赵莉娅,梁月肖. 基于机器视觉的矿用巡检机器人环境感知研究[J]. 煤炭技术,2023,42(9):227-229. DOI: 10.13301/j.cnki.ct.2023.09.047 YANG Jingyi,ZHAO Liya,LIANG Yuexiao. Study on mine patrol robot environment perception based on machine vision[J]. Coal Technology,2023,42(9):227-229. DOI: 10.13301/j.cnki.ct.2023.09.047
[12] 党相卫,秦斐,卜祥玺,等. 一种面向智能驾驶的毫米波雷达与激光雷达融合的鲁棒感知算法[J]. 雷达学报,2021,10(4):622-631. DOI: 10.12000/JR21036 DANG Xiangwei,QIN Fei,BU Xiangxi,et al. A Robust perception algorithm based on a radar and LiDAR for intelligent driving[J]. Journal of Radars,2021,10(4):622-631. DOI: 10.12000/JR21036
[13] 江良玉. 基于激光雷达与毫米波雷达的矿区路侧感知算法[J]. 控制与信息技术,2022(5):75-79. JIANG Liangyu. Roadside perception system based on LiDAR and millimeter-wave radar fusion in mining area[J]. Control and Information Technology,2022(5):75-79.
[14] 张海波. 基于视觉与激光雷达融合的煤岩识别技术研究[D]. 徐州:中国矿业大学,2022. ZHANG Haibo. Research on coal-rock recognition technology based on fusion of vision and lidar[D]. Xuzhou:China University of Mining and Technology,2022.
[15] 袁晓明,郝明锐. 煤矿辅助运输机器人关键技术研究[J]. 工矿自动化,2020,46(8):8-14. YUAN Xiaoming,HAO Mingrui. Research on key technologies of coal mine auxiliary transportation robot[J]. Industry and Mine Automation,2020,46(8):8-14.
[16] 杨春雨,张鑫. 煤矿机器人环境感知与路径规划关键技术[J]. 煤炭学报,2022,47(7):2844-2872. YANG Chunyu,ZHANG Xin. Key technologies of coal mine robots for environment perception and path planning[J]. Journal of China Coal Society,2022,47(7):2844-2872.
[17] 陈少杰,朱振才,张永合,等. 基于3D特征点的激光雷达与立体视觉配准方法[J]. 激光与光电子学进展,2020,57(3):58-65. CHEN Shaojie,ZHU Zhencai,ZHANG Yonghe,et al. Extrinsic calibration for lidar and stereo vision using 3D feature points[J]. Laser & Optoelectronics Progress,2020,57(3):58-65.
[18] 张赛赛,于红绯. 基于多维动态卷积的激光雷达与相机外参标定方法[J/OL]. 激光与光电子学进展:1-12[2023-08-03]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1803.070.html. ZHANG Saisai,YU Hongfei. LiDAR and camera external parameter calibration method based on multi-dimensional dynamic convolution[J/OL]. Laser & Optoelectronics Progress:1-12[2023-08-03]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1803.070.html.
[19] PHILION J,FIDLER S. Lift,splat,shoot:encoding images from arbitrary camera rigs by implicitly unprojecting to 3D[C]. Computer Vision-ECCV,Glasgow,2020:194-210.
[20] LI Zhiqi,WANG Wenhai,LI Hongyang,et al. Bevformer:learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers[C]. European Conference on Computer Vision,Tel Aviv,2022:1-18.
[21] 许志,李敬兆,张传江,等. 轻量化CNN及其在煤矿智能视频监控中的应用[J]. 工矿自动化,2020,46(12):13-19. XU Zhi,LI Jingzhao,ZHANG Chuanjiang,et al. Lightweight CNN and its application in coal mine intelligent video surveillance[J]. Industry and Mine Automation,2020,46(12):13-19.
[22] 魏东,王忠宾,司垒,等. 采煤机作业区域人员精确检测方法研究[J]. 工矿自动化,2022,48(2):19-28. WEI Dong,WANG Zhongbin,SI Lei,et al. Research on precise detection method of personnel in shearer operation area[J]. Industry and Mine Automation,2022,48(2):19-28.
[23] 饶中钰,吴景涛,李明. 煤矸石图像分类方法[J]. 工矿自动化,2020,46(3):69-73. RAO Zhongyu,WU Jingtao,LI Ming. Coal-gangue image classification method[J]. Industry and Mine Automation,2020,46(3):69-73.
[24] 杜青,杨仕教,郭钦鹏,等. 地下矿山作业人员佩戴安全帽智能检测方法[J]. 工矿自动化,2023,49(7):134-140. DU Qing,YANG Shijiao,GUO Qinpeng,et al. Intelligent detection method of working personnel wearing safety helmets in underground mine[J]. Journal of Mine Automation,2023,49(7):134-140.
[25] 余乐文. 地下矿山非结构环境地图创建与自主探索方法研究[D]. 北京:北京科技大学,2022. YU Lewen. Research on methods of mapping and autonomous exploration in underground mine unstructured environment[D]. Beijing:University of Science and Technology Beijing,2022.
[26] RONNEBERGER O,FISCHER P,BROX T. U-net:convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer Assisted Intervention,Munich,2015:234-241.
[27] 沈科,季亮,张袁浩,等. 基于改进YOLOv5s模型的煤矸目标检测[J]. 工矿自动化,2021,47(11):107-111,118. SHEN Ke,JI Liang,ZHANG Yuanhao,et al. Research on coal and gangue detection algorithm based on improved YOLOv5s model[J]. Industry and Mine Automation,2021,47(11):107-111.
[28] 张旭辉,闫建星,张超,等. 基于改进YOLOv5s+DeepSORT的煤块行为异常识别[J]. 工矿自动化,2022,48(6):77-86,117. ZHANG Xuhui,YAN Jianxing,ZHANG Chao,et al. Coal block abnormal behavior identification based on improved YOLOv5s + DeepSORT[J]. Journal of Mine Automation,2022,48(6):77-86,117.
[29] WANG C Y,LIAO H Y M,WU Y H,et al. CSPNet:a new backbone that can enhance learning capability of CNN[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops,Seattle,2020:390-391.
-
期刊类型引用(9)
1. 马广伟. 基于PID控制器参数优化的煤矿智能掘进机自动控制研究. 能源与环保. 2025(01): 194-198+206 . 
百度学术
2. 马宏伟，孙思雅，王川伟，毛清华，薛旭升，刘鹏，田海波，王鹏，张烨，聂珍，马柯翔，郭逸风，张恒，王赛赛，李烺，苏浩，崔闻达，成佳帅，喻祖坤. 论“掘进就是掘模型”的学术思想. 煤炭学报. 2025(01): 661-675 . 百度学术
3. 许向前，简阔，王宁，李胜利. 考虑煤岩硬度的悬臂式掘进机截割控制. 工矿自动化. 2024(04): 153-158 . 本站查看
4. 李国栋. 掘进机截割路径优化与动力学分析. 机械管理开发. 2024(04): 216-218 . 百度学术
5. 马宏伟，王赛赛，王川伟，薛力猛，张恒，孙思雅. 短横轴截割机器人直墙拱形巷道自动成形控制方法. 西安科技大学学报. 2024(03): 418-429 . 百度学术
6. 毛清华，陈彦璋，马骋，王川伟，张飞，柴建权. 基于模糊神经网络PID的煤矿掘进机俯仰控制研究. 工矿自动化. 2024(08): 135-143 . 本站查看
7. 王建皓. EBH360悬臂式掘进机截割臂结构优化研究. 今日制造与升级. 2024(10): 127-129 . 百度学术
8. 李申龙. 煤矿巷道掘进机液压系统随机振动负载控制技术. 液压气动与密封. 2024(12): 61-67 . 百度学术
9. 刘晓军. 悬臂式掘进机自动调速控制技术的研究. 自动化应用. 2023(17): 53-56 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 350
- HTML全文浏览量: 102
- PDF下载量: 79
- 被引次数: 11
