Shearer positioning method based on non-holonomic constraints
-
摘要: 目前基于惯性导航系统和里程计组合的采煤机定位方法直接用里程计输出对惯性导航系统推算得到的采煤机前进速度进行修正，但抑制惯性导航系统误差发散的能力非常有限。采煤机在运动过程中满足非完整性约束的特点，即在采煤机不发生跳跃和侧滑的情况下，牵引齿轮和履带连接处的侧向和垂向速度为零。基于该特点，在惯性导航系统和里程计组合定位的基础上，提出了一种基于非完整性约束的采煤机定位方法。安装于采煤机机身中部的惯性测量单元输出经机械编排获得采煤机姿态、速度和位置信息；安装于采煤机牵引齿轮上的里程计输出用于计算采煤机瞬时速度。使用惯性导航系统的机械编排结果和误差传播模型建立卡尔曼滤波状态方程，在采煤机牵引齿轮和履带的连接处引入非完整性约束，利用惯性导航系统投影在连接处的速度与里程计输出的速度之差作为观测向量，建立卡尔曼滤波观测方程；将卡尔曼滤波算法处理后的结果作为误差反馈，对惯性导航系统的输出进行修正，得到采煤机姿态、速度和位置的最优估计。实验结果表明，相较于传统惯性导航系统和里程计组合的定位方法，加入非完整性约束后定位误差没有随时间发散，对实际轨迹具有良好的追踪性能；采煤机在前向、侧向、垂向上的定位误差分别降低了66%，62%，67%。Abstract: At present, the shearer positioning method is based on the combination of the inertial navigation system and odometer. The method directly uses the output of the odometer to correct the shearer forward speed calculated by the inertial navigation system. However, the capability of suppressing the error divergence of the inertial navigation system is very limited. The shearer in the process of movement meets the characteristics of the non-holonomic constraints. When the shearer does not jump and sideslip, the lateral velocity and vertical velocity at the connection between the traction gear and the crawler are zero. Based on this characteristic, a new shearer positioning method based on non-holonomic constraints is proposed on the basis of the combination of the inertial navigation system and odometer. The output of the inertial measurement unit arranged in the middle of the shearer's body is mechanically arranged, so as to obtain the attitude, speed and position information of the shearer. The output of the odometer installed on the traction gear of the shearer is used to calculate the instantaneous velocity of the shearer. The Kalman filtering state equation is established by using a mechanical arrangement result of the inertial navigation system and an error propagation model. The non-integrity constraint is introduced at the joint of a traction gear and a crawler of the shearer. The Kalman filtering observation equation is established by using the difference between the velocity projected at the joint by the inertial navigation system and the velocity output by the mileometer as an observation vector. The output of the inertial navigation system is modified by using the results of the Kalman filtering algorithm as error feedback. Then the optimal estimation of the attitude, speed and position of the shearer is obtained. The experimental results show that compared with the traditional combined positioning method of inertial navigation system and odometer, the positioning error does not diverge with time after the non-holonomic constraint is added. The positioning method has good tracking performance on the actual trajectory. The positioning errors of the shearer in the forward, lateral and vertical directions are reduced by 66%, 62% and 67% respectively.
-
0. 引言
煤炭是我国的主体能源，煤矿智能化转型是煤炭行业高质量发展的必由之路[1-3]。放顶煤开采技术是开采厚及特厚煤层的一种有效方法[4-5]，但与综采工作面智能化相比，智能放煤技术研究进展缓慢。实现智能放煤的核心难题是确定放煤口的开启与关闭时机。研究表明，在综放工作面煤炭放出后，当混矸率为10%～15%时关闭放煤口才能使顶煤采出率最大化[6]，因此实现综放工作面混矸率的精准快速检测是实现智能放煤的关键技术。
综放工作面混矸率检测的常用方法有自然伽马射线识别法、声音与振动信号识别法和图像识别法[7-8]。射线识别法对人体有一定危害，声音与振动信号识别法易受环境噪声和其他振动源的影响，因此这2种方法受到的限制较大。图像识别法具有效率高、非接触、无危害和准确性高等优点，随着深度学习理论的发展，基于深度学习的煤矸识别方法迅速成为研究热点[9-12]。王家臣等[13-14]通过对煤矸块体进行三维精准重建，建立了体积混矸率计算模型，该方法精度高，但进行三维重建需要的数据量巨大。贺海涛等[15]先将煤流区域进行前景分割，再基于U−Net对煤矸图像进行语义分割，通过计算2个区域面积的比值求出煤矸混合图像的矸石占比，并以此作为“见矸关门”的阈值，但该方法未考虑模型运算量和参数量的影响。单鹏飞等[16]提出了一种基于“预处理+CBAM Faster R−CNN”的煤矸混合放出状态分析识别方法，实现了放落状态下的煤矸识别，但未实现混矸率的实时检测。
针对上述问题，本文提出一种基于GSL−YOLO模型的混矸率检测方法。通过在YOLOv8−seg模型中引入全局注意力机制（Global Attention Mechanism，GAM ）、具有高效局部聚合网络的空间金字塔池化（Spatial Pyramid Pooling with Efficient Local Aggregation Network，SPPELAN）模块和轻量级非对称多级压缩检测头（Lightweight Asymmetric Dual-Head，LADH），降低了模型参数量和运算量；提出了一种基于类别分割掩码的混矸率计算方法，实现了综放工作面混矸率精准、快速检测。
1. GSL−YOLO模型
1.1 GSL−YOLO模型结构
YOLOv8−seg是YOLOv8[17-18]的图像分割模型，结合了目标检测和图像分割2种功能，非常适用于综放工作面混矸率检测。GSL−YOLO模型在YOLOv8−seg的基础上进行以下改进：
1） 因综放工作面低照度、高粉尘等环境的影响，采集的煤矸图像会丢失大量纹理特征，导致煤矸图像有效特征提取难。为了增强模型对有效特征的提取能力，在YOLOv8−seg主干网络中引入GAM[19]。
2） 综放工作面放出的煤和矸石破碎程度不同，导致煤和矸石尺寸分布范围较广。而YOLOv8−seg的快速空间金字塔池化（Spatial Pyramid Pooling Fast，SPPF）模块主要通过结合大卷积核和非膨胀卷积来扩大感受野，使得模型无法提供足够的空间分辨率来有效捕捉小目标的特征，导致特征在融合过程中丢失，从而影响检测精度。因此，本文引入SPPELAN模块替换YOLOv8−seg中的SPPF模块，以更好地检测和定位小目标。
3） YOLOv8系列模型的检测器采用对称的多级压缩结构，即每个检测头的压缩比例相同。但在实际识别过程中，图像中不同类别目标之间存在差异，需要对不同类别的检测头采用不同的压缩比例。因此，本文引入了LADH，以提升模型处理不同尺寸目标时的检测精度。
GSL−YOLO模型结构如图1所示，具体改进见图中红色虚线框位置。
1.2 GAM
GAM通过减少信息损失并同时使用通道注意力和空间注意力放大全局维度交互特征，使模型能够更好地注重目标特征的提取，抑制无关信息，从而提升模型的有效特征提取能力。GAM结构如图2所示。
$$ {{{F}}_{\text{2}}}{\text{ = }}{{{M}}_{\text{C}}}{\text{(}}{{{F}}_{\text{1}}}{\text{)}} \otimes {{{F}}_{\text{1}}} $$ (1) $$ {{{F}}_{\text{3}}}{\text{ = }}{{{M}}_{\text{S}}}{\text{(}}{{{F}}_{\text{2}}}{\text{)}} \otimes {{{F}}_2} $$ (2) 式中：F1，F2和F3分别为输入、中间状态和输出特征映射；MC和MS分别为通道和空间注意图；$ \otimes $为基于元素的乘法。
通道注意力子模块使用三维排列跨3个维度保留信息，使用2个多层感知器（Multilayer Perception，MLP）放大跨维度的通道空间依赖性。通道注意力子模块如图3所示，C，W，H分别为图像的通道数、宽度和高度。
空间注意力子模块使用2个卷积层进行空间信息融合，删除了池化操作，进一步保留了特性映射。空间注意力子模块如图4所示。
将GAM添加在主干网络的最后一个C2f模块后，以提升网络模型的识别精度。
1.3 SPPELAN模块
SPPELAN模块如图5所示[20]。SPPELAN模块结合了空间金字塔池化（Spatial Pyramid Pooling，SPP）和高效局部聚合网络（Efficient Local Aggregation Network，ELAN）的特点。先使用SPP实现模型在不同尺度上的特征提取，使模型可检测到不同尺寸的目标；再通过ELAN对局部特征进行聚合，增强模型对输入图像中关键信息的感知能力。
![]()
图 5 SPPELAN模块Figure 5. Spatial pyramid pooling with efficient local aggregation network （SPPELAN） module1.4 LADH
LADH结构如图6所示[21]，P3—P5为FPN生成的特征图。LADH包含2个主要组件：Asymmetric head和Dual-head。前者负责对不同类别的特征进行非对称压缩，来适应不同类别的复杂性；后者用来结合前者的输出，并生成最终的物体检测结果。这种非对称设计能够更好地适应目标的复杂性，同时保证模型的轻量化，提高检测的准确性和效率。
1.5 模型特征可视化
为了可视化加入以上模块后的特征提取效果，使用Grad−CAM++算法将YOLOv8−seg模型改进前后的特征分别进行了提取并叠加生成了网络热力图。以实验室拍摄的煤矸堆积体图像为例生成网络热力图（图7），红色和黄色区域为置信度较高的区域，也是模型做出决策的主要依据区域。
从图7可看出，YOLOv8−seg模型只定位了判定性最强的区域，图像上方基本未关注；而GSL−YOLO模型检测范围更广、更全面，能够提取到更多的有效特征。
2. 基于GSL−YOLO模型的混矸率检测
为了使顶煤采出率最大化，需保证混矸率在10%～15%时关闭放煤口，因此，需要对后部刮板输送机上的煤矸堆积体的混矸率进行实时检测。本文提出了一种基于类别分割掩码的混矸率计算方法，该方法主要是在YOLOv8预测算法（predict_v8.py）上进行的改写，具体如下：首先，加载训练好的模型权重文件；其次，导入现场煤流视频，确定每秒截取的帧数；然后，对每帧图像进行预测处理；最后，读取处理结果中的分割掩码信息，计算其中矸石的像素面积与总像素面积的比值，作为综放工作面的瞬时混矸率。
$$ P\text{ = }\frac{\displaystyle\sum\limits_{i=1}^ns_{\mathrm{g}i}}{\displaystyle\sum\limits_{i=1}^ns_{\mathrm{g}i}+\displaystyle\sum\limits_{j=1}^ms_{\mathrm{c}j}}\times\text{100\% } $$ (3) 式中：P为瞬时混矸率；n为图像中矸石总数；sgi为第i个目标矸石的像素面积；m为图像中煤的总数；scj为第j个目标煤的像素面积。
3. 实验分析
3.1 实验环境
软件环境：Windows 11，Python 3.8，CUDA 11.8，Pytorch 2.3.1。硬件环境：CPU为AMD Ryzen 7 5800H，3.20 GHz，16 GiB RAM，GPU为NVIDIA GeForce RTX 3060（6 GiB）。
训练采用YOLOv8n−seg模型作为基准模型。设置训练轮数epochs为100，batch size为8，默认使用Mosaic数据增强并于倒数第10轮关闭，输入图像大小调整为512×512，模型其他参数保持不变。
采用mAP@0.5∶0.95（交并比阈值为0.5～0.95时的平均精度均值）、参数量、浮点运算次数和模型权重作为评价指标。
3.2 数据采集与处理
从现场和实验室采集原始煤矸堆积体图像200余张。为提高模型的泛化能力，模拟综放工作面的复杂环境，对采集的煤矸图像进行亮度调节、噪声和随机点添加、平移、翻转、旋转等增强处理，将每张图像组合增强至14～16张，最终得到3 080张煤矸图像。煤矸图像增强效果如图8所示。
采用图像标注工具AnyLabeling对3 080张煤矸图像进行半自动标注，采用“coal”和“gangue”作为煤和矸石2类分割目标的标签。将数据集按照8∶1∶1的比例划分为训练集、验证集和测试集。
3.3 实验结果
3.3.1 消融实验
为验证GSL−YOLO模型的有效性，进行了消融实验，结果见表1。
表 1 消融实验结果Table 1. Ablation experimental resultsYOLOv8−
segGAM SPPELAN LADH mAP@
0.5∶0.95/%参数
量/
106个浮点
运算次
数/109模型
权重/
MiB√ × × × 95.3 3.3 12.1 6.8 √ √ × × 95.7 3.7 12.5 7.7 √ × √ × 95.5 2.7 11.6 5.7 √ × × √ 96.1 3.3 11.7 6.9 √ √ √ × 95.8 2.8 11.7 5.9 √ √ × √ 96.3 3.7 12.1 7.8 √ × √ √ 95.6 2.8 11.3 5.8 √ √ √ √ 96.1 2.9 11.4 6.0 从表1可看出：在基准模型的基础上，单独引入GAM，mAP@0.5∶0.95提高了0.4%，验证了同时使用通道注意力和空间注意力的有效性，但模型的运算量和参数量有所增加；单独引入SPPELAN模块后精度有一定提高，说明模块可更好地处理不同尺寸的目标；单独替换LADH后，mAP@0.5∶0.95提高了0.8%，但模型权重有所增加；同时引入GAM和LADH后，mAP@0.5∶0.95达到最高，为96.3%，但参数量也达到最大，此时引入SPPELAN模块后，在基本不牺牲精度的情况下，参数量较基准模型降低了12.1%，浮点运算次数降低了5.8%，mAP@0.5∶0.95提高了0.8%，模型权重较基准模型降低了11.8%。上述结果表明同时加入GAM，SPPELAN模块和LADH后，模型检测效果显著提升。
3.3.2 对比实验
将YOLOv3−tiny−seg，YOLOv5−seg及YOLOv6−seg模型与GSL−YOLO进行对比实验，结果见表2。可看出，GSL−YOLO模型的检测精度最高，在测试集上的帧率达12帧/s，表明GSL−YOLO模型基本实现了煤矸实时检测功能。
表 2 对比实验结果Table 2. Comparative experimental results模型 mAP@
0.5∶0.95/%参数
量/106个浮点运算
次数/109模型
权重/MiBYOLOv8−seg 95.3 3.3 12.1 6.8 YOLOv3−tiny−seg 87.1 14.1 32.8 28.3 YOLOv5−seg 95.0 2.8 11.1 5.8 YOLOv6−seg 95.1 4.4 15.3 9.0 GSL−YOLO 96.1 2.9 11.4 6.0 在测试集中选取部分图像，对比不同模型在不同条件下的煤矸图像识别和分割效果，结果如图9所示。其中蓝色圈为边界分割不明显区域，黄色圈为漏检区域。可看出，其他模型均有边界分割效果差和存在漏检区域的问题，而GSL−YOLO模型在低照度、高粉尘、平移及各工况叠加情况下均有较好的识别分割效果，其分割边界更加准确，无漏检、错检。
3.4 基于GSL−YOLO模型的混矸率检测效果
为了验证GSL−YOLO模型的可行性，以综放工作面后部刮板输送机上的煤矸图像为例进行识别。截取综放工作面后部刮板输送机上煤流视频中的3帧图像，计算瞬时混矸率，结果见表3。可看出GSL−YOLO模型可准确地分割出纯煤流区域和堆积在上面的矸石，分割效果较好，且处理速度能稳定在5帧/s左右。
表 3 混矸率计算结果Table 3. Calculation results of gangue mixed ratio图像 原图 分割结果 混矸
率/%帧率/
（帧·s−1）图像1 
7 5.0 图像2 
25 4.9 图像3 
45 4.8 4. 结论
1） 提出了一种基于YOLOv8−seg改进的轻量化煤矸识别分割模型GSL−YOLO。在主干网络加入GAM，通过结合通道和空间注意力，提高了模型精度；将SPPF模块替换为SPPELAN模块，增强模型对不同尺寸煤矸块体的特征提取能力；引入LADH，提高了模型的泛化能力和检测效率。
2） 实验结果表明：GSL−YOLO模型的mAP@0.5∶0.95达96.1%，比基准模型提高了0.8%；参数量为2.9×106个，浮点运算次数为11.4×109，模型权重为6.0 MiB，比基准模型分别降低12.1%，5.8%，11.8%；帧率为12帧/s。GSL−YOLO模型识别精度和效率高，参数量和运算量少，可部署在资源有限的设备中。
3） 提出了一种基于类别分割掩码的混矸率计算方法，能基本实现综放工作面混矸率实时计算。
-
![]()
图 1 基于非完整性约束的采煤机定位方法原理
Figure 1. Principle of shearer positioning method based on non-holonomic constraints
表 1 惯性测量单元性能参数
Table 1 Performance parameters of inertial measurement unit
参数 陀螺仪 加速度计 动态范围 $ \pm 500 $ °/s $ \pm 2g $ 零偏 $\pm 0.5 $ °/s $ \pm 0.025g $ 随机误差 $0.24 $ °/$\sqrt{\mathrm{h} } $ 9 μm·$ \sqrt{\mathrm{h}}/\mathrm{s} $ 比例因子误差 $\pm 0.82{\text{%}}$ $\pm 1.46{\text{%}}$ 
下载: 导出CSV
表 2 采煤机定位误差最大值
Table 2 The maximum positioning error of shearer
m 方向 定位误差最大值 传统方法 本文方法 x 0.88 0.30 y 0.08 0.03 z 0.12 0.04
下载: 导出CSV
-
[1] 王世博,葛世荣,王世佳,等. 长壁综采工作面无人自主开采发展路径与挑战[J]. 煤炭科学技术,2022,50(2):231-243. DOI: 10.13199/j.cnki.cst.2020-1150 WANG Shibo,GE Shirong,WANG Shijia,et al. Development and chanllege of unmanned autonomous longwall fully-mechanized coal mining face[J]. Coal Science and Technology,2022,50(2):231-243. DOI: 10.13199/j.cnki.cst.2020-1150
[2] 周开平. 薄煤层综采工作面采煤机组合定位方法研究[J]. 工矿自动化,2019,45(6):52-57,68. DOI: 10.13272/j.issn.1671-251x.2019010096 ZHOU Kaiping. Research on combined positioning method of shearer on fully mechanized mining face of thin coal seam[J]. Industry and Mine Automation,2019,45(6):52-57,68. DOI: 10.13272/j.issn.1671-251x.2019010096
[3] 张守祥,李森,宋来亮. 基于惯性导航和里程仪的煤矿采掘设备定位[J]. 工矿自动化,2018,44(5):52-57. DOI: 10.13272/j.issn.1671-251x.2018010042 ZHANG Shouxiang,LI Sen,SONG Lailiang. Positioning of coal mining equipments based on inertial navigation and odometer[J]. Industry and Mine Automation,2018,44(5):52-57. DOI: 10.13272/j.issn.1671-251x.2018010042
[4] 夏婷. 综采工作面刮板输送机直线度检测方法研究[D]. 徐州: 中国矿业大学, 2019. XIA Ting. Study on the measurement method of scraper conveyor straightness in fully mechanized mining face[D]. Xuzhou: China University of Mining and Technology, 2019.
[5] 许晓伟,赖际舟,吕品,等. 基于采煤机工作面端头量测的改进因子图高精度自主定位方法研究[J]. 控制与决策,2022,37(8):2170-2176. XU Xiaowei,LAI Jizhou,LYU Pin,et al. High-precision autonomous positioning method based on improved factor graph of measurements at both ends of shearer working face[J]. Control and Decision,2022,37(8):2170-2176.
[6] YANG Hai,LUO Tao,LI Wei,et al. A stable SINS/UWB integrated positioning method of shearer based on the multi-model intelligent switching algorithm[J]. IEEE Access,2019,7:29128-29138. DOI: 10.1109/ACCESS.2019.2898212
[7] 万文辉,李宇,胡文敏,等. 基于联邦滤波进行立体相机/IMU/里程计运动平台组合导航定位[J]. 武汉大学学报(信息科学版),2018,43(1):101-106. WAN Wenhui,LI Yu,HU Wenmin,et al. Mobile platform localization by integration of stereo cameras,IMU and wheel qdometer based on federated filter[J]. Geomatics and Information Science of Wuhan University,2018,43(1):101-106.
[8] 鲁程,王世博,葛世荣,等. 多惯导冗余的采煤机定位原理及其合理性分析[J]. 煤炭学报,2019,44(增刊2):746-753. DOI: 10.13225/j.cnki.jccs.2019.0491 LU Cheng,WANG Shibo,GE Shirong,et al. Redundant multi-INS positioning algorithm of shearer and analysis of its rationality[J]. Journal of China Coal Society,2019,44(S2):746-753. DOI: 10.13225/j.cnki.jccs.2019.0491
[9] WANG Shijia. Research on shearer positioning with double-INS[J]. Sensor Review,2019,39(4):577-584. DOI: 10.1108/SR-12-2018-0318
[10] 秦永元, 张洪钺, 汪叔华. 卡尔曼滤波与组合导航原理[M]. 3版. 西安: 西北工业大学出版社, 2015. QIN Yongyuan, ZHANG Hongyue, WANG Shuhua. Kalman filtering and integrated navigation principle[M]. 3rd ed. Xi'an: Northwestern Polytechnical University Press, 2015.
[11] 郑江涛,李四海,刘士明,等. 基于惯导和激光雷达的采煤机定位方法[J]. 中国惯性技术学报,2020,28(5):595-602. DOI: 10.13695/j.cnki.12-1222/o3.2020.05.005 ZHENG Jiangtao,LI Sihai,LIU Shiming,et al. Positioning method of a shearer based on inertial navigation and lidar[J]. Journal of Chinese Inertial Technology,2020,28(5):595-602. DOI: 10.13695/j.cnki.12-1222/o3.2020.05.005
[12] 沈阳,王鹏江,吉晓冬,等. 二维里程辅助的掘进机自主导航方法研究[J]. 仪器仪表学报,2021,42(11):96-105. DOI: 10.19650/j.cnki.cjsi.J2107815 SHEN Yang,WANG Pengjiang,JI Xiaodong,et al. Research on autonomous navigation method of roadheader aided by two-dimensional mileage[J]. Chinese Journal of Scientific Instrument,2021,42(11):96-105. DOI: 10.19650/j.cnki.cjsi.J2107815
计量
- 文章访问数: 303
- HTML全文浏览量: 60
- PDF下载量: 29
