Research on the application of improved Adam training optimizer in gas emission prediction
-
摘要:
目前对基于神经网络的瓦斯涌出量预测模型的研究主要集中在瓦斯涌出问题上的表现，对模型训练中优化器性质的关注与改进较少。基于神经网络的瓦斯涌出量预测模型的训练常采用Adam算法，但Adam算法的不收敛性易造成预测模型的最佳超参数丢失，导致预测效果不佳。针对上述问题，对Adam优化器进行改进，在Adam算法中引入一种随迭代更新的矩估计参数，在保证收敛速率的同时获得更强的收敛性。以山西焦煤西山煤电集团马兰矿某回采工作面为例，在相同的循环神经网络（RNN）预测模型下测试了改进的Adam优化器在瓦斯涌出量预测中的训练效率、模型收敛性与预测准确度。测试结果表明：① 当隐藏层数为2和3时，改进的Adam算法较Adam算法的运行时间分别缩短了18.83，13.72 s。当隐藏层数为2时，Adam算法达到最大迭代数但仍没有收敛，而改进的Adam算法达到了收敛。② 在不同隐藏层节点数量下，Adam算法都没有在最大迭代步长内收敛，而改进的Adam算法均达到了收敛，且CPU运行时间较Adam算法分别缩短16.17，188.83，22.15 s。改进的Adam算法预测趋势的正确性更高。③ 使用tanh函数时，改进的Adam算法的运行时间较Adam算法分别缩短了22.15，41.03 s，使用ReLU函数时，改进的Adam算法与Adam算法运行时间相差不大。④ 使用改进后的Adam算法做遍历网格搜索，得到最佳的模型超参数为{3，20，tanh}，均方误差、归一化的均方误差、运行时间分别为0.078 5，0.000 101和32.59 s。改进的Adam算法给出的最优模型对于待预测范围内出现的几个低谷及峰值趋势判断均正确，在训练集上的拟合程度适当，未见明显的过拟合现象。
Abstract:Currently, research on neural network-based gas emission prediction models mainly focuses on the performance of gas emission problems, with less attention and improvement on the optimizer properties in model training. The training of gas emission prediction models based on neural networks often uses the Adam algorithm. But the non-convergence of the Adam algorithm can easily lead to the loss of the best hyperparameters of the prediction model, resulting in poor prediction performance. In order to solve the above problems, the Adam optimizer is improved by introducing a moment estimation parameter that updates iteratively in the Adam algorithm, achieving stronger convergence while ensuring convergence rate. Taking a certain mining face of Malan Mine in Xishan Coal and Power Group of Shanxi Coking Coal as an example, the training efficiency, model convergence, and prediction accuracy of the improved Adam optimizer in gas emission prediction are tested under the same recurrent neural network （RNN） prediction model. The test results show the following points. ① When the number of hidden layers is 2 and 3, the improved Adam algorithm reduces the running time by 18.83 and seconds 13.72 seconds respectively compared to the Adam algorithm. When the number of hidden layers is 2, the Adam algorithm reaches its maximum iteration number but still does not converge, while the improved Adam algorithm achieves convergence. ② Under different numbers of hidden layer nodes, the Adam algorithm does not converge within the maximum iteration step, while the improved Adam algorithm achieves convergence. The CPU running time is reduced by 16.17, 188.83 and 22.15 seconds respectively compared to the Adam algorithm. The improved Adam algorithm has higher accuracy in predicting trends. ③ When using the tanh function, the improved Adam algorithm reduces the running time by 22.15 seconds and 41.03 seconds respectively compared to the Adam algorithm. When using the ReLU function, the running time of the improved Adam algorithm and the Adam algorithm is not significantly different. ④ Using the improved Adam algorithm for traversal grid search, the optimal model hyperparameters are obtained as {3,20, tanh}, with mean square error, normalized mean square error, and running time of 0.078 5, 0.000 101, and 32.59 seconds, respectively. The optimal model given by the improved Adam's algorithm correctly judges the trends of several valleys and peaks that occur within the predicted range. The fitting degree on the training set is appropriate, and there is no obvious overfitting phenomenon.
-
0. 引言
我国煤炭资源丰富，是世界上最大的煤炭生产和消费国。由于作业设备和工艺相对落后，煤矿井下事故发生率较高，煤矿安全形势严峻[1]。《全国安全生产专项整治三年行动计划》中明确指出，要全面推进煤矿智能化建设[2]，实现煤矿高危险现场少人化、无人化。这给煤矿机器人发展带来新的机遇和挑战[3]。煤矿井下作业环境恶劣且存在高危气体，消防灭火机器人不仅能够帮助救援人员率先探明灾情、预测火势、熟悉环境，还能代替救援者进入火灾现场援救受困人员，更能发挥灭火功效，高效完成抢险救灾工作，是煤矿井下防灭火治理及灾后救援的重要装备。
目前煤矿机器人研究在底盘设计及防爆处理等方面取得进展，机器人底盘环境适应性及越障能力显著提高，但针对煤矿井下复杂地形的机器人定位、路径规划[4]、火灾险情识别及精准灭火等方面的研究较少，相关技术仍需重点攻克。为减少煤炭生产环节消防安全隐患，提升煤矿防灭火及救援时效性，本文设计了煤矿消防灭火机器人系统，结合超宽带（Ultra Wide Band，UWB）和激光雷达技术，采用自适应蒙特卡洛定位（Adaptive Monte Carlo Localization，AMCL）算法实现机器人定位，采用优化A*算法实现机器人路径规划，采用模板匹配方法识别险情目标，并通过云台控制将消防弹投射至险情目标，为煤矿精准灭火提供技术支持。
1. 系统总体设计
煤矿消防灭火机器人系统包括机器人硬件子系统、定位与路径规划子系统、目标识别与投掷子系统3个部分，如图1所示。机器人硬件子系统为机器人基础运动和信息采集提供保障。定位与路径规划子系统读取UWB定位模块数据、激光雷达数据和里程计信息，实现机器人初始化定位、实时避障运动和路径规划等功能。目标识别与投掷子系统通过调用摄像头的视频流信息，采用模板匹配方法进行特定目标识别，并控制二轴云台运动和消防弹投掷。
2. 机器人硬件子系统
机器人底盘搭载基于STM32F427芯片的主控板，采用4个由M3508减速电动机驱动的麦克纳姆轮作为动力组件，进行前行、横移、斜移、旋转及其组合方式的多种运动，实现机器人全向移动。
激光雷达是一种通过发射激光束来探测目标对象位置及速度等特征量的传感器[5-6]，本文选用RPLIDAR A3M1型激光雷达。
机载计算设备选用Intel NUC8i7BEH型工业计算机，运行机器人操作系统（Robot Operating System，ROS），实现图像处理和机器人运动控制等相关功能。
UWB是一种无线载波通信技术，具有功耗低、抗干扰能力和穿透能力强、定位准确度较高等优点[7-8]。本文选用DJI−RM−V1 UWB系统，其最高水平定位精度为5.5 cm，最高垂直定位精度为6.5 cm，位置更新频率为50 Hz。
3. 定位与路径规划子系统
3.1 实时定位
3.1.1 定位原理
机器人开机后，首先通过UWB定位模块确定机器人当前位置，在获取到的位置附近生成一系列正态分布的坐标点，再对这些坐标点进行筛选。针对每个坐标点，调用激光雷达扫描周边环境，得到二维点云数据；采用迭代最近点（Iterative Closest Point, ICP）算法对二维点云数据和预先存储的地图数据进行比较，根据误差最小原则确定机器人在该坐标点的姿态角及其置信度。对所有坐标点姿态角的置信度进行比较，将置信度最高的坐标点作为机器人的真实坐标，并将机器人在该坐标点的姿态角作为初始化时的真实姿态信息。
采用AMCL算法[9]实现机器人实时定位。AMCL算法是适用于二维平面内机器人运动位姿估计的算法，其流程如图2所示。
AMCL算法实现步骤：
（1） 随机生成一批粒子并进行地图载入工作，根据惯性测量装置和里程计数据更新粒子的位姿信息。
（2） 通过UWB数据判断机器人位置，通过激光雷达数据判断机器人与周边障碍物的距离（根据灰度值判断是否为障碍物），对初始生成的粒子进行置信度更新。距离机器人越远的粒子，其置信度越低；与激光雷达所测得的周边障碍物姿态信息越不匹配的粒子，其置信度越低。
（3） 根据粒子置信度高低赋予权值，置信度越高，权值越大。舍弃置信度低于阈值的粒子。
（4） 重采样阶段，根据粒子权值对粒子进行复制，复制份数与权值大小成正比。采用KL散度（Kullback−Leibler Divergense，KLD）算法确定粒子数量。KLD算法是一种自适应的粒子数量确定算法，可使粒子数量估计值与后验值之间的偏差不超过设定界限，即新生成粒子的数量随迭代次数增加而逐渐减少。粒子之间的距离不超过规定距离0.05 m时，认为定位成功，输出机器人当前位置。
在实际应用中，可能出现机器人运动过程中定位丢失的情况。为解决该问题，采用ROS中的SnapMapICP包进行机器人重定位[10-11]。
3.1.2 定位测试
首先获取UWB信号，确定机器人初始位置信息，使用激光雷达实时扫描得到点云数据，并与该位置地图数据进行匹配。初始化阶段，机器人姿态角的预测精度达3～5°，耗时1～2 s。在运动过程中，通过UWB模块判断机器人大致位置，根据激光雷达数据进行精确定位修正，测试结果如图3所示。图3（b）中十字坐标位置为机器人中心位置，与障碍物（黄色）之间的距离以二维云图方式体现，实测定位精度达5～10 cm。
3.2 路径规划
3.2.1 A*算法原理
A*算法作为一种求解静态网络最短路径最有效的直接搜索算法，综合了深度优先算法和广度优先算法的特性，被广泛应用于静态场景导航中[12-13]。该算法在深度优先策略的基础上增加了一个启发函数，使得搜索方向具有目标性。但是当选取的启发因子不适合当前规划任务时，会导致路径规划失败。针对该问题，对A*算法进行优化，加入寻找新目标点的容忍距离参数。加入该参数后，若路径规划失败，则在目标位置附近寻找另一个可以到达的位置替换当前目标位置，重新规划一条全局路径[14]。
3.2.2 路径规划测试
机器人路径规划测试结果如图4所示，图4（a）中右上角红色为机器人位置，绿色曲线为通过优化A*算法规划的路径，绿色曲线终点为目标灭火点。
在试验场地内设置不同着火点进行测试，实测数据见表1。可看出优化A*算法用时短，规划的路径合理。
表 1 路径规划指标Table 1. Path planning indexes序号 起止点间
欧氏距离/m算法
用时/s路径
长度/m与障碍物
最小距离/m1 5.650 1.05 10.980 0.750 2 7.095 1.25 13.813 0.900 3 6.450 1.34 13.682 0.750 4 5.732 0.78 7.433 0.640 5 8.137 1.09 11.803 0.590 4. 目标识别与投掷子系统
4.1 目标识别
通过先验知识生成着火点特征图像库，将特征图像作为特征匹配环节的模板图像。读取摄像头采集的视频流，并对模板图像和视频帧进行归一化处理。采用滑动窗口方式对模板图像（分辨率为128×128）和视频帧（分辨率为1920×1080）进行比较，计算相关系数R。相关系数R反映模板图像与待检验图像的相关程度，当模板图像与视频帧中某区域完全一致时，R=1。设置相关系数阈值，将相关系数大于阈值且相关系数值最大的区域确定为着火点目标。
获取着火点中心位置，将云台当前位置与着火点中心位置的偏差值作为给定信息传输到云台控制模块。
在分辨率为640×480的较复杂场景下，在距离机器人3 m范围内，着火点目标识别测试结果见表2。可看出机器人对动态多着火点的虚警率在10%以内，识别率达90%，满足应用要求。
表 2 着火点目标识别测试结果Table 2. Test results of ignition points detection测试场景 帧率/（帧·s−1） 虚警率/% 最大值 最小值 平均值 静态单一着火点 15.1 8.2 10.5 7.9 动态单一着火点 14.7 5.0 9.3 8.2 静态多着火点 11.0 4.2 8.5 9.0 动态多着火点 9.5 3.2 5.2 9.7 4.2 云台控制
云台控制的目的是准确、快速地跟踪着火点位置，使消防弹能够投射至目标区域。采用速度、位置双闭环的串级控制器实现云台俯仰轴和偏航轴角度控制。以偏航轴角度控制为例，串级控制流程如图5所示。
通过速度、位置双闭环PID调节[15]，使得云台响应曲线较平滑且准确地跟随给定曲线。在实际测试中，即使目标识别模块给出的控制量波动较大，云台的实际响应曲线也较平滑，且具有一定的超前预测效果[16]。通过整定串级控制器的PID参数，可弥补目标识别频率略小于云台控制频率的不足，抵消零阶保持效果[17]，实现对险情目标的精确处理。
5. 结论
（1） 结合UWB、激光雷达技术，采用ICP算法实现机器人定位初始化；在实时定位阶段，结合惯性测量装置和里程计数据，采用AMCL算法实现机器人定位，实测定位精度达5～10 cm。
（2） 在A*算法中，当选取的启发因子不适合当前规划任务时，会导致路径规划失败。针对该问题，对A*算法进行优化，加入寻找新目标点的容忍距离参数。加入该参数后，若路径规划失败，则在目标位置附近寻找另一个可以到达的位置替换当前目标位置，重新规划一条全局路径。测试结果表明，采用优化A*算法进行路径规划用时短，规划的路径合理。
（3） 通过先验知识生成着火点特征图像库，将特征图像作为特征匹配环节的模板图像，采用模板匹配方法识别险情目标。测试结果表明，机器人对动态多着火点的虚警率在10%以内，识别率达90%，满足应用要求。
（4） 采用速度、位置双闭环的串级控制器实现云台俯仰轴和偏航轴角度控制，能够准确、快速地跟踪着火点位置，使消防弹投射至目标区域。
-
![]()
图 3 不同隐藏层数下Adam算法与改进的Adam算法的训练及预测结果
Figure 3. Training and prediction results of Adam algorithm and improved Adam algorithm under different numbers of hidden layers
![]()
图 4 不同隐藏层节点数下Adam算法与改进的Adam算法的训练及预测结果
Figure 4. Training and prediction results of Adam algorithm and improved Adam algorithm under the number of nodes of different hidden layers
![]()
图 5 不同激活函数下Adam算法与改进的Adam算法的训练及预测结果
Figure 5. Training and prediction results of Adam algorithm and improved Adam algorithm under different activation functions
表 1 $ \mathrm{\lambda }={10}^{-6} $时LASSO回归系数
Table 1 LASSO regression coefficients at $ \mathrm{\lambda }={10}^{-6} $
影响因素 回归系数 影响因素 回归系数 回风量 0.43 温度 0.034 平均埋深 0.43 日进尺 0.031 初始瓦斯含量 −0.42 进风量 −0.009 邻近煤层瓦斯含量 0.30 煤体硬度 0 本煤层倾角 0.22 邻近煤层标高 0 预抽瓦斯总量 0.21 邻近煤层厚度 0 卸压瓦斯总量 0.19 邻近煤层倾角 0 本煤层厚度 −0.060 煤层间距 0 工作面标高 −0.060 采掘点与陷落柱距离 0 初始瓦斯压力 0.039 
下载: 导出CSV
表 2 不同隐藏层数下运行结果比较
Table 2 Comparison of results under different hidden layers
算法 隐藏层数 MSE NMSE 趋势正确性 CPU运行时间/s Adam 1 0.224 7 0.000 282 正确 29.11 2 0.174 1 0.000 236 不正确 52.69 3 0.287 3 0.000 414 基本正确 51.31 改进的Adam 1 0.218 6 0.000 257 正确 29.72 2 0.080 4 0.000 094 正确 33.86 3 0.28 52 0.000 101 基本正确 37.59
下载: 导出CSV
表 3 不同隐藏层节点数下运行结果比较
Table 3 Comparison of results with different number of hidden layer nodes
算法 隐藏层节点数 MSE NMSE 趋势正确性 CPU运行时间/s Adam 15 0.156 0 0.000 201 基本正确 55.51 20 0.174 1 0.000 236 不正确 52.69 25 1.2330 0.002 250 基本正确 53.53 改进的
Adam15 0.507 6 0.000 339 正确 39.34 20 0.080 4 0.000 094 正确 33.86 25 0.092 0 0.000 105 基本正确 31.38
下载: 导出CSV
表 4 不同激活函数下运行结果比较
Table 4 Comparison of results under different activation functions
算法 激活
函数层数与
节点数MSE NMSE 趋势正确性 CPU运行
时间/sAdam tanh 2, 25 1.233 0 0.002 30 基本正确 53.53 3, 15 0.388 3 0.000 42 正确 79.19 ReLU 2, 25 0.164 7 0.000 22 不正确 54.23 3, 15 0.131 9 0.000 18 基本正确 86.89 改进的Adam tanh 2, 25 0.092 0 0.000 11 正确 31.38 3, 15 0.430 8 0.000 46 基本正确 38.16 ReLU 2, 25 0.174 9 0.000 20 基本正确 58.18 3, 15 0.142 2 0.000 19 不正确 92.02
下载: 导出CSV
-
[1] 景国勋,刘孟霞. 2015—2019年我国煤矿瓦斯事故统计与规律分析[J]. 安全与环境学报,2022,22(3):1680-1686. JING Guoxun,LIU Mengxia. Statistics and analysis of coal mine gas accidents in China from 2015 to 2019[J]. Journal of Safety and Environment,2022,22(3):1680-1686.
[2] 宁超,王婷婷. 瓦斯地质与瓦斯防治进展[M]. 北京:煤炭工业出版社,2007. NING Chao,WANG Tingting. Advances in gas geology and gas prevention and control[M]. Beijing:China Coal Industry Publishing House,2007.
[3] 高金升,高娓娓. 新建矿井的瓦斯涌出量预测地质方法及其应用[J]. 煤,2009(8):21-24,40. GAO Jinsheng,GAO Weiwei. Application of gas emission geological prediction method of new mine[J]. Coal,2009(8):21-24,40.
[4] 谢建林,张爱绒,孙晓元. 基于分源预测法的瓦斯抽放关键参数研究[J]. 太原理工大学学报,2013,44(2):213-217. XIE Jianlin,ZHANG Airong,SUN Xiaoyuan. The study of gas drainage key parameters based on different-source forecast method[J]. Journal of Taiyuan University of Technology,2013,44(2):213-217.
[5] 申凯. 分源预测法在大型矿井瓦斯涌出量预测中的应用[J]. 能源技术与管理,2018,43(3):1-4. SHEN Kai. Application of different-source forecast method to gas emission prediction in large scale mines[J]. Energy Technology and Management,2018,43(3):1-4.
[6] ALI D,FRIMPONG S. Artificial intelligence,machine learning and process automation:existing knowledge frontier and way forward for mining sector[J]. Artificial Intelligence Review,2020,53:6025-6042. DOI: 10.1007/s10462-020-09841-6
[7] ZENG Jun,LI Qinsheng. Research on prediction accuracy of coal mine gas emission based on grey prediction model[J]. Processes,2021,9. DOI: 10.3390/pr9071147.
[8] 成小雨,周爱桃,郭焱振,等. 基于随机森林与支持向量机的回采工作面瓦斯涌出量预测方法[J]. 煤矿安全,2022,53(10):205-211. CHENG Xiaoyu,ZHOU Aitao,GUO Yanzhen,et al. Prediction method of gas emission based on random forest and support vector machine[J]. Safety in Coal Mines,2022,53(10):205-211.
[9] ZHAO Xiaohu,WANG Gang,TAN Dejian,et al. On-line least squares support vector machine algorithm in gas prediction[J]. Mining Science and Technology (China),2009,19(2):194-198. DOI: 10.1016/S1674-5264(09)60037-5
[10] 汪明,王建军. 基于随机森林的回采工作面瓦斯涌出量预测模型[J]. 煤矿安全,2012,43(8):182-185. WANG Ming,WANG Jianjun. Gas emission prediction model of stope based on random forests[J]. Safety in Coal Mines,2012,43(8):182-185.
[11] 田虎军,胡新社,贾世有,等. 基于极限学习机的煤矿瓦斯涌出量预测研究[J]. 能源技术与管理,2021,46(1):190-192. TIAN Hujun,HU Xinshe,JIA Shiyou,et al. Prediction model of gas emission based on extreme learning machine(ELM)[J]. Energy Technology and Management,2021,46(1):190-192.
[12] 黄凯波,朱权洁,张尔辉. 基于灰色理论与BP神经网络瓦斯涌出量预测研究[J]. 华北科技学院学报,2020,17(2):16-22. HUANG Kaibo,ZHU Quanjie,ZHANG Erhui. Based on grey theory and BP neural network gas emission prediction research[J]. Journal of North China Institute of Science and Technology,2020,17(2):16-22.
[13] JIA Pengtao,LIU Hangduo,WANG Sujian,et al. Research on a mine gas concentration forecasting model based on a GRU network[J]. IEEE Access,2020,8:38023-38031. DOI: 10.1109/ACCESS.2020.2975257
[14] 刘超,张爱琳,李树刚,等. 基于Pearson特征选择的LSTM工作面瓦斯浓度预测模型及应用[J/OL]. 煤炭科学技术:1-9[2023-11-29]. https://doi.org/10.13199/j.cnki.cst.2022-1618. LIU Chao,ZHANG Ailin,LI Shugang,et al. LSTM-Pearson gas concentration prediction model feature selection and its application[J/OL]. Coal Science and Technology:1-9[2023-11-29]. https://doi.org/10.13199/j.cnki.cst.2022-1618.
[15] 马晟翔,李希建. 改进的BP神经网络煤矿瓦斯涌出量预测模型[J]. 矿业研究与开发,2019,39(10):138-142. MA Shengxiang,LI Xijian. Study on prediction model of coal mine gas emission by improved BP neural network[J]. Mining Research and Development,2019,39(10):138-142.
[16] 徐刚,王磊,金洪伟,等. 因子分析法与BP神经网络耦合模型对回采工作面瓦斯涌出量预测[J]. 西安科技大学学报,2019,39(6):965-971. XU Gang,WANG Lei,JIN Hongwei,et al. Gas emission prediction in mining face by factor analysis and BP neural network coupling model[J]. Journal of Xi'an University of Science and Technology,2019,39(6):965-971.
[17] REDDI S J,KALE S S,KUMAR S. On the convergence of Adam and beyond[EB/OL]. [2023-02-20]. https://arxiv.org/abs/1904.09237.
[18] WILSON A C,ROELOFS R,STERN M,et al. The marginal value of adaptive gradient methods in machine learning[EB/OL]. [2023-02-20]. https://arxiv.org/abs/1705.08292.
[19] 付华,付昱,赵俊程,等. 基于KPCA−ARIMA算法的瓦斯涌出量预测[J]. 辽宁工程技术大学学报(自然科学版),2022,41(5):406-412. FU Hua,FU Yu,ZHAO Juncheng et al. Prediction of gas emission based on KPCA-ARIMA algorithm[J]. Journal of Liaoning Technical University(Natural Science),2022,41(5):406-412.
[20] 王洪胜,吴兵,雷柏伟. 综放工作面瓦斯积聚影响因素模拟研究[J]. 煤矿安全,2018,49(3):151-154,159. WANG Hongsheng,WU Bing,LEI Baiwei. Numerical simulation study on influence factors of gas accumulation at fully mechanized caving face[J]. Safety in Coal Mines,2018,49(3):151-154,159.
[21] KINGMA D P,BA J. Adam:a method for stochastic optimization[J]. Computer Science,2014. DOI: 10.48550/arXiv.1412.6980.
-
期刊类型引用(6)
1. 伊海洋，张才. 矿用胶囊式救生舱设计与仿真分析. 工业安全与环保. 2024(04): 34-38 . 
百度学术
2. 吴力，孙国亮. 机器人自动化技术在建筑消防系统施工中的应用研究. 模具制造. 2024(12): 194-196+199 . 百度学术
3. 陈杰. 探究消防灭火机器人及配套装备技术. 中国设备工程. 2023(14): 26-28 . 百度学术
4. 郭小龙. 消防救援队伍灭火救援实战能力提升对策研究. 今日消防. 2023(11): 57-59 . 百度学术
5. 李鹏程，郝文静，闫红玲. 狭窄空间智能巡检机器人设计及运动分析. 运城学院学报. 2023(06): 42-46 . 百度学术
6. 毕丽敏，罗延歆. 煤矿生活区室外装配式箱泵一体化消防给水泵站设计. 煤炭工程. 2022(06): 32-34 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 204
- HTML全文浏览量: 79
- PDF下载量: 30
- 被引次数: 7
