改进Adam优化器在瓦斯涌出量预测中的应用研究

刘海东, 李星诚, 张文豪

刘海东,李星诚,张文豪. 改进Adam优化器在瓦斯涌出量预测中的应用研究[J]. 工矿自动化,2023,49(12):25-32. DOI: 10.13272/j.issn.1671-251x.2023060034
引用本文: 刘海东,李星诚,张文豪. 改进Adam优化器在瓦斯涌出量预测中的应用研究[J]. 工矿自动化,2023,49(12):25-32. DOI: 10.13272/j.issn.1671-251x.2023060034
LIU Haidong, LI Xingcheng, ZHANG Wenhao. Research on the application of improved Adam training optimizer in gas emission prediction[J]. Journal of Mine Automation,2023,49(12):25-32. DOI: 10.13272/j.issn.1671-251x.2023060034
Citation: LIU Haidong, LI Xingcheng, ZHANG Wenhao. Research on the application of improved Adam training optimizer in gas emission prediction[J]. Journal of Mine Automation,2023,49(12):25-32. DOI: 10.13272/j.issn.1671-251x.2023060034

改进Adam优化器在瓦斯涌出量预测中的应用研究

基金项目: 国家重点研发计划项目(2018YFC0808101)。
详细信息
    作者简介:

    刘海东(1972—),男,山西榆社人,高级工程师,主要从事采煤安全技术研究工作,E-mail:2091993208@qq.com

    通讯作者:

    李星诚(1999—),男,江苏南京人,博士研究生,主要研究方向为多孔介质传热传质、煤矿安全生产,E-mail:li.x@stu.pku.edu.cn

  • 中图分类号: TD712

Research on the application of improved Adam training optimizer in gas emission prediction

  • 摘要:

    目前对基于神经网络的瓦斯涌出量预测模型的研究主要集中在瓦斯涌出问题上的表现,对模型训练中优化器性质的关注与改进较少。基于神经网络的瓦斯涌出量预测模型的训练常采用Adam算法,但Adam算法的不收敛性易造成预测模型的最佳超参数丢失,导致预测效果不佳。针对上述问题,对Adam优化器进行改进,在Adam算法中引入一种随迭代更新的矩估计参数,在保证收敛速率的同时获得更强的收敛性。以山西焦煤西山煤电集团马兰矿某回采工作面为例,在相同的循环神经网络(RNN)预测模型下测试了改进的Adam优化器在瓦斯涌出量预测中的训练效率、模型收敛性与预测准确度。测试结果表明:① 当隐藏层数为2和3时,改进的Adam算法较Adam算法的运行时间分别缩短了18.83,13.72 s。当隐藏层数为2时,Adam算法达到最大迭代数但仍没有收敛,而改进的Adam算法达到了收敛。② 在不同隐藏层节点数量下,Adam算法都没有在最大迭代步长内收敛,而改进的Adam算法均达到了收敛,且CPU运行时间较Adam算法分别缩短16.17,188.83,22.15 s。改进的Adam算法预测趋势的正确性更高。③ 使用tanh函数时,改进的Adam算法的运行时间较Adam算法分别缩短了22.15,41.03 s,使用ReLU函数时,改进的Adam算法与Adam算法运行时间相差不大。④ 使用改进后的Adam算法做遍历网格搜索,得到最佳的模型超参数为{3,20,tanh},均方误差、归一化的均方误差、运行时间分别为0.078 5,0.000 101和32.59 s。改进的Adam算法给出的最优模型对于待预测范围内出现的几个低谷及峰值趋势判断均正确,在训练集上的拟合程度适当,未见明显的过拟合现象。

    Abstract:

    Currently, research on neural network-based gas emission prediction models mainly focuses on the performance of gas emission problems, with less attention and improvement on the optimizer properties in model training. The training of gas emission prediction models based on neural networks often uses the Adam algorithm. But the non-convergence of the Adam algorithm can easily lead to the loss of the best hyperparameters of the prediction model, resulting in poor prediction performance. In order to solve the above problems, the Adam optimizer is improved by introducing a moment estimation parameter that updates iteratively in the Adam algorithm, achieving stronger convergence while ensuring convergence rate. Taking a certain mining face of Malan Mine in Xishan Coal and Power Group of Shanxi Coking Coal as an example, the training efficiency, model convergence, and prediction accuracy of the improved Adam optimizer in gas emission prediction are tested under the same recurrent neural network (RNN) prediction model. The test results show the following points. ① When the number of hidden layers is 2 and 3, the improved Adam algorithm reduces the running time by 18.83 and seconds 13.72 seconds respectively compared to the Adam algorithm. When the number of hidden layers is 2, the Adam algorithm reaches its maximum iteration number but still does not converge, while the improved Adam algorithm achieves convergence. ② Under different numbers of hidden layer nodes, the Adam algorithm does not converge within the maximum iteration step, while the improved Adam algorithm achieves convergence. The CPU running time is reduced by 16.17, 188.83 and 22.15 seconds respectively compared to the Adam algorithm. The improved Adam algorithm has higher accuracy in predicting trends. ③ When using the tanh function, the improved Adam algorithm reduces the running time by 22.15 seconds and 41.03 seconds respectively compared to the Adam algorithm. When using the ReLU function, the running time of the improved Adam algorithm and the Adam algorithm is not significantly different. ④ Using the improved Adam algorithm for traversal grid search, the optimal model hyperparameters are obtained as {3,20, tanh}, with mean square error, normalized mean square error, and running time of 0.078 5, 0.000 101, and 32.59 seconds, respectively. The optimal model given by the improved Adam's algorithm correctly judges the trends of several valleys and peaks that occur within the predicted range. The fitting degree on the training set is appropriate, and there is no obvious overfitting phenomenon.

  • 煤炭作为我国的主体能源,是能源供给的“压舱石”[1-3]。近年来,我国煤矿智能化发展迅速,煤炭开采正在迈向“少人化、无人化”阶段[4-6],对于实时检测的需求也逐渐从运输巷、变电所等简单场景转向采掘工作面等复杂场景。但受煤矿井下采掘工作面高粉尘、低照度等环境因素影响,传统的目标检测方法存在目标尺度跨度大、多目标间相互遮挡严重及检测精度低等问题,因此研究一种可以适应煤矿采掘工作面复杂环境的多目标检测算法,对煤矿井下的多目标检测具有重要意义。

    基于深度学习的多目标检测算法逐渐成为研究热点[7-8]。基于深度学习的多目标检测算法可分为两阶段多目标检测算法和单阶段多目标检测算法[9]。两阶段多目标检测算法主要以Fast R−CNN[10]、Faster R−CNN[11]及Mask R−CNN[12]为代表。杨文斌[13]采用Faster R−CNN算法检测刮板输送机中的角铁和锚杆等多种异物,识别精度达90%以上。郭永存等[14]以Mask R−CNN模型为基础,通过引入压缩−激励模块与混合空洞卷积,提高了模型对煤矿井下巷道中的信号灯和小石块等多目标的检测精度。史凌凯等[15]采用K−meansⅡ聚类算法和Laplace算子优化Mask R−CNN模型,提高了模型对角铁、钢板及铁锹等异物的检测精度和检测速度。但上述算法模型体积大,检测速度慢,无法满足实时检测的需求。

    单阶段多目标检测算法主要以YOLO[16]系列算法、SSD[17]系列算法、CornerNet[18]系列算法等为代表,其中YOLO系列算法检测效率高且泛化能力强[19]。王科平等[20]以YOLOv4为基础,通过引入残差自注意力机制和深度可分离卷积,平衡了模型的参数量、计算量及检测精度,并在此基础上提高了模型对综采工作面的采煤机、刮板输送机及行人等多目标的检测精度。杨艺等[21]先使用CSPDarknet网络、空间金字塔池化(Spatial Pyramid Pooling,SPP)模型及路径聚合网络(Path Aggregation Network,PANet)提取综采工作面视频特征,再使用深度可分离卷积对YOLOv4模型进行轻量化处理,从而提高了模型对线槽、采煤机、行人等6种目标的检测精度。郭永存等[22]采用K−means++算法、四尺度预测网络及SPP模块对YOLOv4−Tiny算法进行改进,提高了模型对矿井巷道中的碎石、行人及电机车等多目标的检测精度;樊红卫等[23]使用Partial Conv模块、Res2Net网络和ECA注意力机制优化YOLOv5模型,提高了模型对带式输送机中的煤、矸石和螺母等多目标的检测精度,降低了模型参数量和计算量。上述研究通过在YOLO系列算法中引入轻量化网络、注意力机制、深度可分离卷积等,一定程度上提升了煤矿多目标检测速度与精度,但其所针对的应用场景较为简单,而煤矿采掘工作面环境恶劣,同时还存在人机相互遮挡、目标尺度变化剧烈等复杂工况,容易引起误检、漏检与检测精度降低等问题。

    因此,为实现煤矿井下复杂环境下的多目标实时检测任务,本文以YOLOv5s为基础,通过FasterNet网络、双向特征金字塔网络(Bi-directional Feature Pyramid Network,BiFPN)、ECIoU损失函数对模型的各部分进行改进,提出了一种基于FBEC−YOLOv5s的采掘工作面多目标检测算法,并通过实验验证了该算法的有效性。

    YOLOv5s网络主要包括输入端(input)、骨干网络(backbone)、颈部(neck)和预测端(head)4个部分。输入端主要是对数据进行预处理,包括Mosaic数据增强、图像大小缩放及预定义候选框尺寸计算等;骨干网络进行物体的特征提取,由跨阶段部分网络(Cross Stage Partial Network,CBS)、BottleneckCSP/C3卷积块及快速空间金字塔池化(Spatial Pyramid Pooling-Fast,SPPF)等组成;颈部能够连接不同尺度的特征层并进行特征融合,一般由特征金字塔网络(Feature Pyramid Network,FPN)和PANet组成;预测端对图像特征进行预测,生成边界框和预测类别。

    FBEC−YOLOv5s的网络结构如图1所示。

    图  1  FBEC−YOLOv5s的网络结构
    Figure  1.  Network structure of FBEC-YOLOv5s

    为提高模型检测精度与训练效率,本文在原YOLOv5s模型中引入FasterNet[24]网络(图2),凭借其残差连接与批标准化模块,增强模型的特征提取和语义信息捕捉能力,并减少数据传输中的噪声干扰与数据交错频次。FasterNet网络共有4个阶段,每个阶段前均有1个嵌入层(Embedding)或1个合并层(Merging),用于空间下采样及通道数扩展,且每个阶段均有少量FasterNet模块(FasterNet Block)以循环使用输入特征,最后的全局池化层(Global Pool)、卷积层(Conv 1×1)、全连接层(Full Connected,FC)则被用于特征分类。图2中,Cnn=1,2,3,4)为FasterNet网络第n个阶段的通道数,hw分别为输入图像的高和宽,ln为FasterNet网络第n个阶段的数量。

    图  2  FasterNet网络架构
    Figure  2.  Architecture of FasterNet

    由于煤矿井下采掘工作面工作人员及采掘装备在多种作业场景中的姿态持续变化,导致多种目标尺度跨度增大,模型检测精度降低。BiFPN[25]能够进行高效的双向跨尺度连接与加权特征图融合操作,实现多尺度特征的快速捕捉与融合。因此,本文采用BiFPN结构替换PANet[26]结构,以增强YOLOv5s网络模型的多尺度适应能力,如图3所示。

    图  3  不同特征金字塔网络结构对比
    Figure  3.  Comparison of different features pyramid network structures

    YOLOv5s模型的损失函数由边框回归损失、置信度损失及分类概率损失3个部分组成。原YOLOv5s模型中主要采用CIoU[27]与EIoU[28]作为损失函数,其中,采用CIoU进行回归计算时,易限制模型检测框与真实框的相似性优化;当检测框存在较远边缘时,采用EIoU损失函数易引起模型收敛速度降低。因此,本文采用ECIoU[29]损失函数提升检测框定位精度和模型收敛速度。

    ECIoU损失函数先采用CIoU调整预测框的长宽比,再采用EIoU调整预测框的每条边。

    $$ E = 1 - I + \alpha v + \frac{{{\rho ^2}\left( {{b^{{\mathrm{gt}}}},b} \right)}}{{{a^2}}} + \frac{{{\rho ^2}\left( {{h^{{\mathrm{gt}}}},h} \right)}}{{d^2}} + \frac{{{\rho ^2}\left( {{w^{{\mathrm{gt}}}},w} \right)}}{{f^2}} $$ (1)
    $$ \nu = \frac{4}{{{{\text{π}} ^2}}}\left(\arctan \frac{{{w^{{\mathrm{gt}}}}}}{{{h^{{\mathrm{gt}}}}}} - \arctan \frac{w}{h}\right) $$ (2)

    式中:I为预测框与真实框面积的交并比;$ \alpha $为平衡尺度的权重参数;$ \nu $为预测框和真实框间纵横比的一致性度量;$ {\rho }^{2}({b}^{{\mathrm{gt}}}, b) $为预测框和真实框中心点之间的欧几里得距离平方值;$ {\rho }^{2}({h}^{{\mathrm{gt}}}, h) $和$ {\rho }^{2}({w}^{{\mathrm{gt}}}, w) $分别为预测框和真实框高度和宽度的平方差值;$ a,{d},{f} $分别为两框最小闭包区域的对角线长度、高度和宽度;b为预测框中心;$ {w^{{\mathrm{gt}}}},{h^{{\mathrm{gt}}}},{b^{{\mathrm{gt}}}} $分别为真实框的宽、高、中心点。

    本文所使用的数据集来源于多个煤矿采掘工作面的生产监控视频,通过对视频进行抽帧处理,得到500张图像,再采用高斯噪声(noise)、随机对比度(contra)、水平翻转(H−flip)、垂直翻转(V−flip)、HSV变换及随机剪裁与填充(Cr−pad)等数据增强方法对图像进行处理,处理后的部分图像如图4所示,最终将500张原始图像扩充至2 000张图像,作为本文实验的数据集。

    图  4  数据增强部分图像
    Figure  4.  Data enhanced partial images

    采用LabelImg工具对数据集进行标注,将标注后的2 000张图像按8∶1∶1的比例划分为训练集、验证集及测试集,分为person(行人)、R−cutting(掘进机截割头)、S−cutting(采煤机截割头)、A−juMibtolter(机载锚杆钻机)、H−juMibtolter(手持锚杆钻机)及Support(液压支架)。部分标注图像如图5所示。

    图  5  图像标注部分图像
    Figure  5.  Image annotated partial images

    参数设置:图像大小为640×640,通道数为32,批次样本数为16,动量因子为0.937,迭代次数为300,权重衰减系数为0.000 5,学习率初始值为0.01。本文实验所有算法的训练、验证及测试均在同台计算机的ubuntu20.04上进行,环境配置见表1

    表  1  网络训练环境
    Table  1.  Network training environment
    环境 配置参数
    CPU 15 vCPU Intel(R) Xeon(R) Platinum 8358P CPU
    GPU RTX 3090(24 GB)
    加速环境 Python3.8,Cuda11.3
    语言环境 Python3.8
    下载: 导出CSV 
    | 显示表格

    本文采用准确率、平均精度及平均检测精度均值作为模型的评价指标。

    $$ P=\frac{N\mathrm{_{TP}}}{N\mathrm{_{TP}}+N\mathrm{_{FP}}} $$ (3)

    式中:P为准确率;NTP为被正确检测为正确目标的采掘装备及工作人员数量;NFP为被错误检测为正确目标的采掘装备及工作人员数量。

    平均精度是指模型对某个单一目标的平均检测精度,以精确率P为横坐标,召回率R为纵坐标,绘制PR曲线,PR曲线与横纵坐标轴围成的面积即为平均检测精度。

    $$ M = \frac{{\displaystyle\sum Q }}{n} $$ (4)

    式中:M为平均精度均值;Q为各分类的平均精度;n为待检测目标的类别数量。

    为验证各改进模块的有效性,本文以相同训练策略开展消融实验,结果见表2。可看出优化模型1(YOLOv5s+ECIoU)的准确率较YOLOv5s的准确率提升了0.7%,平均检测精度均值提升了0.8%,平均检测速度(Frames Per Second, FPS)提升了0.3帧/s;优化模型2(YOLOv5s+BiFPN)的准确率较YOLOv5s的准确率提升1.4%,平均检测精度均值提升了1.6%,参数量上升了1.06 MiB,FPS下降了5.6帧/s;优化模型3(YOLOv5s+FasterNet)的准确率较YOLOv5s的准确率提升了0.9%,平均检测精度均值提升了1%,参数量上升了1.03 MiB,FPS下降了3.8帧/s;优化模型4(YOLOv5s+ECIoU+BiFPN)的准确率较YOLOv5s的准确率提升了1.3%,平均检测精度均值提升了1.9%,参数量上升了1.06 MiB,FPS下降了5.6帧/s;优化模型5(YOLOv5s+ECIoU+FasterNet)的准确率较YOLOv5s的准确率提升了0.9%,平均检测精度均值提升了1.7%,参数量上升了1.03 MiB,FPS下降了10.7帧/s;优化模型6(YOLOv5s+BiFPN+FasterNet)的准确率较YOLOv5s的准确率提升了3.1%,平均检测精度均值提升 2.5%,参数量上升了1.12 MiB,FPS下降了13.5帧/s;优化模型7(YOLOv5s+ECIoU+BiFPN+FasterNet)即FBEC−YOLOv5s模型的准确率较YOLOv5s的准确率提升了3.6%,平均检测精度均值提升了2.8%,参数量上升了1.12 MiB, 提高了模型的检测精度,由于网络结构的改进使得网络层数增加,导致参数量上升1.12 MiB,FPS下降10.1帧/s,但仍满足煤矿井下实时检测的要求。

    表  2  消融实验结果
    Table  2.  Results of ablation experiments
    模型 ECIoU BiFPN FasterNet 准确率/% 平均检测精度均值/% 参数量/MiB FPS/(帧·s−1
    YOLOv5s × × × 93.8 89.6 7.03 138.9
    优化模型1 × × 94.5 90.4 7.03 139.2
    优化模型2 × × 95.2 91.2 8.09 133.3
    优化模型3 × × 94.7 90.6 8.06 135.1
    优化模型4 × 95.1 91.5 8.09 133.3
    优化模型5 × 94.7 91.3 8.06 128.2
    优化模型6 × 96.9 92.1 8.15 125.4
    优化模型7 97.4 92.4 8.15 128.8
    下载: 导出CSV 
    | 显示表格

    为进一步验证FBEC−YOLOv5s算法的先进性,将其与YOLOv3−tiny、YOLOv5s、YOLOv7及YOLOv7−tiny模型进行对比实验,实验结果见表3。可看出与YOLOv5s模型相比,YOLOv3−tiny模型的平均检测精度均值下降了5.4%,参数量上升了1.65 MiB,FPS上升了17.4帧/s;YOLOv7模型的平均检测精度均值上升了1.2%,参数量上升了29.48 MiB,FPS下降了54.2帧/s;YOLOv7−tiny模型的平均检测精度均值下降了8.7%,参数量下降了1.01 MiB,FPS上升了41.6帧/s;FBEC−YOLOv5s模型的平均检测精度均值上升了2.8%,参数量上升了1.12 MiB,FPS下降了10.1帧/s。综合上述分析可见,FBEC−YOLOv5s模型的综合检测性能比其他模型好,平均检测精度均值为92.4%,能够满足实时检测要求。

    表  3  对比实验结果
    Table  3.  Comparison of experimental results
    模型 平均检测精度均值/% 参数量/MiB FPS/(帧·s−1
    YOLOv5s 89.6 7.03 138.9
    YOLOv3−tiny 84.2 8.68 156.3
    YOLOv7 90.8 36.51 84.7
    YOLOv7−tiny 80.9 6.02 180.5
    FBEC−YOLOv5s 92.4 8.15 128.8
    下载: 导出CSV 
    | 显示表格

    将不同模型在测试集上进行3组实验,部分检测结果如图6所示。第1组实验在环境恶劣(背景与待检测目标灰度值接近)的工况下进行,其中,YOLOv3−tiny和YOLOv7−tiny模型对person和S−cutting的检测精度较低,平均检测精度均值均低于86%,而YOLOv7、YOLOv5s及FBEC−YOLOv5s模型对person和S−cutting的检测精度相对一致。第2组在多目标间相互遮挡的工况下进行实验,YOLOv3−tiny模型出现漏检情况且检测精度低(平均检测精度均值<86%),YOLOv7−tiny模型对被遮挡人员的检测精度低(平均检测精度均值<82%),YOLOv5s和FBEC−YOLOv5s模型对被遮挡人员的检测精度高,平均检测精度均值分别为90%~95%和92%~93%,FBEC−YOLOv5s模型检测效果较优,而YOLOv7模型对被遮挡人员的平均检测精度均值高于97%,但其参数量约为FBEC−YOLOv5s模型的4.5倍,检测速度较慢(FPS=84.7帧/s),难以满足煤矿井下的实时检测需求。第3组在多目标位姿持续变化且尺度跨度大的工况下进行实验,YOLOv3−tiny和YOLOv7−tiny模型对工作人员的检测精度较低(平均检测精度均值<86%),YOLOv7、YOLOv5s及FBEC−YOLOv5s模型对工作人员的检测精度分别为90%~97%、92%~95%和94%~95%,其中,FBEC−YOLOv5s模型对工作人员的检测精度范围跨度最小且鲁棒性最高。综合上述分析可知,本文提出的FBEC−YOLOv5s模型的综合检测性能最好,能够在恶劣环境、多目标间相互遮挡严重及目标尺度跨度大导致检测精度降低等情况下表现出良好的实时检测能力且具有更好的鲁棒性。

    图  6  不同算法部分检测结果
    Figure  6.  Partial detection results of different algorithms

    1) 3种改进措施能够不同程度地提高模型的检测精度。在YOLOv5s模型主干网络中融合FasterNet网络,以增强模型的特征提取和语义信息捕捉能力,使得模型平均检测精度均值提升了1%;在YOLOv5s模型颈部引入BiFPN网络,以实现多尺度特征的快速捕捉与融合,使得模型平均检测精度均值提升了1.6%;采用ECIoU代替CIoU损失函数,以提升检测框定位精度和模型收敛速度,使得模型平均检测精度均值提升了0.8%。

    2) 与YOLOv5s、YOLOv7−tiny及YOLOv7等其他YOLO系列算法相比,FBEC−YOLOv5s算法综合检测性能最好,平均检测精度均值达92.4%(最大提升2.8%),实时检测速度达128.8 帧/s。该算法能够为煤矿井下生产场景的智能感知与安全管理提供技术支持与有效保障。

  • 图  1   瓦斯涌出变量的LASSO回归轨迹

    Figure  1.   LASSO regression trajectory of gas emission variables

    图  2   RNN原理

    Figure  2.   RNN principle

    图  3   不同隐藏层数下Adam算法与改进的Adam算法的训练及预测结果

    Figure  3.   Training and prediction results of Adam algorithm and improved Adam algorithm under different numbers of hidden layers

    图  4   不同隐藏层节点数下Adam算法与改进的Adam算法的训练及预测结果

    Figure  4.   Training and prediction results of Adam algorithm and improved Adam algorithm under the number of nodes of different hidden layers

    图  5   不同激活函数下Adam算法与改进的Adam算法的训练及预测结果

    Figure  5.   Training and prediction results of Adam algorithm and improved Adam algorithm under different activation functions

    图  6   最优参数下的模型预测结果

    Figure  6.   Model prediction results under optimal parameters

    表  1   $ \mathrm{\lambda }={10}^{-6} $时LASSO回归系数

    Table  1   LASSO regression coefficients at $ \mathrm{\lambda }={10}^{-6} $

    影响因素 回归系数 影响因素 回归系数
    回风量 0.43 温度 0.034
    平均埋深 0.43 日进尺 0.031
    初始瓦斯含量 −0.42 进风量 −0.009
    邻近煤层瓦斯含量 0.30 煤体硬度 0
    本煤层倾角 0.22 邻近煤层标高 0
    预抽瓦斯总量 0.21 邻近煤层厚度 0
    卸压瓦斯总量 0.19 邻近煤层倾角 0
    本煤层厚度 −0.060 煤层间距 0
    工作面标高 −0.060 采掘点与陷落柱距离 0
    初始瓦斯压力 0.039
    下载: 导出CSV

    表  2   不同隐藏层数下运行结果比较

    Table  2   Comparison of results under different hidden layers

    算法隐藏层数MSENMSE趋势正确性CPU运行时间/s
    Adam10.224 70.000 282正确29.11
    20.174 10.000 236不正确52.69
    30.287 30.000 414基本正确51.31
    改进的Adam10.218 60.000 257正确29.72
    20.080 40.000 094正确33.86
    30.28 520.000 101基本正确37.59
    下载: 导出CSV

    表  3   不同隐藏层节点数下运行结果比较

    Table  3   Comparison of results with different number of hidden layer nodes

    算法 隐藏层节点数 MSE NMSE 趋势正确性 CPU运行时间/s
    Adam 15 0.156 0 0.000 201 基本正确 55.51
    20 0.174 1 0.000 236 不正确 52.69
    25 1.2330 0.002 250 基本正确 53.53
    改进的
    Adam
    15 0.507 6 0.000 339 正确 39.34
    20 0.080 4 0.000 094 正确 33.86
    25 0.092 0 0.000 105 基本正确 31.38
    下载: 导出CSV

    表  4   不同激活函数下运行结果比较

    Table  4   Comparison of results under different activation functions

    算法 激活
    函数
    层数与
    节点数
    MSE NMSE 趋势正确性 CPU运行
    时间/s
    Adam tanh 2, 25 1.233 0 0.002 30 基本正确 53.53
    3, 15 0.388 3 0.000 42 正确 79.19
    ReLU 2, 25 0.164 7 0.000 22 不正确 54.23
    3, 15 0.131 9 0.000 18 基本正确 86.89
    改进的Adam tanh 2, 25 0.092 0 0.000 11 正确 31.38
    3, 15 0.430 8 0.000 46 基本正确 38.16
    ReLU 2, 25 0.174 9 0.000 20 基本正确 58.18
    3, 15 0.142 2 0.000 19 不正确 92.02
    下载: 导出CSV
  • [1] 景国勋,刘孟霞. 2015—2019年我国煤矿瓦斯事故统计与规律分析[J]. 安全与环境学报,2022,22(3):1680-1686.

    JING Guoxun,LIU Mengxia. Statistics and analysis of coal mine gas accidents in China from 2015 to 2019[J]. Journal of Safety and Environment,2022,22(3):1680-1686.

    [2] 宁超,王婷婷. 瓦斯地质与瓦斯防治进展[M]. 北京:煤炭工业出版社,2007.

    NING Chao,WANG Tingting. Advances in gas geology and gas prevention and control[M]. Beijing:China Coal Industry Publishing House,2007.

    [3] 高金升,高娓娓. 新建矿井的瓦斯涌出量预测地质方法及其应用[J]. 煤,2009(8):21-24,40.

    GAO Jinsheng,GAO Weiwei. Application of gas emission geological prediction method of new mine[J]. Coal,2009(8):21-24,40.

    [4] 谢建林,张爱绒,孙晓元. 基于分源预测法的瓦斯抽放关键参数研究[J]. 太原理工大学学报,2013,44(2):213-217.

    XIE Jianlin,ZHANG Airong,SUN Xiaoyuan. The study of gas drainage key parameters based on different-source forecast method[J]. Journal of Taiyuan University of Technology,2013,44(2):213-217.

    [5] 申凯. 分源预测法在大型矿井瓦斯涌出量预测中的应用[J]. 能源技术与管理,2018,43(3):1-4.

    SHEN Kai. Application of different-source forecast method to gas emission prediction in large scale mines[J]. Energy Technology and Management,2018,43(3):1-4.

    [6]

    ALI D,FRIMPONG S. Artificial intelligence,machine learning and process automation:existing knowledge frontier and way forward for mining sector[J]. Artificial Intelligence Review,2020,53:6025-6042. DOI: 10.1007/s10462-020-09841-6

    [7]

    ZENG Jun,LI Qinsheng. Research on prediction accuracy of coal mine gas emission based on grey prediction model[J]. Processes,2021,9. DOI: 10.3390/pr9071147.

    [8] 成小雨,周爱桃,郭焱振,等. 基于随机森林与支持向量机的回采工作面瓦斯涌出量预测方法[J]. 煤矿安全,2022,53(10):205-211.

    CHENG Xiaoyu,ZHOU Aitao,GUO Yanzhen,et al. Prediction method of gas emission based on random forest and support vector machine[J]. Safety in Coal Mines,2022,53(10):205-211.

    [9]

    ZHAO Xiaohu,WANG Gang,TAN Dejian,et al. On-line least squares support vector machine algorithm in gas prediction[J]. Mining Science and Technology (China),2009,19(2):194-198. DOI: 10.1016/S1674-5264(09)60037-5

    [10] 汪明,王建军. 基于随机森林的回采工作面瓦斯涌出量预测模型[J]. 煤矿安全,2012,43(8):182-185.

    WANG Ming,WANG Jianjun. Gas emission prediction model of stope based on random forests[J]. Safety in Coal Mines,2012,43(8):182-185.

    [11] 田虎军,胡新社,贾世有,等. 基于极限学习机的煤矿瓦斯涌出量预测研究[J]. 能源技术与管理,2021,46(1):190-192.

    TIAN Hujun,HU Xinshe,JIA Shiyou,et al. Prediction model of gas emission based on extreme learning machine(ELM)[J]. Energy Technology and Management,2021,46(1):190-192.

    [12] 黄凯波,朱权洁,张尔辉. 基于灰色理论与BP神经网络瓦斯涌出量预测研究[J]. 华北科技学院学报,2020,17(2):16-22.

    HUANG Kaibo,ZHU Quanjie,ZHANG Erhui. Based on grey theory and BP neural network gas emission prediction research[J]. Journal of North China Institute of Science and Technology,2020,17(2):16-22.

    [13]

    JIA Pengtao,LIU Hangduo,WANG Sujian,et al. Research on a mine gas concentration forecasting model based on a GRU network[J]. IEEE Access,2020,8:38023-38031. DOI: 10.1109/ACCESS.2020.2975257

    [14] 刘超,张爱琳,李树刚,等. 基于Pearson特征选择的LSTM工作面瓦斯浓度预测模型及应用[J/OL]. 煤炭科学技术:1-9[2023-11-29]. https://doi.org/10.13199/j.cnki.cst.2022-1618.

    LIU Chao,ZHANG Ailin,LI Shugang,et al. LSTM-Pearson gas concentration prediction model feature selection and its application[J/OL]. Coal Science and Technology:1-9[2023-11-29]. https://doi.org/10.13199/j.cnki.cst.2022-1618.

    [15] 马晟翔,李希建. 改进的BP神经网络煤矿瓦斯涌出量预测模型[J]. 矿业研究与开发,2019,39(10):138-142.

    MA Shengxiang,LI Xijian. Study on prediction model of coal mine gas emission by improved BP neural network[J]. Mining Research and Development,2019,39(10):138-142.

    [16] 徐刚,王磊,金洪伟,等. 因子分析法与BP神经网络耦合模型对回采工作面瓦斯涌出量预测[J]. 西安科技大学学报,2019,39(6):965-971.

    XU Gang,WANG Lei,JIN Hongwei,et al. Gas emission prediction in mining face by factor analysis and BP neural network coupling model[J]. Journal of Xi'an University of Science and Technology,2019,39(6):965-971.

    [17]

    REDDI S J,KALE S S,KUMAR S. On the convergence of Adam and beyond[EB/OL]. [2023-02-20]. https://arxiv.org/abs/1904.09237.

    [18]

    WILSON A C,ROELOFS R,STERN M,et al. The marginal value of adaptive gradient methods in machine learning[EB/OL]. [2023-02-20]. https://arxiv.org/abs/1705.08292.

    [19] 付华,付昱,赵俊程,等. 基于KPCA−ARIMA算法的瓦斯涌出量预测[J]. 辽宁工程技术大学学报(自然科学版),2022,41(5):406-412.

    FU Hua,FU Yu,ZHAO Juncheng et al. Prediction of gas emission based on KPCA-ARIMA algorithm[J]. Journal of Liaoning Technical University(Natural Science),2022,41(5):406-412.

    [20] 王洪胜,吴兵,雷柏伟. 综放工作面瓦斯积聚影响因素模拟研究[J]. 煤矿安全,2018,49(3):151-154,159.

    WANG Hongsheng,WU Bing,LEI Baiwei. Numerical simulation study on influence factors of gas accumulation at fully mechanized caving face[J]. Safety in Coal Mines,2018,49(3):151-154,159.

    [21]

    KINGMA D P,BA J. Adam:a method for stochastic optimization[J]. Computer Science,2014. DOI: 10.48550/arXiv.1412.6980.

  • 期刊类型引用(1)

    1. 问永忠,贾澎涛,夏敏高,张龙刚,王伟峰. 基于改进YOLOv8n的井下人员多目标检测. 工矿自动化. 2025(01): 31-37+77 . 本站查看

    其他类型引用(0)

图(6)  /  表(4)
计量
  • 文章访问数:  206
  • HTML全文浏览量:  79
  • PDF下载量:  31
  • 被引次数: 1
出版历程
  • 收稿日期:  2023-06-10
  • 修回日期:  2023-12-02
  • 网络出版日期:  2023-12-17
  • 刊出日期:  2023-11-30

目录

/

返回文章
返回