Research on coal-gangue identification technology driven by multi-source fusion of image features and vibration spectrum
-
摘要:
针对目前图像与振动信号融合的方法在煤矸识别领域应用存在特征融合困难、实时性和模型复杂度不满足实际应用要求等问题，设计了基于多头注意力（MA）的多层长短期记忆（ML−LSTM）模型MA−ML−LSTM。采用经粒子群优化（PSO）算法优化的变分模态分解（VMD）算法对振动信号进行处理，将能量、能量矩、峭度、波形因数与矩阵奇异值作为特征量，并采用一维卷积网络获取振动信息；在多分类网络ResNet−18基础上删除最后的全连接层，用于对煤矸图像进行深度特征提取；通过MA机制和ML−LSTM网络实现图像与振动双通道特征融合，强化各通道重要特征信息的表达。实验结果表明：MA−ML−LSTM模型的平均识别准确率达98.72%，相比传统单一的ResNet，MobilenetV3，1D−CNN，LSTM模型分别高4.60%，7.96%，5.37%，6.11%，相比EMD−RF，IMF−SVM，CSPNet−YOLOv7分别高4.18%，4.45%，3.46%，验证了图像特征与振动频谱多源融合驱动的煤矸识别技术的有效性。
Abstract:To address the challenges of feature fusion, real-time performance, and model complexity in the application of image and vibration signal fusion for coal-gangue identification, a multi-head attention (MA)-based multi-layer long short-term memory (ML-LSTM) model, i.e., MA-ML-LSTM, was proposed. The variational mode decomposition (VMD) algorithm, optimized by particle swarm optimization (PSO), was employed to process vibration signals. Features such as energy, energy moment, kurtosis, waveform factor, and matrix singular values were extracted. A one-dimensional convolutional network was used to acquire vibration information. For image feature extraction, the fully connected layer of the multi-classification network ResNet-18 was removed, enabling the extraction of deep features from coal-gangue images. Dual-channel feature fusion of images and vibration signals was achieved using the MA mechanism and the ML-LSTM network, enhancing the expression of significant features in each channel. Experimental results demonstrated that the MA-ML-LSTM model achieved an average recognition accuracy of 98.72%, which was 4.60%, 7.96%, 5.37%, and 6.11% higher than traditional single models ResNet, MobilenetV3, 1D-CNN, and LSTM, respectively. Compared to EMD-RF, IMF-SVM, and CSPNet-YOLOv7 models, accuracy improved by 4.18%, 4.45%, and 3.46%, respectively. These findings validate the effectiveness of the coal-gangue identification technology driven by multi-source fusion of image features and vibration spectrum.
-
0. 引言
煤矸识别是综采放顶煤开采的关键核心技术，对于提高煤炭采出率具有重要意义[1-2]。目前综放开采放顶煤工序仍然依靠人工操作，按照“见矸关门”的原则来控制，存在过放和欠放的情况，导致资源浪费。实现放煤口煤矸的精准识别并根据识别结果实时控制放煤口，不仅能降低混矸率，提高采出率，还能减少综放工作面放煤人员数量，降低恶劣环境对工人健康的影响[3]。
目前，综放工作面煤矸识别主要依赖于单一信息源的方法[4]，如图像识别[5-8]、振动信号识别[9-14]、声信号识别[15-17]和伽马射线法[18]等。然而，这些方法在实际应用中存在识别不准和应用受限的问题。例如，图像识别易受煤尘和水雾干扰；振动与声信号易受噪声影响；伽马射线技术虽然灵敏度高，但设备成本高且体积庞大，难以满足复杂工况下的需求。
为提升系统的鲁棒性和识别精度，增强抗干扰能力，诸多学者提出了多源信息融合的多模态识别技术，如融合声音与视频[19-21]、图像与红外[22]、图像与振动[23]等，有效弥补了单一方法的不足。其中，图像与振动信号融合的方法在煤矸识别领域应用仍存在一些缺陷，如煤矸多模态数据的异构性导致融合困难，实时性和模型复杂度不满足实际应用要求等。针对上述问题，设计了基于多头注意力（Multi-head Attention，MA）的多层长短期记忆（Multi-layers Long Short-Term Memory，ML−LSTM）模型MA−ML−LSTM，通过MA机制和ML−LSTM网络实现图像与振动双通道特征融合，强化各通道重要特征信息的表达。
1. MA−ML−LSTM模型
将综放工作面的混矸率分为4类：0，0～10%，15%～25%，30%～45%，从而将煤矸图像识别问题转换为基于不同混矸率范围的多分类问题。为解决该问题，设计了MA−ML−LSTM模型，如图1所示。该模型主要包含3个模块：振动信息提取模块、图像信息提取模块和特征融合模块。振动信息提取模块由一维卷积网络（1D−CNN）、残差链接和最大池化层（Max Pooling）组成，用于提取振动信号数据集；图像信息提取模块选择经典的多分类网络ResNet−18，去除其最后的全连接层，以便对煤矸图像进行深度特征提取；特征融合模块由MA机制和ML−LSTM组成，用于实现振动特征与图像特征的高效融合。
![]()
图 1 MA−ML−LSTM模型Figure 1. Multi-head attention（MA）-multi-layers（ML）-long short-term memory（LSTM） model1.1 振动信息提取模块
一维卷积是卷积神经网络中常用的一种操作，具有特征提取能力强、分类性能好和计算高效等优势，主要用于处理序列数据，如时间序列信号、文本数据等。本文采用一维卷积提取振动信息，通过2个3×3一维卷积与残差连接组合成的模块对预处理后的振动数据集进行信息提取，经过池化后输入下一层。
1.2 图像信息提取模块
ResNet是一种适用于图像分类的经典网络，具有网络层数适中、模型训练速度快、不易出现过拟合等优点，在图像识别领域得到了较为广泛的应用。ResNet−18网络对输入图像进行卷积和池化之后，经过4层残差模块，最后使用池化层与全连接层输出检测结果。本文在ResNet−18网络的基础上，将最后的全连接层删除，将经过池化后的图像特征输入下一层。
1.3 特征融合模块
1.3.1 MA机制
MA机制是Transformer的基石[25]，通过使用多个独立权重矩阵的注意力头，在不同特征空间中学习多个注意力分布，使得注意力层的输出包含不同子空间的表示信息，从而增强模型的表达能力。MA机制如图2所示。
首先输入特征序列H，再对H进行线性变换，将H分别映射至查询空间Q、键空间K和值空间V；然后利用缩放点积与Softmax函数计算每个注意力分布，对注意力分布进行加权求和，得到对应输出；最后，通过特征拼接函数Concat将多个输出结果拼接。
1.3.2 ML-LSTM特征融合网络
LSTM[26]是一种特殊的递归神经网络，通过一组门控单元（输入门、遗忘门、输出门）避免梯度消失或爆炸问题，实现对时序数据中远距离依赖关系的有效建模。本文中煤矸冲击信号是一种时间序列数据，因此选择LSTM作为特征融合网络模型，其主要结构如图3所示。其中ft为遗忘门，It为输入门，ot为输出门，$ \widetilde {{C_t}} $为候选门，t为时间，tanh和σ分别为Tanh和Sigmoid激活函数。
在LSTM网络的基础上，引入ML−LSTM进行模型融合[27]。ML−LSTM由输入层、LSTM层和输出层组成，LSTM层由LSTM−I层、Concat−Layer和LSTM−II层组成，如图4所示。
ML−LSTM特征融合模型将注意力机制处理后的200维振动信号特征向量输入第1层LSTM（Layer1隐藏层为256维），得到隐藏层状态；将注意力机制处理后的512维图像特征向量与Layer1隐藏层状态拼接，得到1 024维向量，再输入第2层LSTM（Layer2隐藏层为512维），得到512维融合特征向量。
2. 煤矸数据采集与处理
2.1 放顶煤相似模拟平台
使用放顶煤相似模拟平台进行煤矸图像与振动信号采集。平台仿照综放工作面搭建，包括装料箱、放顶煤液压支架、刮板输送机等，如图5所示。支架模拟放顶煤过程打开与闭合，将装料箱的煤矸放出，使用刮板输送机运出实验平台。采用YK−YD20型IEPE/ICP压电式加速度传感器与YK−ALM4型振动分析仪采集放顶煤过程中煤与矸石冲击液压支架尾梁产生的振动信号。采用磁吸方式将传感器安装在液压支架尾梁背面，并通过数据线与采集装置相连。
为减少环境噪声对实验数据的影响，采取多种措施对实验环境进行控制。实验过程中保持周围环境安静，以减少外部噪声对振动信号的干扰；通过软件对高灵敏IEPE/ICP压电式加速度传感器采集到的信号进行实时监控，以确保信号质量。每次实验前对传感器等设备进行校准，以排除设备本身引入的误差。每次放煤模拟推进8个步距，每次推进均在相同环境条件下进行。
实验开始前放顶煤装料箱内的煤矸位置初始状态均不相同，如图6所示。设置振动分析仪采样频率为10 kHz，采集煤矸冲击支架尾梁产生的振动信号，并开启摄像头采集煤矸落到刮板的图像信息。启动电液控系统，推移油缸牵引支架进行逐步距放煤，打开放煤口，模拟8个推进步距。每个步距放煤过程包括初始放煤、初始见矸、少量见矸、大量见矸及停止放煤5个阶段。根据采集时间节点与煤矸放出状态，将振动信号与图像数据保存至电脑。8个步距推进结束后装料箱内的状态如图7所示。
![]()
图 6 实验平台装料箱的初始状态Figure 6. Initial state of the material box of the experimental platform2.2 振动信号降噪与特征提取
顶煤相似模拟平台是按照现场环境建立的，在采集振动信号过程中会受到环境噪声干扰。为提高信号可靠性与后续信号特征提取的准确性，采用变分模态分解（Variational Mode Decomposition，VMD）对信号进行分解去噪，并通过粒子群优化（Particle Swarm Optimization，PSO）算法进行关键参数寻优。
利用PSO算法计算出最优VMD参数[k，α]（k为分量个数，α为惩罚因子），再应用VMD方法对原始振动信号进行分解，得到一系列本征模态函数（Intrinsic Mode Function，IMF）；计算每个IMF与原始信号的相关系数，通过阈值滤除无关的IMF分量并对信号进行重构；对剩余IMF分量进行特征值计算，得到振动信号特征数据集。振动信号特征数据集构建流程如图8所示。
2.2.1 振动信号降噪
VMD是一种自适应、完全非递归的模态变分和信号处理的方法[24]，通过求解约束变分问题，将具有多个频率成分的振动信号分解为一系列具有稀疏特性的IMF，进而得到给定信号的有效分解成分，每个分量具有各自的中心频率和有限带宽。
VMD算法中参数的选择决定了振动信号分解效果。噪声容忍度τ和收敛精度ε对分解效果影响较小，根据经验，设置τ和ε分别为0和1×10−7。分量个数k和惩罚因子α对振动信号分解影响较大，为了确定k和α，采用PSO算法进行并行寻优，具体流程如图9所示。PSO算法通过模拟多个粒子在解空间中的运动，利用个体之间的信息共享寻找问题最优解。
在PSO算法优化前，设置k∈[5，15]，α∈[
1500 ，3000 ]，种群规模数为20，最大迭代次数为100，学习因子为1.5，惯性权重为0.5。为了降低随机性，共进行10次PSO算法优化，结果见表1。经过PSO算法优化后得到的最佳k，α分别为10，2 122。表 1 PSO算法重复10次结果Table 1. Result of PSO algorithm repeated for 10 times次数 k α 次数 k α 1 10 2 087 6 10 2 062 2 10 2 165 7 10 2 151 3 10 2 094 8 10 2 114 4 10 2 132 9 10 2 173 5 10 2 189 10 10 2 058 当信号被分解为频率不等的IMF分量后，引入皮尔逊相关系数选择有效分量，当皮尔逊相关系数大于0.3时便可视为有效分量[28]。各IMF分量与原始信号的皮尔逊相关系数见表2。根据表2，选取IMF1—IMF6为有效分量，将其他分量舍弃，并对信号进行重构，实现振动信号降噪。重构前后原始信号与降噪信号曲线如图10所示，对比发现重构后的信号消除了低频噪声，能够更好地提取振动信号特征。
表 2 各IMF与原始信号的皮尔逊相关系数Table 2. Pearson's correlation coefficient of each IMF with the original signalIMF分量 相关系数 IMF分量 相关系数 IMF1 0.7826 IMF6 0.3696 IMF2 0.8519 IMF7 0.1285 IMF3 0.7342 IMF8 0.1324 IMF4 0.5623 IMF9 0.0165 IMF5 0.4676 IMF10 0.0085 2.2.2 特征提取
由于单一特征不能很好地区分不同状态的振动信号，所以将多个方面的特征结合，以更全面提取振动信息，更准确地识别放煤口煤矸放出状态，提高振动信号识别率。选择有效分量IMF1—IMF6，将能量、能量矩、峭度、波形因数与矩阵奇异值作为特征量，建立振动信号特征数据集。
能量矩用于度量信号能量分布，第j阶能量矩为
$$ M_{i, j}=\sum_{T=1}^{N}\left(T^{j} E_{i}(T)^{2}\right) $$ (1) 式中：N为信号长度；T为时间索引；$ E_{i}(T) $为IMF分量，i=1，2，…，6。
峭度表示信号分布的尖锐度，分量$ E_{i}(T) $的峭度为
$$ L_{T}=\frac{\dfrac{1}{N} \displaystyle\sum_{T=1}^{N}\left(E_{i}(T)-\mu_{T}\right)^{4}}{\left(\dfrac{1}{N} \displaystyle\sum_{T=1}^{N}\left(E_{i}(T)-\mu_{T}\right)^{2}\right)^{2}} $$ (2) 式中$ \mu_{T} $为$ E_{i}(T) $的均值。
波形因数为信号波形的形状特征分量，信号$ E_{i}(T) $的波形因数为
$$ F_{T}=\frac{\sqrt{\dfrac{1}{N} \displaystyle\sum_{T=1}^{N} E_{i}(T)^{2}}}{\dfrac{1}{N} \displaystyle\sum_{T=1}^{N}\left|E_{i}(T)\right|} $$ (3) 对于有效IMF组成的m×n矩阵，奇异值为
$$ {\boldsymbol{C}}={\boldsymbol{U}} {\boldsymbol{Q V}}^{{\mathrm{H}}} $$ (4) 式中：U，V分别为m阶、n阶矩阵；Q=$ \left[ \begin{array}{ll}\varSigma & 0 \\0 & 0\end{array} \right] $，$ \varSigma=\operatorname{diag}\left(\omega_{1}, \omega_{2}, \cdots, \omega_{r}\right) $，ω1，ω2，…，ωr为矩阵C的奇异值，r为矩阵C的秩，ω1≥ω2≥…≥ωr>0。
2.3 数据集构建
平台放煤过程中，对每个放煤步距进行图像采集，推移支架过程不采集图像，共采集24 489张图像。根据煤矸放出情况，计算图中煤矸像素比例，将图像按照混矸率划分为0，0～10%，15%～25%，30%～45%。考虑到实际情况，将混矸率超过45%的图像舍弃。最后采集到混矸率为0的图像6 130张，混矸率为0～10%的图像6 116张，混矸率为15%～25%的图像
6116 张，混矸率为30%～45%的图像6 127张，部分图像数据如图11所示。在振动信号特征数据集中，以10 000点作为1个样本长度，共得到4类振动信号各6 000个样本数据。按照能量矩、峭度、波形因数与矩阵奇异值4个特征，将数据转换为4维特征向量，将4类混矸率的状态标签设置为0—3。
3. 实验分析
实验采用PyTorch深度学习框架，Intel Core i9−10850K CPU、16 GiB内存和NVIDIA GeForce RTX 3070显卡进行模型训练。软件环境为Windows 11、Python 3.8和PyTorch 1.9.0，CUDA版本为11.1。
3.1 模型训练
模型训练流程：① 振动信号降噪处理与特征提取；② 图像与振动数据集制作；③ 将制作好的数据集划分训练集、验证集与测试集；④ 利用训练集对网络进行训练，利用验证集选择最优网络权重，最终利用测试集对最优网络权重进行评估。
网络模型训练前，优化模型配置文件中的相关参数，以获取最优训练模型。设置图像输入尺寸为640×640，训练批量大小为32，线程数为16，初始学习率为0.001，训练轮数为300。图像与振动数据集按照6∶2∶2划分为训练集、验证集与测试集。
模型训练300次的损失与验证准确率曲线分别如图12与图13所示。模型训练200次左右时收敛至较高准确率，最优损失值和验证准确率分别为0.019和98.98%。
使用测试集对训练好的模型进行测试，混淆矩阵如图14所示。可看出在全煤和全矸情况下模型识别精度很高，分别为99.5%和99.8%，在少矸与多矸情况下识别精度较低，分别为98.0%和97.7%，平均识别准确率为98.7%。
3.2 消融实验
为了验证各改进模块的有效性，使用相同测试数据集设计消融实验：方案A移除ML−LSTM融合层，将图像、振动特征直接拼接后进行分类；方案B在方案A的基础上加入单层LSTM融合网络，融合图像与振动特征进行分类；方案C在方案B的基础上将单层LSTM变为双层ML−LSTM融合模型；方案D在方案C的基础上增加MA机制，即本文模型。采用准确率、精确度、召回率、F1值及混淆矩阵验证模型性能。
消融实验分类结果见表3，不同方案的混淆矩阵对比如图15所示。实验结果显示，方案A准确率为92.10%，表明仅通过简单拼接特征后进行分类，未能充分利用多模态数据的互补信息；方案B准确率提升至95.57%，说明LSTM在处理时间序列和捕获特征间复杂关系方面具有一定优势；方案C准确率进一步提高到97.12%，验证了多层LSTM在提取和融合复杂特征方面的有效性；方案D准确率为98.72%，说明MA机制有效增强了模型对特征间相互关系的捕捉能力。
表 3 消融实验分类结果Table 3. Classification results of ablation experiment% 方案 准确率 精确度 召回率 F1 A 92.10 91.93 92.16 92.04 B 95.57 95.72 96.17 95.94 C 97.12 97.08 97.15 97.11 D 98.72 98.66 98.62 98.64 3.3 不同模型对比分析
对图像与振动信号采用处理方式，将本文模型与经典深度学习分类模型和机器学习模型（ResNet[29]，MobileNetV3[30]，1D−CNN[31]，LSTM[26]）及常用煤矸分类识别模型（EMD−RF[13]，IMF−SVM[14]，CSPNet−YOLOv7[8]）进行比较，结果见表4。
由表4可看出，机器学习模型的识别效果最差，体现出深度学习方法在处理复杂数据时的优势。ResNet和CSPNet−YOLOv7表现较好，准确率分别为94.12%和95.26%，但由于这2个模型只提取了图像特征进行识别，未能达到最佳效果。MobileNetV3由于网络结构简化，准确率仅为90.76%。1D−CNN和LSTM虽适合处理时间序列，但仅提取了振动信号特征进行煤矸识别，准确率分别为93.35%和92.61%。EMD−RF和IMF−SVM模型在处理振动特征时表现出色，但相较于深度学习模型仍存在差距，准确率分别为94.54%和94.27%。
表 4 不同模型的实验结果Table 4. Experimental results of different models% 模型 准确率 精确度 召回率 F1 ResNet 94.12 94.17 94.16 94.06 MobileNetV3 90.76 91.11 90.85 90.98 1D−CNN 93.35 93.64 92.79 93.21 LSTM 92.61 92.79 92.36 92.57 EMD−RF 94.54 95.31 94.99 94.65 IMF−SVM 94.27 94.41 94.85 94.13 CSPNet−YOLOv7 95.26 95.14 94.79 95.65 本文模型 98.72 98.66 98.62 98.64 本文模型将ResNet与1D−CNN融合，识别准确率大幅提升，相比单一的ResNet，MobileNetV3，1D−CNN，LSTM模型分别高出4.60%，7.96%，5.37%，6.11%，相比EMD−RF，IMF−SVM，CSPNet−YOLOv7分别高出4.18%，4.45%，3.46%，证明特征融合策略有效提升了模型的煤矸识别能力。
4. 结论
1） 设计了图像特征与振动频谱多源融合驱动的煤矸识别模型MA−ML−LSTM，通过MA机制和ML−LSTM网络实现图像与振动双通道特征融合，强化各通道重要特征信息表达，提高了煤矸识别准确性。
2） 搭建了放顶煤相似模拟平台，通过多次模拟现场放顶煤过程，采集图像和振动数据，确保数据的多样性和真实性，为模型训练和验证提供可靠的数据支持。实验结果表明，MA−ML−LSTM模型的平均识别准确率达98.72%，显著优于单一信息源识别方法。
3） 在实际生产应用过程中，配置相关算力设备、振动传感器与高清摄像头即可进行实时数据处理与识别。随着人工智能技术的不断进步，未来可结合声音信号、红外传感器等更多传感器，构建更全面的多源融合模型，以进一步提升煤矸识别的准确性与效率。
-
![]()
图 1 MA−ML−LSTM模型
Figure 1. Multi-head attention（MA）-multi-layers（ML）-long short-term memory（LSTM） model
![]()
图 6 实验平台装料箱的初始状态
Figure 6. Initial state of the material box of the experimental platform
表 1 PSO算法重复10次结果
Table 1 Result of PSO algorithm repeated for 10 times
次数 k α 次数 k α 1 10 2 087 6 10 2 062 2 10 2 165 7 10 2 151 3 10 2 094 8 10 2 114 4 10 2 132 9 10 2 173 5 10 2 189 10 10 2 058 
下载: 导出CSV
表 2 各IMF与原始信号的皮尔逊相关系数
Table 2 Pearson's correlation coefficient of each IMF with the original signal
IMF分量 相关系数 IMF分量 相关系数 IMF1 0.7826 IMF6 0.3696 IMF2 0.8519 IMF7 0.1285 IMF3 0.7342 IMF8 0.1324 IMF4 0.5623 IMF9 0.0165 IMF5 0.4676 IMF10 0.0085
下载: 导出CSV
表 3 消融实验分类结果
Table 3 Classification results of ablation experiment
% 方案 准确率 精确度 召回率 F1 A 92.10 91.93 92.16 92.04 B 95.57 95.72 96.17 95.94 C 97.12 97.08 97.15 97.11 D 98.72 98.66 98.62 98.64
下载: 导出CSV
表 4 不同模型的实验结果
Table 4 Experimental results of different models
% 模型 准确率 精确度 召回率 F1 ResNet 94.12 94.17 94.16 94.06 MobileNetV3 90.76 91.11 90.85 90.98 1D−CNN 93.35 93.64 92.79 93.21 LSTM 92.61 92.79 92.36 92.57 EMD−RF 94.54 95.31 94.99 94.65 IMF−SVM 94.27 94.41 94.85 94.13 CSPNet−YOLOv7 95.26 95.14 94.79 95.65 本文模型 98.72 98.66 98.62 98.64
下载: 导出CSV
-
[1] 于斌,徐刚,黄志增,等. 特厚煤层智能化综放开采理论与关键技术架构[J]. 煤炭学报,2019,44(1):42-53. YU Bin,XU Gang,HUANG Zhizeng,et al. Theory and its key technology framework of intelligentized fully-mechanized caving mining in extremely thick coal seam[J]. Journal of China Coal Society,2019,44(1):42-53.
[2] 葛世荣,王世博,管增伦,等. 数字孪生——应对智能化综采工作面技术挑战[J]. 工矿自动化,2022,48(7):1-12. GE Shirong,WANG Shibo,GUAN Zenglun,et al. Digital twin:meeting the technical challenges of intelligent fully mechanized working face[J]. Journal of Mine Automation,2022,48(7):1-12.
[3] 袁永,屠世浩,陈忠顺,等. 薄煤层智能开采技术研究现状与进展[J]. 煤炭科学技术,2020,48(5):1-17. YUAN Yong,TU Shihao,CHEN Zhongshun,et al. Current situation and development of intelligent mining technology for thin coal seams[J]. Coal Science and Technology,2020,48(5):1-17.
[4] 田妍,田丰. 放顶煤开采过程煤矸识别技术发展现状及前景[J]. 煤炭工程,2018,50(10):142-145. TIAN Yan,TIAN Feng. Development status and prospect of coal gangue recognition technology in top-coal caving[J]. Coal Engineering,2018,50(10):142-145.
[5] 沈科,季亮,张袁浩,等. 基于改进YOLOv5s模型的煤矸目标检测[J]. 工矿自动化,2021,47(11):107-111,118. SHEN Ke,JI Liang,ZHANG Yuanhao,et al. Research on coal and gangue detection algorithm based on improved YOLOv5s model[J]. Industry and Mine Automation,2021,47(11):107-111,118.
[6] 王家臣,潘卫东,张国英,等. 图像识别智能放煤技术原理与应用[J]. 煤炭学报,2022,47(1):87-101. WANG Jiachen,PAN Weidong,ZHANG Guoying,et al. Principles and applications of image-based recognition of withdrawn coal and intelligent control of draw opening in longwall top coal caving face[J]. Journal of China Coal Society,2022,47(1):87-101.
[7] 袁永,秦正寒,夏永琪,等. 基于改进U−Net的煤矸图像分割模型与放煤控制技术研究 [J/OL]. 煤炭学报:1-18[2024-10-30]. https://doi.org/10.13225/j.cnki.jccs.2024.0588. YUAN Yong,QIN Zhenghan,XIA Yongqi,et al. Research on coal gangue image recognition model based on improved U-Net and top coal caving control[J/OL]. Journal of China Coal Society:1-18 [2024-10-30]. https://doi. org/10.13225/j.cnki.jccs.2024.0588.
[8] 韦小龙,王方田,何东升,等. 基于CSPNet−YOLOv7目标检测算法的煤矸图像识别模型[J]. 煤炭科学技术,2024,52(增刊1):238-248. WEI Xiaolong,WANG Fangtian,HE Dongsheng,et al. Image recognition model of coal gangue based on CSPNet-YOLOv7 target detection algorithm[J]. Coal Science and Technology,2024,52(S1):238-248.
[9] 马英. 综放工作面自动化放顶煤系统研究[J]. 煤炭科学技术,2013,41(11):22-24,94. MA Ying. Study on automatic top coal caving system in fully-mechanized coal caving face[J]. Coal Science and Technology,2013,41(11):22-24,94.
[10] 万丽荣,陈博,杨扬,等. 单颗粒煤岩冲击放顶煤液压支架尾梁动态响应分析[J]. 煤炭学报,2019,44(9):2905-2913. WAN Lirong,CHEN Bo,YANG Yang,et al. Dynamic response of single coal-rock impacting tail beam of top coal caving hydraulic support[J]. Journal of China Coal Society,2019,44(9):2905-2913.
[11] 万丽荣,尹广俊,杨扬,等. 单颗粒岩石直冲金属板振动特性研究[J]. 煤炭技术,2017,36(11):213-216. WAN Lirong,YIN Guangjun,YANG Yang,et al. Study on vibration characteristics of single granular rock direct impact metal plate[J]. Coal Technology,2017,36(11):213-216.
[12] 曹贯强,尉瑞,孟祥涛,等. 用于煤矸识别的振动传感器设计[J]. 工矿自动化,2021,47(1):118-122. CAO Guanqiang,YU Rui,MENG Xiangtao,et al. Design of vibration sensor for coal gangue identification[J]. Industry and Mine Automation,2021,47(1):118-122.
[13] 窦希杰,王世博,刘后广,等. 基于EMD特征提取与随机森林的煤矸识别方法[J]. 工矿自动化,2021,47(3):60-65. DOU Xijie,WANG Shibo,LIU Houguang,et al. Coal and gangue identification method based on EMD feature extraction and random forest[J]. Industry and Mine Automation,2021,47(3):60-65.
[14] 窦希杰,王世博,谢洋,等. 基于IMF能量矩和SVM的煤矸识别[J]. 振动与冲击,2020,39(24):39-45. DOU Xijie,WANG Shibo,XIE Yang,et al. Coal and gangue identification based on IMF energy moment and SVM[J]. Journal of Vibration and Shock,2020,39(24):39-45.
[15] 薛光辉,柳二猛,赵新赢,等. 基于声压信号时域特征的综放工作面煤岩性状识别方法研究[J]. 煤炭工程,2015,47(6):119-122. XUE Guanghui,LIU Ermeng,ZHAO Xinying,et al. Research of coal-rock character recognition in fully mechanized caving face based on acoustic pressure data time domain feature[J]. Coal Engineering,2015,47(6):119-122.
[16] 袁源,汪嘉文,朱德昇,等. 顶煤放落过程煤矸声信号特征提取与分类方法[J]. 矿业科学学报,2021,6(6):711-720. YUAN Yuan,WANG Jiawen,ZHU Desheng,et al. Feature extraction and classification method of coal gangue acoustic signal during top coal caving[J]. Journal of Mining Science and Technology,2021,6(6):711-720.
[17] CHEN Xu,WANG Shibo,LIU Houguang,et al. Coal gangue recognition using multichannel auditory spectrogram of hydraulic support sound in convolutional neural network[J]. Measurement Science and Technology,2022,33(1). DOI: 10.1088/1361-6501/ac3709.
[18] 张宁波,刘长友,陈现辉,等. 综放煤矸低水平自然射线的涨落规律及测量识别分析[J]. 煤炭学报,2015,40(5):988-993. ZHANG Ningbo,LIU Changyou,CHEN Xianhui,et al. Measurement analysis on the fluctuation characteristics of low level natural radiation from gangue[J]. Journal of China Coal Society,2015,40(5):988-993.
[19] ARANDJELOVIC R,ZISSERMAN A. Look,listen and learn[C]. IEEE International Conference on Computer Vision,Venice,2017:609-617.
[20] OWENS A,EFROS A A. Audio-visual scene analysis with self-supervised multisensory features[EB/OL]. [2024-07-10]. https://arxiv.org/abs/1804.03641.
[21] WANG Wupeng,XING Chao,WANG Dong,et al. A robust audio-visual speech enhancement model[C]. IEEE International Conference on Acoustics,Speech and Signal Processing,Barcelona,2020:7529-7533.
[22] 张慧春,周子阳,边黎明,等. 基于1DCNN融合多源表型数据的杨树干旱胁迫评估方法[J]. 农业机械学报,2024,55(9):286-296. ZHANG Huichun,ZHOU Ziyang,BIAN Liming,et al. Assessment of poplar drought stress level based on 1DCNN fusion of multi-source phenotypic data[J]. Transactions of the Chinese Society for Agricultural Machinery,2024,55(9):286-296.
[23] 徐亮,王晶,杨文镜,等. 基于Conv−TasNet的多特征融合音视频联合语音分离算法[J]. 信号处理,2021,37(10):1799-1805. XU Liang,WANG Jing,YANG Wenjing,et al. Multi feature fusion audio-visual joint speech separation algorithm based on Conv-TasNet[J]. Journal of Signal Processing,2021,37(10):1799-1805.
[24] 樊凤杰,白洋,纪会芳. 基于EEMD−ICA的脑电去噪算法研究[J]. 计量学报,2021,42(3):395-400. FAN Fengjie,BAI Yang,JI Huifang. Denoising method of EEG signal based on EEMD-ICA[J]. Acta Metrologica Sinica,2021,42(3):395-400.
[25] VASWANI A,SHAZEER N M,PARMAR N,et al. Attention is all you need[EB/OL]. [2024-07-10]. https://arxiv.org/abs/1706.03762.
[26] HOCHREITER S,SCHMIDHUBER J. Long short-term memory[J]. Neural Computation,1997,9:1735-1780. DOI: 10.1162/neco.1997.9.8.1735
[27] YANG Fan,SANG Yongsheng,LYU Jiancheng,et al. Prediction of gasoline yield in fluid catalytic cracking based on multiple level LSTM[J]. Chemical Engineering Research and Design,2022,185:119-129. DOI: 10.1016/j.cherd.2022.06.040
[28] 邢致恺,何怡刚,姚其新. 基于多模态信息融合的变压器在线故障诊断方法[J]. 电子测量与仪器学报,2024,38(9):95-103. XING Zhikai,HE Yigang,YAO Qixin. Transformer online fault diagnosis method based on multi-modal information fusion[J]. Journal of Electronic Measurement and Instrumentation,2024,38(9):95-103.
[29] 兰名扬,刘宇龙,金涛,等. 基于可视化轨迹圆和ResNet18的复合电能质量扰动类型识别[J]. 中国电机工程学报,2022,42(17):6274-6286. LAN Mingyang,LIU Yulong,JIN Tao,et al. An improved recognition method based on visual trajectory circle and ResnetN18 for complex power quality disturbances[J]. Proceedings of the CSEE,2022,42(17):6274-6286.
[30] HOWARD A,SANDLER M,CHU G,et al. Searching for MobileNetV3[EB/OL]. [2024-07-10]. https://arxiv.org/abs/1905.02244.
[31] KIRANYAZ S,AVCI O,ABDELJABER O,et al. 1D convolutional neural networks and applications:a survey[J]. Mechanical Systems and Signal Processing,2021,151. DOI:10.1016/j. ymssp.2020.107398.
计量
- 文章访问数: 338
- HTML全文浏览量: 35
- PDF下载量: 24
