0.   引言

煤岩识别作为煤矿智能开采和巷道智能掘进技术的关键环节，其准确性和鲁棒性直接影响煤矿采掘智能化水平^[1-3]。根据实施过程中是否需要接触煤炭或岩石，煤岩识别方法可分为接触式和非接触式两大类^[4]。接触式煤岩识别方法包括振动检测法、声压检测法、高压水射流法等，虽然能直接作用于煤岩表面提供即时反馈，但成本较高，设备易损坏且不容易实现远程操作。非接触式煤岩识别方法包括图像分析法、声波探测法、雷达探测法、γ射线探测法等，由于无需直接接触煤岩，减少了设备磨损且易于实现远程操作。煤岩图像识别作为图像分析法的一种，具有设备体积小、成本低、易于部署等优点，一直是煤岩识别研究的热点之一。

近年来，众多学者研究使用深度卷积神经网络提取煤岩图像特征来实现煤岩图像识别。张云等^[5]将双注意力机制（通道注意力机制与通道空间注意力机制）融入卷积神经网络，提高了煤岩识别精度。王建才等^[6]将Transformer应用于 YOLOv5，实现了煤岩图像特征的高效提取。高峰等^[7]使用嵌入全局注意力机制的残差卷积模块，降低了全局无关特性对煤岩识别的不利影响。司垒等^[8]用深度分离卷积代替传统卷积，提高了煤岩识别的准确性。张斌等^[9]使用目标检测算法YOLOv2与线性成像模型相结合的方法，实现了对井下煤岩图像的智能识别与定位。闫志蕊等^[10]通过改进的DeeplabV3+和迁移学习实现了煤岩界面图像识别。伍云霞等^[11-12]使用带有局部约束的自学习方法，解决了煤岩识别模型训练中样本不足的问题。

然而，当前应用于煤岩图像识别的深度卷积神经网络模型存在体积庞大、计算过程冗杂等问题，难以满足实时检测要求，且对低照度、高粉尘等复杂环境适应性差。因此，本文提出了一种融合钻孔地质信息的煤岩图像识别方法。首先，通过改进谱残差显著性检测（Improved Spectral Residual Saliency Detection，ISRSD）算法改善图像质量；其次，使用加入注意力机制的VGG（Attentional Visual Geometry Group，AVGG）深度卷积神经网络高效提取图像特征；最后，通过贝叶斯模型融合图像特征和钻孔地质信息，从而提升煤岩识别的鲁棒性和准确性。

1.   方法原理

融合钻孔地质信息的煤岩图像识别方法流程如图1所示。先应用ISRSD算法对煤岩图像进行增强，优化图像质量以降低模型运算量，再利用AVGG模型提取图像特征。结合钻孔地质柱状图为每个煤岩图像样本添加相应的地质特征标签，标记当前工作空间中存在的特定煤岩类型，从而提高煤岩识别准确率。最终，基于贝叶斯模型将提取的图像特征与钻孔地质信息进行融合，获取煤岩图像分类结果。

图  1  融合钻孔地质信息的煤岩图像识别方法流程

Figure  1.  Process of coal-rock image recognition method integrating drilling geological information

下载: 全尺寸图片 幻灯片

1.1   图像增强

显著性检测算法被广泛应用于图像的压缩编码、边缘检测、区域像素增强和目标分割等研究领域^[13-14]，可有效应对因煤矿井下低照度等因素造成的煤岩图像特征不明显。但传统的显著性检测算法对于图像特征被遮挡等情形的煤岩图像适应较差，因此本文使用ISRSD算法改善煤岩图像质量，使图像特征更易提取，以便降低模型运算量。该算法利用图像的频域信息，具有较高的检测准确性和鲁棒性。

ISRSD算法流程如图2所示。首先使用中值滤波抑制井下复杂环境对煤岩图像遮挡造成的影响，同时泛化主要目标区域；然后，提取煤岩样本显著区域，并使用锐化算子增强图像边缘、纹理等特征；最后，使用直方图均衡化提升图像亮度，使得图像中的目标更加清晰。

图  2  ISRSD算法流程

Figure  2.  Improved spectral residual saliency detection（ISRSD） algorithm flow

下载: 全尺寸图片 幻灯片

1.2   图像特征提取

深度卷积神经网络能够从图像中自动提取特征^[5]，其中，VGG是提取图像特征的首选算法之一^[15]。但VGG存在参数量大、体积冗余、推理时间长等问题，因此本文对其进行改进，提出了一种AVGG模型，结构如图3所示。

图  3  AVGG模型结构

Figure  3.  Attentional visual geometry group（AVGG） model structure

下载: 全尺寸图片 幻灯片

具体改进方案：① 对VGG模型进行剪枝处理，减少冗余参数，提高其识别煤岩图像的效率。② 加入卷积注意力模块（Convolutional Block Attention Module，CBAM）^[16]，改善VGG模型对不同通道和生成空间的权重分配能力，以提升对煤岩图像识别的学习能力。③ 引入自适应学习率调整策略（图4），根据交叉熵损失值的变化量调整学习率，即当交叉熵损失值陷入局部震荡或波动幅度过大时，更新学习率，在提高学习效率的同时保证收敛性能。

图  4  自适应学习率调整策略

Figure  4.  Adaptive learning rate adjustment strategy

下载: 全尺寸图片 幻灯片

1.3   钻孔地质信息融合

为提升煤岩识别的鲁棒性和准确性，使用贝叶斯模型将AVGG模型提取的图像特征与钻孔地质信息融合，获取煤岩图像分类结果。

钻孔地质柱状图详细记录了钻孔中不同地层的信息，从而可预知井下特定工作空间的煤岩类别。因此，依据钻孔地质柱状图，将采掘设备可直接接触的煤岩类别的图像样本标记地质特征标签1，采掘设备不可直接接触的煤岩类别的图像样本标记地质特征标签−1。

将钻孔地质信息与AVGG提取的图像特征进一步抽象形成贝叶斯模型训练所需的数据集，包括地质特征、AVGG提取的图像特征（AVGG模型输出的各类别置信度）、煤岩图像样本真实类别。

贝叶斯模型可以利用先验知识和新的观测数据不断更新对未知参数或事件概率的估计^[17]。其中先验知识就是已知的钻孔地质信息，而新的观测数据则是AVGG模型提取的图像特征。

贝叶斯模型所求目标函数为

式中：P（c|x）为煤岩图像样本x属于煤岩类别c的概率；P（c）为煤岩类别c的先验概率；P（x|c）为煤岩类别c下煤岩图像样本x出现的概率；P（x）为煤岩图像样本x的先验概率。

朴素贝叶斯假定对于给定样本，煤岩图像样本特征的先验概率与煤岩类别无关，且假定特征之间无关联。因此，目标函数可转换为

式中：y为输出的煤岩类别；c_k为第k个煤岩类别；$ d $为煤岩图像样本特征数；$ {x}_{i} $为煤岩图像样本x的第i个特征的取值。

对于连续属性，假定$ P\left({x}_{i}|c\right) $服从高斯分布$ {N}\left({\mu }_{c,i}，{\sigma }_{c,i}^{2}\right) $，其中$ {\mu }_{c,i} $和$ {\sigma }_{c,i}^{2} $分别为煤岩类别c在第$ i $个特征取值的均值和方差，则

为实现贝叶斯模型在分类过程自动学习新样本，采用增量学习策略^[18]，即在接受训练样本时，仅根据新样本对模型进行更新，不必重新训练整个模型，并且使先前学得的有效信息不被忘记，从而实现随着煤岩图像样本增加，分类结果更准确。

2.   实验条件

2.1   样本采集

采集攀枝花煤田、沁水煤田多个生产矿井的含煤系地层岩样，共包含煤炭、泥岩、砂岩、砾岩和页岩5种岩性。使用KTW301矿用本安型手机在实验室暗光条件下对采集的岩样进行拍摄，共采集煤岩图像1 244张，图像尺寸统一调整为224×224。为增强模型的泛化能力，使用图像增强技术对样本集进行扩充，得到7 041张煤岩图像。对不同类别的样本之间输入不同的旋转角度间隔，以达到类别均衡的效果。数据集扩充及类别均衡前后样本数量见表1。

表  1  数据集扩充及类别均衡前后样本数量

Table  1.  Sample size before and after data set augmentation and category balancing

类别	数据集扩充及类别 均衡前样本数/张	数据集扩充及类别 均衡后样本数/张
砂岩	337	1 515
砾岩	96	1 344
泥岩	369	1 348
煤炭	360	1 440
页岩	82	1 394

下载: 导出CSV 

| 显示表格

2.2   钻孔地质信息获取

某煤矿工作面的钻孔地质柱状图如图5所示。该工作面主要开采9号煤层，直接底和伪顶均为泥岩。采煤机可直接接触的煤岩类型为泥岩、煤，将这类煤岩图像样本的地质特征标签记为1，其他类煤岩图像样本的地质特征标签记为−1。

图  5  钻孔地质柱状图

Figure  5.  Borehole geologic column

下载: 全尺寸图片 幻灯片

2.3   实验环境及参数

分别使用Sklearn机器学习模块和PyTorch深度学习框架搭建贝叶斯模型和AVGG模型，在GPU环境下进行模型训练和测试。具体实验环境配置：CPU为Intel（R） Xeon（R） W−2145 CPU @ 3.70 GHz；内存为64 GiB；GPU为NVIDIA Quadro P1000；显存为4 GiB；操作系统为Ubuntu 20.04；学习框架为PyTorch 1.8；CUDA版本为11.0；编程语言为Python3.7。综合考虑硬件及模型性能，模型训练设置：采用随机梯度下降算法优化模型，训练周期为300，批处理大小为64，初始学习率为0.08。煤岩图像样本按照9∶1比例随机划分为训练集和测试集，其中训练集6 339张，测试集702张。

3.   实验结果

3.1   AVGG模型性能验证

为验证AVGG模型的性能，与GoogLeNet，VGG，SVGG（Simplified VGG，剪枝的VGG）模型进行对比，使用未经过ISRSD算法处理的煤岩图像样本进行训练，结果见表2。

表  2  不同模型评价指标结果对比

Table  2.  Comparison of evaluation index results of different models

模型	准确率/%	单个样本 平均推理时间/ms	参数量/106个	模型大小 /MiB
GoogLeNet	89.65	68.49	5.981	24
VGG	93.79	117.65	128.810	515
SVGG	83.72	18.86	43.081	172
AVGG	91.33	18.36	43.084	172

下载: 导出CSV 

| 显示表格

从表2可看出，VGG模型的准确率最高，但模型参数量最大，单个样本平均推理时间最长；SVGG模型单个样本平均推理时间较短，但准确率最低；GoogLeNet模型由于使用并行结构，参数量大幅减少，但单个样本平均推理时间增加；AVGG模型的准确率与VGG模型相当，但单个样本平均推理时间最短，且在参数量仅比SVGG模型增加2 238个（不足总参数量的0.1%）的情形下，AVGG模型的准确率较SVGG模型提高了7.61%。

3.2   ISRSD算法性能验证

为验证ISRSD算法的性能，与经典的显著性检测算法FT（Frequency-tuned）^[19]，LC （Local Contrast）^[20]和HC（Histogram-based Contrast）^[21]进行对比，结果如图6所示。

图  6  不同显著性检测算法增强效果对比

Figure  6.  Comparison of enhancement effects of different saliency detection algorithms

下载: 全尺寸图片 幻灯片

从图6可看出：ISRSD 算法增强后的目标主体更突出，背景弱化最明显，色彩失真程度相较其他算法更低且边缘、纹理等图像特征保留相对完整；应用FT，LC和HC算法增强后的目标边缘、纹理等特征有所缺失，部分样本存在目标主体与背景同时得到增强的现象，且色彩失真相对较大。

使用AVGG模型分别学习由ISRSD，FT，LC及HC显著性检测算法处理后的煤岩图像样本，不同算法下AVGG模型的准确率如图7所示。可看出AVGG模型对于经ISRSD算法处理的煤岩图像样本比未经显著性检测优化处理样本的识别准确率提升了1.85%，达94.36%，且欠拟合程度更低，这是由于ISRSD算法能够有效强化图像的边缘、纹理、亮度等特征，使图像特征更易被AVGG模型学习；FT，LC及HC算法优化的训练集的识别准确率均低于ISRSD算法。

图  7  不同显著性检测算法下AVGG模型的准确率

Figure  7.  Accuracy of attentional visual geometry group（AVGG） model under different saliency detection algorithms

下载: 全尺寸图片 幻灯片

不同显著性检测算法耗时见表3，可看出ISRSD算法处理单个样本耗时仅略高于FT算法，仍满足煤岩识别速度要求。

表  3  不同显著性检测算法耗时对比

Table  3.  Comparison of time consumption of different saliency detection algorithms

算法	单个样本耗时/ms
ISRSD	7.9
FT	5.5
LC	15.9
HC	194.3

下载: 导出CSV 

| 显示表格

3.3   钻孔地质信息融合效果验证

为验证基于贝叶斯模型融合钻孔地质信息的效果，将仅使用AVGG模型识别煤岩图像的准确率与利用贝叶斯模型融合钻孔地质信息后的煤岩识别准确率进行对比，如图8所示。

图  8  融合钻孔地质信息前后煤岩识别准确率对比

Figure  8.  Comparison of coal-rock recognition accuracy before and after fusion borehole geological information

下载: 全尺寸图片 幻灯片

由图8可知， 融合钻孔地质信息后，煤岩识别平均准确率比融合前高1.85%，达97.31%。

4.   结论

1） 使用ISRSD算法对煤岩图像进行中值滤波、锐化及直方图均衡化处理，优化图像质量；通过对VGG模型剪枝、增加CBAM注意力机制和引入自适应学习率调整策略，高效提取图像特征；基于贝叶斯模型将提取的图像特征与钻孔地质信息融合，获取煤岩分类结果。

2） 实验结果表明，ISRSD算法能够有效增强图像特征，使其更容易被学习的同时降低模型运算量；AVGG模型在保证准确率的同时具有更快的推理速度；基于贝叶斯模型融合钻孔地质信息能有效提升煤岩识别的准确性和鲁棒性。