0 引言
利用光学显微镜观察煤的显微组分和光学特征对于煤的工艺性能界定具有重要意义[1-3]。常规的显微组分分析测定方法劳动强度大且结果受测量者经验的影响，研究者尝试使用图像处理方法对煤岩显微组分进行分析。然而，在煤光片的磨片或使用过程中常伴随煤岩划痕的产生，影响煤岩参数测定的准确性[4]。利用计算机视觉方法检测和去除煤岩显微图像中的煤岩划痕可有效提高煤光片利用率，是实现煤岩参数自动化测定不可缺少的图像预处理环节。
鉴于煤岩划痕多为直线，一些学者提出采用直线检测算法对其进行检测，并生成掩膜图像，然后基于图像修复算法去除图像中的煤岩划痕。例如，文献[5]利用霍夫变换算法定位煤岩划痕位置并生成相应的掩膜图像，在基于快速行进的图像修复算法中添加灰度距离因子,实现了对煤岩划痕的有效去除。文献[6]先对煤岩显微图像进行图像增强，提高霍夫变换算法在煤岩划痕检测时的准确性，之后采用基于纹理合成的图像修复算法对煤岩划痕进行去除。然而，霍夫变换算法难以准确提取煤岩划痕的空间形状特征，边缘信息不能得到有效细化，检测过程容易出现煤岩划痕漏检和误检的情况；基于快速行进和纹理合成的图像修复算法对煤岩划痕的去除效果不够理想，煤岩划痕去除区域与周围区域存在较大的纹理差异，图像在视觉上出现明显的不合理现象。
随着人工智能技术的发展，基于卷积神经网络的语义分割算法被越来越多地应用于煤岩显微图像研究中。文献[7]在U-Net的基础上提出了一种融合并行多尺度特征的卷积神经网络，其中特征融合层负责浅层高分辨率特征和深层抽象特征的加权融合，该网络能自动提取图像中的裂隙特征，并对煤岩裂隙进行准确分割。文献[8]将具有空间维度注意力的模块嵌入到U-Net中，实现了对煤岩显微图像中显著性特征的关注，并抑制了无关背景区域的关注权重，控制参数量的同时提高了基础网络模型的性能。在上述研究基础上，本文提出了基于语义分割的煤岩划痕检测方法。在空间注意力模型的基础上引入残差结构[9]，并将其嵌入到卷积神经网络U-Net中，通过深度学习训练有效提取和细化煤岩划痕的空间特征和边缘信息，使输出结果更加接近真实的煤岩划痕标签。
借助图像修复算法可实现煤岩划痕区域的图像重构。文献[10]提出了基于区域匹配的图像修复算法，主要思想是在整张图像或图像集中快速寻找对应于待修复区域的最优相似补丁作为填充块，该算法能够通过随机采样找到一些较好的区域匹配，根据图像的自然一致性将这种匹配快速传播到周围区域。在文献[10]基础上，文献[11]对最近邻查找数量、毗连区域搜索策略、描述符和距离度量等进行改进，以减少算法的计算复杂度，从而有效找到全局的、稠密的匹配，同时增加图像缺失区域匹配与合成的多尺度信息，对于修复结构与纹理平滑的自然图像有较好的效果。借鉴上述研究，本文采用基于改进区域匹配的图像修复算法去除煤岩划痕，能够改善煤岩划痕去除区域的纹理内容，使煤岩显微图像在整体上更具视觉合理性。
1 基于语义分割的煤岩划痕检测方法
1.1 U-Net
U-Net的底层信息是由网络经过多次下采样后得到的低分辨率特征，可为语义分割提供前景目标在整个图像背景中的上下文语义信息，反映了前景目标与其周围环境之间的特征关系。高层信息是由网络经过跨越连接操作从编码器直接传递到同尺度的解码器上的高分辨率特征，可为语义分割提供更加精细化的信息。U-Net具有对称的编解码结构，不仅能够结合底层与高层的语义信息，同时跨越连接能够使网络充分地利用图像中的信息。然而，基础U-Net对于不相关区域中的特征激活难以自适应地进行抑制，容易造成模型参数冗余[12]。
1.2 改进空间注意力U-Net
空间注意力模型能够自主地抑制图像特征中不相关区域，突出显示对特定任务有益的显著特征，同时具有很强的通用性，能够和主流的卷积神经网络结构实现较好的融合。因此，采用空间注意力模型来扩展基础U-Net，能够有效增强对前景目标的灵敏度，进而提高煤岩划痕检测的准确度[13-15]。
煤岩划痕在图像中具有较明显的分布规律，语义特征明确，但容易受背景纹理信息的干扰。为进一步提高网络性能，将残差结构与空间注意力模型结合，通过残差连接在高层特征中补充煤岩显微图像的语义信息，稳定梯度传播过程。改进空间注意力模型如图1所示。
图1 改进空间注意力模型
Fig.1 Improved spatial attention model
改进空间注意力模型的2个输入为U-Net编码器和解码器的不同尺度特征图，z为编码器输出的浅层特征图，g为解码器输出的深层特征图，尺寸分别为Cz×Hz×Wz和Cg×Hg×Wg(Cz,Cg分别为z，g的通道数，Hz,Hg分别为z，g的高度，Wz,Wg分别为z，g的宽度)。首先，z和g分别经过卷积核大小为1的卷积层，采样后将所有特征图在通道维度上相加，完成多尺度特征融合，尺寸变为C×Hg×Wg(C为融合特征图通道数)。然后，将特征图输入到网络激活层，使用ReLU函数完成特征激活。接着，将以上得到的特征图作为空间注意力流的输入，通过特征压缩和权重参数更新得到注意力参数矩阵。最后，基于残差结构得到具有空间注意力的特征图
改进空间注意力模型的计算原理可表示为
(1)
αi=σ2(qatt(zi,gi;Θatt))
(2)
(3)
式中：qatt为空间注意力权重；M,Mz,Mg分别为对激活后特征图、特征图z、特征图g的卷积,M∈RC×1,Mz∈RCz×C,Mg∈RCg×C；σ1(·)为ReLU激活函数；
(i=0，1，…，n，n为特征图所包含元素个数)分别为特征图
的元素；bg,b分别为对特征图g、激活后特征图进行卷积时的偏置,bg∈RC,b∈R；αi为权重向量α的元素；σ2(·)为Sigmoid激活函数；Θatt为卷积和偏置参数的集合。
将改进空间注意力模型嵌入到U-Net中，同时为减少网络的参数量，使用VGG卷积层替换基础U-Net中的编码器，改进空间注意力U-Net通过常规的全卷积神经网络训练方式从头开始训练。改进空间注意力U-Net网络结构如图2所示。C1—C5，H1—H5，W1—W5分别为网络第1—5层输出特征图的通道数、高度、宽度；Nc为网络输出图像中所包含分类的类别。网络训练时，将煤岩显微图像作为改进空间注意力U-Net的输入(通道数为3)，经过网络降采样与上采样操作，输出煤岩划痕语义分割结果(通道数为1)。其中，网络的降采样采用最大池化，上采样采用双线性插值法。
图2 改进空间注意力U-Net网络结构
Fig.2 Network structure of improved spatial attention U-Net
2 基于改进区域匹配图像修复算法的煤岩划痕去除方法
基于区域匹配的图像修复算法可在图像块之间快速查找最近邻对应关系，图像修复过程主要包括初始化和迭代。初始化是随机的，迭代过程由传播和随机搜索交替进行，传播过程收敛较快，但容易陷入局部最小值，随机搜索通过检查每个点与其周围点的相似度来更新该点的匹配，从而消除该问题。
该算法定义了图像A与最近邻场之间的偏移量映射函数f：A→R2。设图像中某点(x，y)相对于最近邻场的偏移量初始化和传播后为f(x,y)=v0(v0为(x,y)的匹配点)，随机搜索阶段通过测试从v0到一个指数递减距离的候选偏移量序列来改善初始化的偏移量，候选偏移量序列为
uj=v0+w λjRj
(4)
式中：w为最大搜索半径；λj为搜索窗口大小之间比例的指数增量(j∈N)；Rj为单位二维空间中的均匀随机变量。
为进一步提高图像修复质量，基于改进区域匹配的图像修复算法对图像中每个待修复区域查找k个最近邻图像块，因此最终提供的最近邻图像块是一个多值映射结果。随机搜索由单一的搜索策略转变为跨尺度及旋转角度的搜索策略，将原有的搜索空间从(x，y)扩展到(x，y，θ，s)，其中θ代表角度，s代表尺度，这样就将最近邻场的定义扩展到映射函数f：R2→R4。在传播阶段，通过雅可比矩阵来变换相对偏移量。区域匹配时，计算2个区域间的相似性则采用欧氏距离作为距离度量方式，该距离对亮度变化具有鲁棒性。
如果将全部变换过程定义为T(f
))，
为待修复区域坐标向量，则候选偏移量可表示为
f
)=f-Δp)+T′(f-Δp))Δp
(5)
式中Δp为(0,1)内的取值。
3 煤岩划痕检测与去除实验
煤岩显微图像采集自130个煤光片样本，图像分辨率为2 580×1 944，位深度为24。由于原始图像具有较高的分辨率，且图像的部分区域属于煤岩基质或没有煤岩划痕的完整部分，所以需要对原始图像进行剪裁，从而提取感兴趣区域，最终得到180张含有煤岩划痕的图像。为得到准确的煤岩划痕标签图像，邀请了有丰富经验的煤岩学研究者对含有煤岩划痕的图像进行专业的人工标注，并将煤岩显微图像数据集划分为训练集(150张)、验证集(20张)和测试集(10张)。在训练过程中，使用数据增广技术对训练集图像实施一系列随机改变(包括翻转变换、随机修剪、色彩抖动、平移变换、尺度变换和对比度变换等)，从而扩充图像数据集规模。
在搭载NVIDA GTX1080的计算机上进行实验，基于PyTorch深度学习框架搭建网络，利用CUDA实现张量加速运算。设置输入图像的分辨率为256×256，批量大小为2，采用Adam优化器和基于余弦退火的学习率更新策略。
3.1 煤岩划痕检测结果
采用霍夫变换算法、基础U-Net和改进空间注意力U-Net对煤岩划痕进行检测，结果如图3所示(绿色矩形框为同幅图像内红色矩形框的放大内容)。
图3 煤岩划痕检测结果
Fig.3 Coal scratch detection results
从图3(a)可看出，煤岩划痕呈较规则的直线形状，内部灰度存在明显变化，所在区域也有结构上的差异，如1号标注区域相比其他部分灰度等级更低，2号标注区域出现了煤岩孔洞，3号标注区域煤岩划痕与煤岩基质相连。从图3(c)可看出，霍夫变换算法漏检了1号灰度较小区域，误检了2号孔洞区域，对于3号区域也存在漏检情况，检测结果无法准确描绘煤岩划痕的边缘特征，易造成后期去除过程中信息缺失。从图3(d)可看出，基础U-Net对于煤岩划痕内部不同的灰度等级能够提供自适应的分割结果，掩膜图像的煤岩划痕边缘具有较多的细节信息，但对于2号和3号标注区域分割的鲁棒性较差，其中3号标注区域的分割结果受到煤岩基质的干扰。从图3(e)可看出，改进空间注意力U-Net检测结果不仅准确反映了煤岩划痕的边缘细节，而且对于2号和3号标注区域具有较好的空间特征解析性能，更接近煤岩划痕标签图像原本的空间特征。
针对图3所示的煤岩划痕，采用客观评价指标——像素准确度及平均交并比对不同方法的检测结果进行评价，结果见表1。可看出语义分割算法在像素准确度及平均交并比上相较于霍夫变换算法均得到明显提高，其中改进空间注意力U-Net检测性能最优。
表1 不同煤岩划痕检测方法评价指标
Table 1 Evaluation indexes of different coal
scratch detection methods %
方法像素准确度平均交并比霍夫变换算法81.1766.56基础U-Net88.6284.73改进空间注意力U-Net93.3891.48
3.2 煤岩划痕去除结果
将基于改进空间注意力U-Net得到的煤岩划痕掩膜图像与煤岩划痕原始图像进行拼接，煤岩划痕区域的灰度等级全部变为255。采用基于快速行进的图像修复算法、基于区域匹配的图像修复算法和基于改进区域匹配的图像修复算法分别对煤岩划痕进行去除，结果如图4所示。
图4 煤岩划痕去除结果
Fig.4 Coal scratch removal results
从图4(c)可看出，基于快速行进的图像修复算法去除结果中存在一些伪影现象，煤岩划痕去除区域和周围区域在纹理上存在较大差异。从图4(d)、图4(e)可看出，基于区域匹配和改进区域匹配的图像修复算法均能够使煤岩划痕去除区域的灰度平滑过渡，符合图像的局部特征，而基于改进区域匹配的图像修复算法能够使煤岩划痕去除后产生符合图像整体纹理特征的内容，使图像的视觉效果更加合理。
4 结论
(1) 针对基于霍夫变换算法的煤岩划痕检测存在边缘信息缺失和漏检、误检等问题，提出了基于语义分割的煤岩划痕检测方法。该方法引入残差结构改进空间注意力模型，将改进空间注意力模型嵌入到U-Net中，并将VGG卷积层作为U-Net的图像特征编码器，可有效提取和细化煤岩划痕的空间特征和边缘信息，提供更加符合客观事实的煤岩划痕检测结果。
(2) 针对采用基于快速行进的图像修复算法去除煤岩划痕时存在纹理差异的问题，采用基于改进区域匹配的图像修复算法对煤岩划痕进行去除。通过改变最近邻图像块查找数量、随机搜索空间维度和图像块偏移距离度量等参数，能够有效改善煤岩划痕去除过程产生的伪影现象，使煤岩划痕去除区域与周围区域的纹理特征更具有一致性，提升了煤岩显微图像整体视觉效果。
[1] 宋孝忠,张群.煤岩显微组分组图像自动识别系统与关键技术[J].煤炭学报,2019,44(10):3085-3097.
SONG Xiaozhong,ZHANG Qun.Automatic image recognition system and key technologies of maceral group[J].Journal of China Coal Society,2019,44(10):3085-3097.
[2] 李国玲,秦志宏,倪中海.煤岩显微组分的性质研究进展[J].辽宁大学学报(自然科学版),2013,40(1):48-55.
LI Guoling,QIN Zhihong,NI Zhonghai.Advances in the characteristics of coal macerals[J].Journal of Liaoning University(Natural Sciences Edition),2013,40(1):48-55.
[3] WANG Hongdong,ZHANG Lei,CHEN Guanhua,et al.Intelligent identification of maceral components of coal based on image segmentation and classification[J].Applied Sciences,2019,9(16):3245.
[4] 于冰,周蕊,卢兆林,等.煤岩样品TEM超薄切片制备方法研究[J].电子显微学报,2014,33(2):180-187.
YU Bing,ZHOU Rui,LU Zhaolin,et al.The preparation method for coal TEM ultrathin sections[J].Journal of Chinese Electron Microscopy Society,2014,33(2):180-187.
[5] 朱宪坤,吕青,王芳,等.基于改进FMM的煤岩表面划痕与孔洞处理[J].煤炭技术,2016,35(2):308-310.
ZHU Xiankun,LYU Qing,WANG Fang,et al.Process of scratches and holes on coal surface based on improved FMM algorithm[J].Coal Technology,2016,35(2):308-310.
[6] 王洪栋.基于机器学习的煤岩显微图像分析研究[D].徐州:中国矿业大学,2019.
WANG Hongdong.Research on photomicrograph analysis of coal based on machine learning[D].Xuzhou:China University of Mining and Technology,2019.
[7] LU Fengli,FU Chengcai,ZHANG Guoying,et al.Convolution neural network based on fusion parallel multiscale features for segmenting fractures in coal-rock images[J].Journal of Electronic Imaging,2020,29(2):1-13.
[8] LEI Meng,RAO Zhongyu,WANG Hongdong,et al.Maceral groups analysis of coal based on semantic segmentation of photomicrographs via the improved U-net[J].Fuel,2021,294(2):1-9.
[9] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas,2016:770-778.
[10] BARNES C,SHECHTMAN E,FINKELSTEIN A,et al.PatchMatch:a randomized correspondence algorithm for structural image editing[J].ACM Transactions on Graphics(TOG),2009,28(3):1-11.
[11] BARNES C,SHECHTMAN E,GOLDMAN D B,et al.The generalized PatchMatch correspondence algorithm[C]∥The 11th European Conference on Computer Vision,Berlin,2010:29-43.
[12] RONNEBERGER O,FISCHER P,BROX T.U-net:convolutional networks for biomedical image segmentation[C]∥International Conference on Medical Image Computing and Computer-Assisted Intervention,Zug,2015:234-241.
[13] VASWANI A,SHAZEER N,PARMAR N,et al.Attention is all you need[C]∥Proceedings of the 31st International Conference on Neural Information Processing Systems,Long Beach,2017:6000-6010.
[14] HU Jie,SHEN Li,ALBANIE S.Squeeze-and-excitation networks[J]∥IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(8):2011-2023.
[15] WOO S,PARK J,LEE J Y,et al.CBAM:convolutional block attention module[C]∥Proceedings of the European Conference on Computer Vision,Munich,2018:3-19.
