Coal dust image segmentation method based on improved DeepLabV3+
-
摘要: 采用传统的语义分割网络对煤尘颗粒这种较小的目标进行分割时存在深层信息易丢失、细节提取不明显等问题。针对该问题，提出了一种基于改进DeepLabV3+的煤尘图像分割方法。从3个方面对DeepLabV3+网络模型进行改进：① 在编码器中，用CA−MobileNetV3轻量化模块代替Xception实现特征提取，确保特征提取更加细致、准确。② 在空洞空间卷积池化金字塔(ASPP)模块中对空洞率进行改进，使其更适合小颗粒煤尘提取。③ 在解码器中引入全局注意力上采样(GAU)模块，在计算量较小时对低层特征信息进行加权，用高层特征信息指导低层特征信息，实现特征融合。GAU模块用全局上采样机制代替解码器的上采样机制，使煤尘颗粒的特征信息经过长距离传输后不衰减，更加有利于捕捉煤尘颗粒的边缘细节信息。实验结果表明，改进DeepLabV3+网络模型在煤尘数据集上的召回率为90.26%，准确度为89.23%，相比于其他网络模型，改进DeepLabV3+对煤尘特征的学习能力更强，能获取更多细节信息，并大幅缩短训练时间，对小目标的分割效果更优。
-
关键词:
- 煤尘 /
- 图像分割 /
- 特征提取 /
- DeepLabV3+ /
- CA−MobileNetV3 /
- 空洞卷积 /
- 金字塔结构 /
- 全局注意力上采样
Abstract: When the traditional semantic segmentation network is used to segment the small coal dust particles, there are some problems such as easy loss of deep information and unclear detail extraction. In order to solve this problem, a coal dust image segmentation method based on improved DeepLabV3+ is proposed. DeepLabV3+ network model is improved in three aspects. ① In the encoder, the CA-MobileNetV3 lightweight module is used to replace Xception to achieve characteristic extraction and ensure more detailed and accurate characteristic extraction. ② The atrous rate is improved in the atrous spatial pyramid pooling(ASPP) module to make it more suitable for extracting small coal dust particles. ③ A global attention up-sample(GAU) module is introduced into the decoder to weight the low-level characteristic information when the calculation amount is small. And the high-level characteristic information is used to guide the low-level characteristic information to realize characteristic fusion. The GAU module uses a global up-sampling mechanism to replace the up-sampling mechanism of the decoder. The characteristic information of the coal dust particles is not attenuated after long-distance transmission. And the method is more conducive to capture the edge detail information of the coal dust particles. The experimental results show that the recall rate of the improved DeepLabV3+ network model on the coal dust data set is 90.26%, and the accuracy is 89.23%. Compared with other network models, the improved DeepLabV3+ network model can effectively enhance the learning ability of coal dust characteristics, obtain more detailed information, greatly shorten the training time, and has better segmentation effect on small targets. -
0. 引言
随着我国煤炭科技的快速发展，采掘作业规模日益庞大，煤矿井下对智能化的需求程度越来越高[1]。定位导航作为煤矿设备精准控制的基础，是实现煤矿智能化开采的关键技术[2]。传统的井下定位、三维建图大多采用激光雷达[3]、惯性传感器和无线通信定位技术[4-6]，但由于煤矿井下巷道狭长，地形复杂多变，且煤壁对信号屏蔽严重，导致上述方法在实际应用中各有缺陷，如：激光雷达价格昂贵，获取的三维点云数据缺乏环境纹理[7]，且在煤矿巷道等结构特征不明显的区域易出现系统退化现象；惯性传感器在短时间内精度较高，但其定位误差会随时间累计，难以长时间独立工作[8]；基于超宽带(Ultra Wide Band，UWB)的无线通信定位技术要求在工作环境中搭建较多基站，成本较高，不适合井下应用[9]。
基于视觉的同时定位与建图（Simultaneous Localization and Mapping，SLAM）技术[10-11]具有成本低、信息获取丰富等优势，可用于解决煤矿井下定位导航问题。根据所利用的图像信息不同，视觉SLAM可分为基于直接法和基于特征点法2类[12]。二者的本质区别是基于特征点法的视觉SLAM通过优化特征的重投影误差来估计相机位姿，而基于直接法的视觉SLAM根据灰度不变假设，通过优化像素灰度误差来计算相机运动。由于煤矿巷道环境复杂多变，且经常存在光线变化情况，导致灰度不变假设不成立，所以基于直接法的视觉SLAM难以在煤矿井下应用。
近年来，国内外学者对基于特征点法的视觉SLAM在煤矿井下定位导航中的应用展开研究。马宏伟等[7]提出了一种基于深度视觉的SLAM系统，采用多算法组合完成深度视觉的特征提取与匹配，在构建八叉树地图基础上，采用透视N点投影（Perspective N Points，PNP）算法进行实时在线重定位，实现了煤矿井下移动机器人的自主导航，但该系统未考虑煤矿井下光照变化对系统鲁棒性的影响。尚磊等[13]结合移动机器人平台，采用ORB−SLAM2算法[14]实现了光源辅助的搜救机器人井下定位，但在外界光照不均及相机剧烈运动时易出现跟踪丢失现象。Zhu Daixian等[15]为了提高视觉SLAM算法在煤矿井下的适用性，提出了一种基于单目相机和惯性测量单元的定位建图算法，结合点线特征进行特征匹配，并采用滑动窗口实现关键帧的非线性优化，在一定程度上改善了视觉SLAM算法在光照不足、结构退化场景下的鲁棒性，但未有效提高视觉SLAM算法在煤矿井下的定位精度。
可见，基于特征点法的视觉SLAM算法在煤矿井下虽有一定应用，但受煤矿井下环境亮度不足且光照不均影响，采集图像易出现欠曝光或过曝光问题，且光照多变、明暗区域交错等因素使得图像纹理信息缺失[16-17]，影响视觉SLAM前端特征提取与匹配精度，常出现可提取的特征点数过少而导致跟踪丢失现象，进一步影响视觉SLAM算法的定位精度与建图效果。鉴此，本文提出一种顾及图像增强的视觉SLAM算法，针对煤矿井下图像亮度不均和细节丢失问题，从图像增强的角度构建了一种基于改进双边滤波的Retinex算法，将该算法引入经典的ORB−SLAM2算法框架进行视觉SLAM试验，以解决视觉里程计因特征不充分而造成的图像匹配失败及跟踪丢失等问题，从而提升视觉SLAM算法在煤矿井下的适用性。
1. 算法原理
顾及图像增强的视觉SLAM算法框架如图1所示。首先，对深度相机进行标定，获取相机内参和畸变系数。其次，对深度相机采集的红−绿−蓝(Red-Green-Blue，RGB)图像和深度图像分别进行增强处理：对于RGB图像，采用基于改进双边滤波的Retinex算法来提高图像的整体亮度及对比度细节；对于深度图像，采用改进的双边滤波算法去除图像的“空洞”和噪声。再次，将增强图像输入视觉里程计，通过特征提取与匹配估计相机位姿。最后，根据回环检测进行全局优化，构建三维点云地图。
![]()
图 1 顾及图像增强的视觉SLAM算法框架①−基于改进双边滤波的Retinex算法；②−改进双边滤波算法。Figure 1. Visual simultaneous localization and mapping (SLAM) algorithm framework considering image enhancement2. 图像增强
2.1 RGB图像增强流程
色调−饱和度−亮度(Hue−Saturation−Intensity，HSI)空间是通过对人类视觉感知层面进行分析，利用色调、饱和度、亮度3种颜色模拟的色彩空间。相比于RGB色彩空间，HSI空间能够更好地反映人类视觉效果。因此，将图像由RGB空间转换到HSI空间进行处理，选取亮度分量进行增强，保留不需要增强的色调分量和饱和度分量。亮度分量可表示为
$$ l\left(x,y\right)=\frac{r\left(x,y\right)+g\left(x,y\right)+b\left(x,y\right)}{3} $$ (1) 式中
$r\left( {x,y} \right)$ ，$g\left( {x,y} \right)$ ，$b\left( {x,y} \right)$ 分别为RGB图像中$\left( {x,y} \right) $ 处像素点的三通道分量。煤矿井下RGB图像增强流程如图2所示。将图像由RGB空间转换到HSI空间后，采用基于改进双边滤波的Retinex算法对HSI图像的亮度分量进行处理，得到增强后的亮度分量，再将图像由HSI空间转换到RGB空间，得到增强图像。
2.2 基于改进双边滤波的Retinex算法
Retinex理论认为外界颜色信息由光照分量和物体反射分量两部分组成。反射分量作为物体的固有属性，在某种程度上解读了人眼的视觉恒常特性，因此如何消除原始图像的光照分量，得到反映图像本质属性的反射分量是Retinex算法的重点。传统Retinex算法采用高斯函数作为中心环绕函数，应用于图像增强时会出现光晕、噪声放大现象及图像对比度较低等问题[18-19]，如图3所示。可看出图像经传统Retinex算法处理后，对比度显著下降，整体泛白，且在强光阴影过渡区出现明显的光晕。
![]()
图 3 传统Retinex算法的图像处理效果Figure 3. Image process effect of traditional Retinex algorithm为解决上述问题，提出一种基于改进双边滤波的Retinex算法，流程如图4所示。该算法使用改进的双边滤波代替高斯滤波作为Retinex算法的中心环绕函数，步骤如下：
1） 对数域变换。考虑对数域数据更有利于人眼对图像信息的感知，且为了简化运算，对原始图像进行对数变换。
2） 光照分量估计。采用基于改进双边滤波的卷积核对图像进行卷积运算，得到对数域图像对应的光照分量估计值。
3） 光照分量去除。用对数域图像减去光照分量估计值，得到对应的反射分量估计值。
4） 结果输出。将反射分量估计值指数化，并将像素值拉伸到
$\left[ {0,255} \right]$ 区间，得到最终增强图像。![]()
图 4 基于改进双边滤波的Retinex算法流程Figure 4. Retinex algorithm flow based on improved bilateral filter双边滤波是一种基于高斯滤波的改进算法，可看作加权的非线性高斯滤波，能够在去除图像噪声的同时保持边缘信息。双边滤波器可表示为
$$ w = {w_{\rm{d}}} {w_{\rm{r}}} $$ (2) 式中：w为双边滤波权值；wd为高斯滤波权值；wr为图像像素变化权值。
$$ {w_{\rm{d}}} = \exp \left( { - \frac{{{{\left( {i - k} \right)}^2} + {{\left( {j - l} \right)}^2}}}{{2\sigma _{\rm{d}}^2}}} \right) $$ (3) $$ {w_{\rm{r}}} = \exp \left( { - \frac{{{{\left\| {f\left( {i,j} \right) - f\left( {k,l} \right)} \right\|}^2}}}{{2\sigma _{\rm{r}}^2}}} \right) $$ (4) 式中：
${\sigma }_{{\rm{d}}}$ ，${\sigma _{\rm{r}}}$ 分别为高斯滤波权值和图像像素变化权值的高斯函数标准差；$ f\left( {i,j} \right) $ ，$f\left(k,l\right)$ 分别为图像（i，j），（k，l）处像素值。从式（4）可看出，随着
${\sigma _{\rm{r}}}$ 增大，wr增大。wr可保持图像亮度的差异，从而突出边缘信息。但当${\sigma _{\rm{r}}}$ 过大时，双边滤波将转换为高斯低通滤波，失去保持图像边缘信息能力。在值域中，以滤波点$ \left(i,j\right) $ 为中心、以$ r $ 为半径的窗口内，2个像素点的像素值差异越小，则该像素值对值域的影响越大，反之则越小。为了有效降低像素值差异过大对双边滤波效果的影响，对值域核函数做出以下改进：$$ \begin{split} {w}_{{\rm{r}}}'=&\left(1-\frac{\| f\left(i,j\right)-f\left(k,l\right)\| }{\left\| f\left(i,j\right)-\underset{\left(k,l\right)\in {\varOmega }_{r,i,j}}{{\rm{max}}}\left\{f\left(k,l\right)\right\}\right\| }\right)\times \\& \mathrm{exp}\left(-\frac{{\| f\left(i,j\right)-f\left(k,l\right)\| }^{2}}{2{\sigma }_{r}^{2}}\right) \end{split} $$ (5) 式中
${\varOmega _{r,i,j}}$ 为输入图像中以$\left( {i,j} \right)$ 为中心、以r为半径的窗口内像素点集合。r越大，则滤波窗口越大，计算过程越复杂，本文中
$r = 5$ 。采用改进双边滤波作为Retinex算法的中心环绕函数进行光照图像估计，得光照分量估计值：
$$ {L'}= I {{w_{\rm{d}}} w_{\rm{r}}'} $$ (6) 式中I为原始图像。
采用基于改进双边滤波的Retinex算法得到的反射分量估计值为
$$ R = \lg I - \lg {L'} $$ (7) 经基于改进双边滤波的Retinex算法处理的矿井图像边缘细节清晰，对比度强且易于辨识，可提高煤矿井下视觉SLAM算法的精度和鲁棒性。
3. 视觉SLAM
采用基于改进双边滤波的Retinex算法对煤矿井下图像进行增强处理后，将增强图像输入视觉里程计，根据特征匹配估计相机位姿，并通过后端对相机位姿进行优化，构建全局一致性地图。本文中视觉SLAM算法参考目前主流的ORB−SLAM2算法框架，流程如图5所示。其中ORB（Oriented FAST and Rotated BRIEF）特征点在加速段测试特征（Features from Accelerated Segment Test，FAST）基础上增加了旋转不变性和尺度不变性，其提取过程包括提取Oriented FAST关键点和计算BRIEF描述子。完成特征点提取后进行特征匹配，先采用暴力匹配（Brute-Force Matcher，BF）[20]对图像进行特征点粗匹配，再使用随机采样一致性（Random Sample Consensus，RANSAC）剔除误匹配特征点，获得正确的匹配特征点。由于深度相机可直接确定特征点的深度，所以在完成当前帧的特征点提取与匹配后，使用迭代最近点方法，根据奇异值分解求解相机位姿。为减小计算量，提升系统实时性，且不影响定位精度，只优化关键帧的位姿，再通过关键帧筛选机制来构建局部地图。但随着图像关键帧不断加入，位姿估计误差增大，因此采用局部光束平差法对局部地图进行优化，以减小累计误差。根据回环检测及局部优化结果进行全局优化，构建全局一致性地图。
4. 试验结果与分析
为了验证顾及图像增强的视觉SLAM算法在煤矿井下环境的适用性，自主搭建了矿井轮式机器人数据采集平台，如图6所示。平台配备Kinect v2深度相机及Autolabor外接计算机，操作系统为Ubuntu18.04，程序代码在机器人操作系统（Robot Operation System，ROS）的Melodic版本上运行，远程控制机器人运动进行视觉SLAM试验。数字全站仪用于测量机器人运动的绝对轨迹。
4.1 图像增强试验
为了验证基于改进双边滤波的Retinex算法应用于煤矿井下图像处理的有效性，选取煤矿井下过曝、欠曝及正常曝光3种图像，分别采用单尺度Retinex（Single Scale Retinex，SSR）算法、多尺度Retinex（Multi Scale Retinex，MSR）算法及基于改进双边滤波的Retinex算法（改进Retinex算法）进行增强处理，并对处理结果进行定性和定量评价。试验图像均为Kinect v2深度相机于SLAM数据采集过程中得到的RGB图像，分辨率为960×540。
4.1.1 定性评价
3种算法的图像增强结果如图7所示。可看出对于煤矿井下欠曝图像，3种算法均有效提高了图像亮度，MSR算法效果最好，SSR算法与改进Retinex算法次之，但SSR算法与MSR算法给图像带来了大量噪声，而改进Retinex算法带来的噪声很少。对于煤矿井下过曝图像及正常曝光图像，SSR算法和MSR算法在增强图像较暗区域的同时，使图像非暗区域对比度明显下降，整张图像出现泛白现象，丢失了大量图像细节，而改进Retinex算法在增强图像亮度的同时，未使图像出现泛白现象，且提高了图像对比度，整体效果更好，图像细节体现更加丰富。整体上，改进Retinex算法与其他2种算法相比，可更好地改善不同曝光程度的煤矿井下图像亮度，提升图像质量，使其更符合人眼视觉感知。
4.1.2 定量评价
由于试验采用SLAM过程中深度相机采集的RGB图像，无对应参考图像，所以采用像素均值、标准差、平均梯度、信息熵4种无参考指标对图像质量进行客观评价。其中均值反映图像的平均亮度，标准差反映图像的对比度，平均梯度反映图像的清晰度，信息熵反映图像的信息量。4种指标均与图像质量呈正相关，即值越大，表明图像质量越好。以图7中图像为例，客观评价结果见表1—表3。
表 1 欠曝图像客观评价指标得分Table 1. Objective evaluation index scores of underexposed images图像 均值 标准差 平均梯度 信息熵 原始图像 44.320 4 53.125 7 4.889 5 4.511 9 SSR算法处理图像 99.605 5 73.976 9 7.347 1 6.609 6 MSR算法处理图像 113.168 1 77.530 6 7.551 2 7.036 1 改进Retinex算法处理图像 122.686 9 97.890 8 8.622 9 7.455 9 表 2 过曝图像客观评价指标得分Table 2. Objective evaluation index scores of overexposed images图像 均值 标准差 平均梯度 信息熵 原始图像 157.089 6 87.239 1 5.399 5 6.460 7 SSR算法处理图像 163.666 5 56.840 9 5.442 0 5.778 3 MSR算法处理图像 208.409 8 61.418 4 5.448 7 6.211 7 改进Retinex算法处理图像 205.977 4 89.148 5 6.043 4 6.839 6 表 3 正常曝光图像客观评价指标得分Table 3. Objective evaluation index scores of normal exposed images图像 均值 标准差 平均梯度 信息熵 原始图像 118.563 7 92.409 0 6.399 6 7.015 5 SSR算法处理图像 204.135 9 95.734 1 6.984 2 7.247 6 MSR算法处理图像 193.951 6 99.818 8 7.487 7 7.364 9 改进Retinex算法处理图像 153.404 4 100.207 5 8.604 1 7.703 7 从表1可看出，对于欠曝图像，经3种算法处理后图像的像素均值、标准差、平均梯度和信息熵指标得分均明显高于原始图像，其中经改进Retinex算法处理的图像质量最好，图像像素均值、标准差、平均梯度和信息熵分别较原始图像提高了176.8%，84.3%，76.4%，65.2%，且各评价指标较SSR算法和MSR算法处理图像有较大提升。从表2可看出，对于过曝图像，SSR算法和MSR算法的增强效果明显减弱，虽然增强图像的像素均值指标得分有较大提升，但标准差和信息熵指标得分低于原始图像，说明过曝图像经SSR算法和MSR算法处理后，图像对比度和信息量有所损失，验证了传统Retinex算法存在的问题，而经改进Retinex算法处理的图像各指标均得到不同程度的改善。从表3可看出，对于正常曝光图像，改进Retinex算法在像素均值指标方面略逊于SSR算法和MSR算法，但其他指标均最优，其中平均梯度指标得分较SSR算法提高23.2%，较MSR算法提高15.0%。
可见，无论是欠曝、过曝还是正常曝光图像，经改进Retinex算法处理后图像质量均得到大幅提升，且处理效果整体优于传统Retinex算法，验证了改进Retinex算法对煤矿井下图像增强的有效性。
4.2 视觉里程计特征匹配试验
将经改进Retinex算法增强处理后的煤矿井下图像输入视觉里程计模块，通过特征提取和特征匹配确定特征点之间的对应关系，进而计算相机采集前后2帧图像之间的姿态变化。高质量的特征匹配可有效提高视觉里程计对相机位姿估计的精度，而特征匹配数量增加能够避免因帧间匹配失败而造成的运动跟踪丢失问题，提高算法的鲁棒性。为了验证本文算法应用于视觉里程计上的优势，分别采用ORB−SLAM2算法及本文算法对前后2帧图像进行特征匹配试验，结果如图8所示。可看出本文算法提取到更多的特征点，且在某些弱纹理区域（如巷道壁、轨道处）匹配效果更好。统计特征匹配数量和正确率，结果见表4。其中匹配正确率为采用RANSAC算法对特征匹配结果进行误匹配特征点剔除后所保留的匹配特征点占比，整体提高百分比为特征匹配数量提高百分比与正确率提高百分比的均值。从表4可看出，与ORB−SLAM2算法相比，本文算法对不同曝光程度煤矿井下图像的特征匹配效果均有较大提升，既增加了特征匹配数量，也提高了有效匹配在总匹配数中的占比，保证了特征匹配质量，尤其是针对欠曝和过曝图像，本文算法的匹配数量和匹配正确率较ORB−SLAM2算法分别整体提高20.9%，15.5%。可见在煤矿巷道环境中，本文算法在视觉里程计特征匹配方面优于ORB−SLAM2算法。
表 4 煤矿井下图像特征匹配统计结果Table 4. Statistical feature matching results of underground coal mine images场景 ORB−SLAM2算法 本文算法 整体提高
百分比/%匹配数量 匹配正
确率/%匹配数量 匹配正
确率/%欠曝 100 63.0 125 73.5 20.9 过曝 105 65.5 126 72.7 15.5 正常曝光 113 72.2 126 76.0. 8.4 4.3 位姿估计试验
以数字全站仪测量的煤矿井下轮式机器人运动轨迹作为真值参考，将SLAM估计轨迹与真实轨迹进行对比，以主观评价ORB−SLAM2算法与本文算法在定位精度上的优劣。采用EVO工具库绘制SLAM估计轨迹与真实轨迹，如图9所示。可看出本文算法的SLAM估计轨迹比ORB−SLAM2算法更连贯，且更接近真实轨迹。
![]()
图 9 SLAM估计轨迹与真实轨迹对比Figure 9. Comparison between estimated trajectories and the real ones of SLAM采用绝对轨迹误差（Absolute Trajectory Error，ATE）定量分析算法定位精度。ATE表示估计轨迹和真实轨迹之间的差值，可直观反映SLAM算法精度和轨迹的全局一致性，计算前需根据位姿时间戳将估计值与真实值对齐。
$$ \Delta {T_t} = {T_{{\rm{e}},t}} - {T_{{\rm{s}},t}} $$ (8) 式中：
$\Delta {T}_{t}$ 为数据集图像序列中第$t$ 帧轨迹的绝对误差；${T_{{\rm{e}},t}}$ ，${T}_{{\rm{s}},t}$ 分别为数据集图像序列中第$t$ 帧的位姿估计值和位姿真实值。采用均方根误差（Root Mean Square Error，RMSE）[21]统计所有帧图像的绝对位姿误差：
$$ {E_{{\rm{all}}}} = \sqrt {\frac{{\displaystyle\sum\limits_{t = 1}^m {{{\left\| {\Delta {T_t}} \right\|}^2}} }}{m}} $$ (9) 式中
$m$ 为数据集图像序列帧数。统计ATE最大值、最小值、平均值及RMSE，结果见表5。可看出本文算法的ATE平均值较ORB−SLAM2算法减小了76.2%，RMSE减小了76.0%，验证了本文算法可实现精准定位。
表 5 ATE试验结果Table 5. Test results of absolute trajectory error(ATE)m 算法 最大值 最小值 平均值 RMSE ORB−SLAM2 2.327 0.003 0.827 1.196 本文算法 1.279 0.002 0.197 0.287 4.4 煤矿井下巷道稠密建图试验
为了验证本文算法在煤矿井下环境中的建图效果，分别采用ORB−SLAM2算法和本文算法构建煤矿井下巷道环境下的三维稠密点云地图，结果如图10所示。可看出本文算法提高了煤矿巷道S1段的光照亮度，避免了煤矿巷道S2段因机器人剧烈运动导致的模糊和重影现象，且构建的三维稠密地图更加紧凑和准确，能更好地体现细节。
5. 结论
1） 顾及图像增强的煤矿井下视觉SLAM算法将基于改进双边滤波的Retinex图像增强算法与ORB−SLAM2算法结合，对井下光照不均环境具有较强的鲁棒性，可解决因亮度不足而导致的跟踪丢失问题，提高定位精度和建图效果。
2） 对顾及图像增强的煤矿井下视觉SLAM算法的特征匹配效果、位姿估计精度和建图性能进行试验，结果表明：该算法增强了煤矿巷道图像，且提高了特征匹配质量和数量；与ORB−SLAM2算法相比，该算法的估计轨迹与真实轨迹重合度更高，ATE平均值下降了76.2%，RMSE减小了76.0%，且在煤矿井下巷道环境下建立的三维稠密点云地图更加真实和准确。
-
![]()
图 5 不同网络模型对煤尘图像的分割效果
Figure 5. Segmentation effect of different network models on coal dust image
表 1 不同特征提取网络的性能
Table 1 Performance of different characteristic extraction networks
特征提取
网络MIoU/% 运行
时间/h模型大
小/MBCA−MobileNetV3 72.36 1.28 507.18 Xception 78.43 1.01 320.87 
下载: 导出CSV
表 2 不同空洞率下DeepLabV3+网络模型的分割性能
Table 2 Segmentation performance of DeepLabV3+ network model under different dilation rates
空洞率 PA/% MIoU/% [1，6，8，12] 84.23 56.53 [1，12，18，24] 84.53 56.23 [1，5，7，11] 86.63 60.03 [1，7，11，13] 85.26 58.73 [1，3，7，9] 85.36 58.63
下载: 导出CSV
表 3 GAU模块性能
Table 3 The performance of GAU module
网络模型 MIoU/% 准确度/% 未引入GAU模块 72.36 84.13 引入GAU模块 76.56 85.27
下载: 导出CSV
表 4 各网络模型性能指标
Table 4 Performance indicators of each network model
网络模型 召回率% 准确度% F1/% MIoU/% 耗时/h 占用内
存/GBU−Net 85.34 82.32 83.80 81 1.50 8.7 Unet−SE 87.21 83.29 85.23 84 1.32 8.6 SegNet 86.23 79.03 82.47 83 1.47 8.9 PSPNet 85.78 83.16 84.45 89 1.35 8.1 FCN 84.45 78.96 81.61 82 1.41 7.7 DeepLabV3+ 86.67 84.13 85.38 90 1.25 8.0 改进
DeepLabV3+90.26 89.23 89.74 93 1.02 7.5
下载: 导出CSV
-
[1] 王国法,赵国瑞,任怀伟. 智慧煤矿与智能化开采关键核心技术分析[J]. 煤炭学报,2019,44(1):34-41. WANG Guofa,ZHAO Guorui,REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining[J]. Journal of China Coal Society,2019,44(1):34-41.
[2] 韩建国. 神华智能矿山建设关键技术研发与示范[J]. 煤炭学报,2016,41(12):3181-3189. HAN Jianguo. Key technology research and demonstration of intelligent mines in Shenhua Group[J]. Journal of China Coal Society,2016,41(12):3181-3189.
[3] PLESSIS J J L D. Active explosion barrier performance against methane and coal dust explosions[J]. International Journal of Coal Science and Technology,2015(4):261-268.
[4] 张锦仁. 选煤技术的现状及发展趋势探索[J]. 内蒙古煤炭经济,2020(6):194. DOI: 10.3969/j.issn.1008-0155.2020.06.133 ZHANG Jinren. Exploration on the status quo and development trend of coal preparation technology[J]. Inner Mongolia Coal Economy,2020(6):194. DOI: 10.3969/j.issn.1008-0155.2020.06.133
[5] 吴开兴,宋剑. 基于灰度共生矩阵的煤与矸石自动识别研究[J]. 煤炭工程,2016,48(2):98-101. WU Kaixing,SONG Jian. Automatic coal-gangue identification based on gray level co-occurrence matrix[J]. Coal Engineering,2016,48(2):98-101.
[6] 郜亚松,张步勤,郎利影. 基于深度学习的煤矸石识别技术与实现[J]. 煤炭科学技术,2021,49(12):202-208. GAO Yasong,ZHANG Buqin,LANG Liying. Coal and gangue recognition technology and implementation based on deep learning[J]. Coal Science and Technology,2021,49(12):202-208.
[7] ZHOU Hao, ZHANG Jun, LEI Jun, et al. Image semantic segmentation based on FCN-CRF model[C]//International Conference on Image, Vision and Computing, Portsmouth, 2016: 9-14
[8] ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid scene parsing network[C]// IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, 2016.
[9] BADRINARAYANAN V,KENDALL A,CIPOLLA R. SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(12):2481-2495.
[10] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[M]//NAVAB N, HORNEGGER J, WELLS W M, et al. Medical image computing and computer-assisted intervention, Springer, Cham, 2015: 234-241.
[11] 王征,张赫林,李冬艳. 特征压缩激活作用下U−Net网络的煤尘颗粒特征提取[J]. 煤炭学报,2021,46(9):3056-3065. WANG Zheng,ZHANG Helin,LI Dongyan. Feature extraction of coal dust particles based on U-Net combined with squeeze and excitation module[J]. Journal of China Coal Society,2021,46(9):3056-3065.
[12] CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[EB/OL]. （2018-08-22） [2021-11-20]. https://arxiv.org/abs/1802.02611.
[13] HOU Qibin, ZHOU Daquan, FENG Jiashi. Coordinate attention for efficient mobile network design[EB/OL]. （2021-03-04） [2021-11-20]. https://arxiv.org/abs/2103.02907.
[14] CHEN L C,PAPANDREOU G,KOKKINOS I,et al. DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848. DOI: 10.1109/TPAMI.2017.2699184
[15] 翁和王,叶球孙. 图像处理中特征提取的应用及增强算法研究[J]. 重庆理工大学学报(自然科学),2016,30(7):119-122. WENG Hewang,YE Qiusun. Applications of feature extraction and enhancement algorithm in image processing[J]. Journal of Chongqing University of Technology(Natural Science),2016,30(7):119-122.
[16] 常雪昕,韩军,廖子豪. 基于语义分割的输电线路螺丝识别的研究与实现[J]. 工业控制计算机,2019,32(8):118-120. DOI: 10.3969/j.issn.1001-182X.2019.08.046 CHANG Xuexin,HAN Jun,LIAO Zihao. Transmission line screw recognition based on semantic segmentation[J]. Industrial Control Computer,2019,32(8):118-120. DOI: 10.3969/j.issn.1001-182X.2019.08.046
[17] 屈航, 嵇启春, 段中兴. 改进Deeplab V3+网络在视觉SLAM三维地图构建应用[J/OL]. 小型微型计算机系统: 1-6[2021-12-07]. http://kns.cnki.net/kcms/detail/21.1106.TP.20210818.1048.026.html. QU Hang, JI Qichun, DUAN Zhongxing. Improved Deeplab V3+ network application for visual SLAM 3D map construction[J/OL]. Journal of Chinese Computer Systems: 1-6[2021-12-07]. http://kns.cnki.net/kcms/detail/21.1106.TP.20210818.1048.026.html.
-
期刊类型引用(51)
1. 崔娜，杨新乐. 巷道掘进机回转液压系统电液伺服控制器设计. 机械设计与研究. 2025(01): 43-48+68 . 
百度学术
2. 张立洋. 掘进机故障信号特征提取算法研究. 煤矿机械. 2024(05): 158-161 . 百度学术
3. 陈克锋. 矿用掘锚一体机探放水钻机的设计. 机械制造. 2024(04): 1-3+8 . 百度学术
4. 陈利. 基于BIM技术深度策划的隧道掘进智能控制技术研究. 铁道勘察. 2024(03): 180-187 . 百度学术
5. 王朋朋，李瑞，刘鑫，李响，付常亮. 光学靶标遮挡条件下掘进机定位解算方法. 工矿自动化. 2024(05): 118-124 . 本站查看
6. 赵元伟. 尔林兔煤矿智能化掘进系统规划设计. 中国高新科技. 2024(16): 45-46 . 百度学术
7. 李之奇，纪英俊，陈香敏，徐静，左震宇. 基于约束总体最小二乘法的超宽带掘进机定位算法研究. 电子设计工程. 2024(20): 144-148 . 百度学术
8. 郑瑞东，韩燮，高波. 悬臂式掘进机位姿测量方法研究. 中北大学学报(自然科学版). 2024(06): 823-831 . 百度学术
9. 许钊. EBZ-200A型掘进机智能化改造研究与实践. 江西煤炭科技. 2023(01): 222-224 . 百度学术
10. 刘少杰，郭俊生，刘治翔，王振福，李玉岐，谢苗，王帅. 煤矿井下迈步自移式超前支护装备转弯特性分析. 煤炭工程. 2023(01): 168-174 . 百度学术
11. 岳龙. 复杂地质条件巷道快速掘进技术研究. 能源与节能. 2023(03): 125-127+176 . 百度学术
12. 张建国，孙海良，张国川，姜德义，李宗泽. 煤矿智能掘进关键技术探讨及工程实践研究. 地下空间与工程学报. 2023(02): 609-621 . 百度学术
13. 宋毓. 复杂地质条件巷道快速掘进技术研究. 当代化工研究. 2023(07): 122-124 . 百度学术
14. 周开平. 矿用EBZ220型掘进机行驶控制系统设计研究. 煤炭工程. 2023(05): 183-187 . 百度学术
15. 李东祥. 浅析智能化掘进技术的应用与发展. 能源与节能. 2023(06): 192-194 . 百度学术
16. 张庆军，焦雷，宗志栓，吴康，邱泽刚，董振乐. 竖井掘进机纠偏过程撑靴液压系统控制策略研究. 机床与液压. 2023(16): 45-50 . 百度学术
17. 韩森远. 综掘机智能化系统的设计. 煤矿机械. 2023(10): 28-30 . 百度学术
18. 巩永春，孙晓虎，李伟东，汪义龙，刘杰，谢苗，刘治翔，邹康. 超前支护装备与掘进机协同作业干涉性分析. 煤炭工程. 2023(10): 118-124 . 百度学术
19. 郭连安，董广乐，蒋帅旗. 智能煤巷掘进工作面建设关键技术探讨. 能源与节能. 2023(11): 126-130 . 百度学术
20. 李锋，刘洋. 悬臂式掘进机导航定位技术. 工矿自动化. 2023(S2): 7-9 . 本站查看
21. 朱荣彬. 煤矿掘进作业智能化监测预警系统设计研究. 能源技术与管理. 2022(02): 180-182 . 百度学术
22. 张兴国. 智能化技术在煤矿巷道掘进机中的应用及发展趋势. 能源与节能. 2022(04): 197-199+202 . 百度学术
23. 谢晓东，郭刚，杨鹏里. 煤矿采区智能掘进监控系统的应用. 煤矿机电. 2022(01): 46-51 . 百度学术
24. 张磊，周开平，张宁波，孙红杰，王利欣. 悬臂式掘进机自动截割控制系统研究. 金属矿山. 2022(06): 144-149 . 百度学术
25. 宋亚新，谷树伟，于明生，王永峰，刘治翔. 掘锚一体机机载式探放水钻机设计. 机电产品开发与创新. 2022(04): 39-42 . 百度学术
26. 杨健，高强. 煤矿智能化掘进系统建设经验研究. 煤炭科学技术. 2022(S1): 303-309 . 百度学术
27. 杨运琦，郝喜庆，薛建军，张鹏. 煤矿综合机械化快速掘进技术研究. 内蒙古煤炭经济. 2022(14): 57-59 . 百度学术
28. 张夫净，王宏伟，王浩然，李正龙，王宇衡. 煤矿巷道支护钢带锚孔智能识别与定位. 工矿自动化. 2022(10): 76-81 . 本站查看
29. 张伟峰. 李雅庄矿掘进机智能化控制研究. 煤矿现代化. 2022(06): 78-83 . 百度学术
30. 牛三只，项晨云. 掘进机视频截割监测控制系统的应用研究. 机械管理开发. 2022(12): 153-154 . 百度学术
31. 赵东，胡彬彬，齐晓菲. 智能化综掘工作面建设与应用. 煤矿机电. 2022(05): 44-47 . 百度学术
32. 刘文明，程建远，刘再斌，张泽宇. 掘进工作面前方煤层底板高程动态预测的试验研究. 煤田地质与勘探. 2021(01): 257-262 . 百度学术
33. 李超. 大型煤矿企业绿色智能化生产管理的研究与应用. 能源与环保. 2021(03): 169-172 . 百度学术
34. 李瑶瑶. 巷道掘进机定向掘进技术研究. 机械管理开发. 2021(07): 210-211+283 . 百度学术
35. 王飞，谢进，罗伟，王立强. 煤矿掘进工作面智能化改造方案探讨. 陕西煤炭. 2021(04): 182-185 . 百度学术
36. 李国华. 矿井巷道智能掘进装备的关键技术问题探讨. 矿业装备. 2021(04): 216-217 . 百度学术
37. 王鸿儒，周旺平，宋晓莉. 掘进机截割减速器阻尼缓冲的方法与研究. 煤炭技术. 2021(09): 159-161 . 百度学术
38. 谢进，王飞. 煤矿智能掘进机器人关键技术探讨. 工矿自动化. 2021(S2): 39-42 . 本站查看
39. 陆跃先. 智能化掘进机在煤矿掘进中的应用. 内蒙古煤炭经济. 2021(11): 140-141 . 百度学术
40. 张德义，刘送永，贾新庆，崔玉明，姚健. 基于红外热像的夹矸巷道断面记忆截割试验研究. 煤炭学报. 2021(10): 3377-3385 . 百度学术
41. 赵建勋，杨文娟，张旭辉，杜昱阳，张超. 悬臂式掘进机井下精确定位方法及其视觉测量技术. 煤炭科学技术. 2021(12): 192-201 . 百度学术
42. 牛砚龙. 巷道掘进机智能化技术研究现状及展望. 内蒙古煤炭经济. 2021(19): 129-130 . 百度学术
43. 郝俊信. 综掘机远程可视化智能掘进技术的研究. 煤炭科学技术. 2021(S2): 274-279 . 百度学术
44. 马小平，杨雪苗，胡延军，缪燕子. 人工智能技术在矿山智能化建设中的应用初探. 工矿自动化. 2020(05): 8-14 . 本站查看
45. 杨健健，张强，吴淼，王超，常博深，王晓林，葛世荣. 巷道智能化掘进的自主感知及调控技术研究进展. 煤炭学报. 2020(06): 2045-2055 . 百度学术
46. 刘顺强. 具有自适应截割功能的掘进机控制系统研究. 中小企业管理与科技(上旬刊). 2020(07): 178-179 . 百度学术
47. 胡青松，张赫男，李世银，孙彦景. 基于大数据与AI驱动的智能煤矿目标位置服务技术. 煤炭科学技术. 2020(08): 121-130 . 百度学术
48. 张旭辉，周创，张超，谢楠，张楷鑫，刘博兴. 基于视觉测量的快速掘进机器人纠偏控制研究. 工矿自动化. 2020(09): 21-26 . 本站查看
49. 丁振华，吴家梁，姜德义，史成建，刘兴利，苏云辉，杜俊生. 煤矿巷道智能掘进装备的关键技术问题探讨. 中国煤炭. 2020(11): 58-62 . 百度学术
50. 贺亚发. 掘进机自动化功能的升级设计与应用. 机械管理开发. 2020(12): 212-213+221 . 百度学术
51. 吴淼，李瑞，王鹏江，沈阳，郑伟雄，王东杰. 基于数字孪生的综掘巷道并行工艺技术初步研究. 煤炭学报. 2020(S1): 506-513 . 百度学术
其他类型引用(12)
计量
- 文章访问数: 288
- HTML全文浏览量: 128
- PDF下载量: 46
- 被引次数: 63
