Laser point cloud segmentation algorithm for hydraulic support based on neighborhood feature encoding and optimization
-
摘要: 受井下煤尘和易被遮挡的影响，液压支架激光点云数据容易出现残缺。现有点云分割算法难以获取细粒度的点云特征，无法得到完整的点云结构信息，且易在邻域内引入语义信息不相似的点，导致液压支架激光点云分割精度低。针对上述问题，提出了一种基于邻域特征编码优化的液压支架激光点云分割算法。引入了由邻域特征编码模块、邻域特征优化模块和混合池化模块组成的局部邻域特征聚合模块：邻域特征编码模块在传统三维坐标编码的基础上加入极坐标编码和质心偏移来表征局部点云空间结构，提升对残缺点云的特征提取能力；邻域特征优化模块通过特征距离判断并丢弃冗余特征，来优化邻域空间内的特征表达，从而更有效地学习点云局部细粒度特征，增强点云局部上下文信息；混合池化模块结合注意力池化和最大池化，通过聚合邻域内的显著特征和重要特征来获取具有丰富信息的单点特征，减少信息丢失。构建了由2组局部邻域特征聚合模块和残差连接组成的邻域扩张模块，以捕获特征间的长距离依赖关系，扩大单个点的局部感受野，并聚合更多有效特征。实验结果表明，该算法在液压支架激光点云分割数据集上的平均交并比为93.26%，平均准确率为96.42%，可有效区分液压支架不同的几何结构，实现液压支架各部件的准确分割。Abstract: Due to the influence of underground coal dust and easy obstruction, the laser point cloud data of hydraulic supports is prone to be incomplete. The existing point cloud segmentation algorithms are difficult to obtain fine-grained point cloud features, unable to obtain complete structural information of the point cloud. The algorithms are prone to introducing semantically dissimilar points in the neighborhood, resulting in low precision of laser point cloud segmentation for hydraulic supports. In order to solve the above problems, a laser point cloud segmentation algorithm for hydraulic supports based on neighborhood feature encoding and optimization is proposed. The method introduces a local neighborhood feature aggregation module consisting of neighborhood feature encoding module, neighborhood feature optimization module, and hybrid pooling module. The neighborhood feature encoding module adds polar coordinate encoding and centroid offset to represent the spatial structure of local point clouds on the basis of traditional 3D coordinate encoding, improving the feature extraction capability for incomplete point clouds. The neighborhood feature optimization module optimizes the feature expression in the neighborhood space by judging the feature distance and discarding redundant features, thereby more effectively learning the local fine-grained features of the point cloud and enhancing the local contextual information of the point cloud. The hybrid pooling module combines attention pooling and max pooling to obtain single point features with rich information by aggregating salient and important features within the neighborhood, reducing information loss. A neighborhood expansion module consisting of two sets of local neighborhood feature aggregation modules and residual connections is constructed to capture long-range dependencies between features, expand the local receptive field of individual points, and aggregate more effective features. The experimental results show that the algorithm has an mean intersection over union of 93.26% and an average accuracy of 96.42% on the laser point cloud segmentation dataset of hydraulic supports. It can effectively distinguish different geometric structures of hydraulic supports and achieve accurate segmentation of various components of hydraulic supports.
-
0. 引言
采煤机在采煤过程中会有大量的尘雾产生，这些弥漫在空气中的尘雾不仅会影响煤矿工人的身体健康，还会造成井下事故的发生。通常在煤尘中注水[1]或在采煤机处喷洒大量的水雾[2]，以达到降尘的目的，但水雾严重影响采集到的图像质量，不利于后续对目标的识别和跟踪等处理。因此，研究煤矿井下图像去雾具有重要意义。
应用较广泛的图像去雾算法可分为基于图像增强、基于卷积神经网络(Convolutional Neural Networks, CNN）、基于物理模型3类[3]。基于图像增强的去雾算法有Retinex算法、同态滤波等。文献[4]在HSV空间下用改进的双边滤波算法融合多尺度Retinex算法，在色彩和边缘模糊处理等方面有所提升，但是去雾效果不好，易出现过曝光。文献[5]先通过同态滤波提高图像清晰度，再采用直方图均衡化突出边缘信息，提高了图像特征点选取的准确率，该方法通过增强图像对比度等来突出边缘细节，算法简单，但是去雾效果差，易出现过曝光等问题。基于CNN的去雾算法用CNN建立一个端到端的网络，再利用数据集来训练这个网络，从而得到无雾图像。文献[6]提出基于深度融合网络的去雾算法，该算法构建了较大规模的去雾数据集，解决了图像过增强现象。但该方法去雾效果差，且煤矿井下去雾数据集很少，难以训练出一个好的去雾模型。基于物理模型的去雾算法依据大气散射模型对尘雾进行处理。文献[7]通过观察大量户外有雾与无雾图像的差异，提出了基于暗原色先验的图像去雾算法（以下简称He算法）。该算法简单，去雾效果好，但细节处理效果较差，易出现去雾图像过曝光等问题。文献[8]提出一种基于暗原色先验的煤矿井下退化图像复原算法，使用正则化拉普拉斯矩阵构建暗原色先验去雾尘模型，该算法对图像细节处理较好，但是去雾后的图像偏暗，且容易失真。文献[9]基于暗原色理论提出了一种自适应双边滤波的煤矿尘雾图像增强算法，该算法在去噪的同时极大地保留了图像的边缘特征，但对细节处理较差。文献 [10]提出了基于边界约束及上下文正则化的去雾算法（以下简称Meng算法），首先通过限制传递函数的固有边界得到粗透射率，其次通过上下文正则化得到精细化透射率，最后用精细化后的透射率通过大气散射模型来恢复无雾图像，该算法对细节部分除雾效果很好，但容易出现局部透射率估计不准确的问题，且去雾图像会出现颜色失真、对比度过饱和等问题。文献[11]提出了对边界约束进行双边滤波优化的图像去雾算法，将图像分割成天空区域与非天空区域，对天空区域与非天空区域分别处理，解决了图像过曝光的问题，但图像分割需要手动操作，算法处理时间较长。
针对上述问题，本文将He算法与Meng算法进行融合，提出了一种基于边界约束的煤矿井下尘雾图像去雾算法。首先，用伽马校正改变井下图像亮度，选取开运算处理后的图像颜色通道的最大值作为煤矿井下的大气光值。其次，分别用暗通道算法与边界约束算法对图像进行处理，对边界约束算法得到的边界约束图进行引导滤波，得到更为清晰的边界约束图，并将边界约束算法的粗透射率与暗通道先验算法的粗透射率进行比较再融合。最后，经过上下文正则化细化透射率，再通过大气散射模型得到去雾后的图像。
1. 相关理论
1.1 大气散射模型
在计算机视觉中，大气散射模型[12]广泛用于图像去雾，即
$$ I\left( x \right) = J\left( x \right)t\left( x \right) + A\left( {1 - t\left( x \right)} \right) $$ (1) 式中：
$I(x)$ 为有雾图像，x为图像中像素点位置；$J(x)$ 为无雾图像；$t(x)$ 为透射率；$A$ 为全球大气光值。图像成像中的大气散射光导致了图像的对比度下降和颜色失真等问题。去雾的目的是通过单幅图像来准确估计全球大气光值A和透射率
$ t(x) $ ，从而恢复无雾图像$ J(x) $ 。1.2 He算法原理
He算法的暗通道先验知识中提到无雾图像总会存在一个颜色通道的值接近0，故对无雾图像中每个像素的颜色通道值最小化可得到暗通道图像。
$$ {J^{{\text{dark}}}}\left( x \right) = \mathop {\min }\limits_c \mathop {\min }\limits_{y \in \varOmega (x)} {J^c}(y) $$ (2) 式中：
${J^{{\rm{dark}}}}\left( x \right)$ 为暗通道图像；c为红绿蓝三色通道中的某一通道；y为图像中像素点位置；$\varOmega \left( {{x}} \right)$ 为以x处像素为中心的一个窗口；$ {J^c}(y) $ 为像素点位置为y的彩色无雾图像。将暗通道先验知识与尘雾图像成像模型结合，对式（1）进行2次最小滤波后求解出透射率。假设最小滤波后的透射率没有改变，则透射率为
$$ t\left( x \right) = 1 - \mathop {\min }\limits_c \mathop {\min }\limits_{y \in \varOmega (x)} \left( {\frac{{{I^c}(y)}}{{{A^c}}}} \right) $$ (3) 式中：
$ {I^c}(y) $ 为像素位置为y的彩色有雾图像；$ A^{c} $ 为彩色通道的大气光值。1.3 Meng算法原理
在无雾的情况下，透射率接近1，
$ I\left( x \right) \approx J\left( x \right) $ 。随着雾浓度的增加，$ t\left( x \right) $ 会逐渐减小，$ I\left( x \right) \approx A $ ，所以文献[10]提出了一个边界约束理论，即无雾图像的亮度值存在下边界$ {B_0} $ 与上边界$ {B_1} $ ，由式（1）可知，当A一定时，$ t\left( x \right) $ 也存在边界$ t{}_{\text{b}}\left( x \right) $ 。$$ {t_b}\left( x \right) = \min \left( {\mathop {\max }\limits_c \left( {\frac{{{A^c} - {I^c}(x)}}{{{A^c} - B_0^c}},\frac{{{A^c} - {I^c}(x)}}{{{A^c} - B_{\mathbf{1}}^c}}} \right)} \right) $$ (4) 式中：
${I^c}(x) $ 为像素点位置为x的彩色有雾图像；$ B_0^c, B_1^c $ 分别为某一颜色通道的下边界与上边界。在实际生活中存在边缘区域透射率跳跃的情况，若采用式（4）估计透射率，会导致图像边缘出现伪影效应。为了解决伪影效应问题，引入了权重函数
$W\left( {x,{\textit{z}}} \right)$ [10]。$$ W\left( {x,z} \right)\left( {t\left( x \right) - t\left( z \right)} \right) \approx 0 $$ (5) 式中z为图像中与x相邻像素点的位置。
当
$ t(x) $ 与$t(z)$ 相差很大时，$ W\left( {x,z} \right) $ 就要很小才能使式（5）成立，反之亦然。依据这个限制，可采取相邻像素亮度差的方式来定义权重函数。$$ W\left( {x,z} \right) = {( {{{| {{D_j} * {{\log }_2}\left( {I\left( x \right)} \right)} |}^{\frac{1}{2}}} + 0.000\;1} )^{ - 1}} $$ (6) 式中：
$ {D_j} $ 为像素点j的差分滤波算子，由8个Kirsch边缘检测算子与1个Laplacian算子构成；$*$ 为卷积符号。虽然引入权重函数解决了图像边缘伪影的问题，但Meng算法在图像非边缘的区域存在透射率不相似的问题，这不符合最优透射率原则。为了获得最优透射率，引入惩罚项，构建新函数
$ H\left( {x,\beta } \right) $ 。$$ \begin{split} \min \left( {H\left( {x,\beta } \right)} \right) =& \min \Bigg( \frac{\lambda }{2}\left\| {{t^ * }\left( x \right) - t\left( x \right)} \right\|_2^2 + \sum\limits_{j \in \omega } {{{\left\| {W\left( {x,z} \right) \circ \mu } \right\|}_1}} + \\& \frac{\beta }{2}\Bigg( {\sum\limits_{j \in \omega } {\left\| {\mu - {D_j} * t\left( x \right)} \right\|_2^2} } \Bigg) \Bigg)\\[-18pt] \end{split} $$ (7) 式中：
$ \;\beta $ 为惩罚因子；$ \lambda $ 为正则化参数；$ {t^ * }\left( x \right) $ 为优化后的透射率；$ \circ $ 为元素相乘符号；$ \omega $ 为像素索引集；$ \;\mu $ 为辅助变量。当透射率满足式（4）的边界约束条件时，
$ H\left( {x,\beta } \right) $ 的值最小，透射率最优。当不满足约束条件时，$ H\left( {x,\beta } \right) $ 的值很大，应舍去，以达到特征稀疏化的目的。通过交替最小化算法将与
$\; \mu $ 有关的项分离出来，通过与$\; \mu $ 相关函数的最小值求解出$ \;\mu $ 。$$ \min \left( {G\left( x \right)} \right) = \min \left( {{{\left\| {W\left( {x,z} \right) \circ \mu } \right\|}_1} + \frac{\beta }{2}( {\| {\mu - {D_j} * t\left( x \right)} \|_2^2} )} \right) $$ (8) 结合式（7），利用二维快速傅里叶变换，并假设圆形边界条件，最后求得
$ {t^ * }\left( x \right) $ 为$$ {t^ * }\left( x \right) = {F^{ - 1}}\left( {\dfrac{{\dfrac{\lambda }{\beta }F\left( {t\left( x \right)} \right) + \displaystyle\sum\limits_{j \in \omega } {\overline {F\left( {{D_j}} \right)} } \circ F\left( \mu \right)}}{{\dfrac{\lambda }{\beta } + \displaystyle\sum\limits_{j \in \omega } {\overline {F\left( {{D_j}} \right)} } \circ F\left( {{D_j}} \right)}}} \right) $$ (9) 式中：
${F^{ - 1}} $ 为傅里叶逆变换；F为傅里叶变换；$ \overline {F\left( {{D_j}} \right)} $ 为复共轭变换。2. 本文算法原理
2.1 基于边界约束的煤矿井下尘雾图像去雾算法流程
基于边界约束的煤矿井下尘雾图像去雾算法主要包括大气光值的获取、He算法与Meng算法的粗透射率融合、上下文正则化、图像去雾等。算法流程如图1所示。
首先，对输入的图像进行伽马校正，对校正后的图像进行颜色通道开运算处理，从开运算后的图像中选取亮度最大值作为大气光值。其次，分别用He算法与Meng算法对伽马校正后的图像进行处理，对Meng算法得到的边界约束图进行引导滤波，用得到的粗透射率与He算法的粗透射率进行比较再融合。最后，对融合后的粗透射率进行上下文正则化，得到精细化透射率，再通过大气散射模型得到去雾后的图像。
2.2 非线性增亮
煤矿是点光源照射环境，故先采用伽马校正对图像进行亮度调整。
$$ {I_{{\rm{gamma}}}}\left( x \right) = I^\gamma{\left( x \right) } $$ (10) 式中：
${I_{{\rm{gamma}}}}\left( x \right)$ 为经过伽马校正后的有雾图像；$ \gamma $ 为伽马因子，控制整个变换的缩放程度，$ \gamma $ =0.7。伽马校正结果如图2所示。可看出，调整后的图像亮度更均匀。
2.3 改进的大气光值估计方法
He算法采用的大气光值估计方法是直接选取暗通道中亮度值前0.1%的平均值，但是井下存在大片黑暗区域，造成暗通道中的亮度值都较小，选取的大气光值也较小。文献[11]提出的估计方法是选取暗通道图像开运算后的最大值。以上方法都是对暗通道图像进行处理（暗通道是对颜色通道进行最小值滤波后得到的），这使得暗通道图像的值均小于原图像颜色通道的值。本文直接对输入图像的颜色通道进行开运算处理，选取红绿蓝通道中最亮的区域值作为大气光值，这样能够降低去雾图像点光源区域的亮度，可以很好地抑制点光源照射。大气光值估计方法对比如图3所示。
从图3可看出，He算法的估计方法出现了过曝光问题，极大地影响了对信息的识别。文献[11]及本文提出的估计方法差异并不明显。经过计算，He算法的估计方法得出的大气光值为[121,123,122]，文献[11]算法的估计方法得出的大气光值为[219,221,219]，本文提出的估计方法得出的大气光值为[234,233,234]。可看出本文提出的估计方法选取的大气光值更大，在煤矿环境中能够有效地抑制点光源照射。
2.4 引导滤波
针对Meng算法得到的边界约束图存在边界模糊的问题，本文引入引导滤波[13]，以保持边界清晰。
$$ T_{{\text{map}}}^{\text{*}} = aI_x^{{\text{gray}}} + b\;\;x \in {P_{\text{k}}} $$ (11) $$ E\left( {a,b} \right) = \sum\limits_{x \in {P_{\text{k}}}} {( {{{( {T_{{\text{map}}}^{\text{*}} - {T_{{\text{map}}}}} )}^2} + \varepsilon {a^2}} )} $$ (12) $$ a = \dfrac{{\dfrac{1}{{\left| P \right|}}\displaystyle\sum\limits_{x \in {P_{\text{k}}}} {I_x^{{\text{gray}}}{T_{{\text{map}}}}} - \upsilon \tilde T }}{{{\sigma ^2} + \varepsilon }} $$ (13) $$ b = \tilde T - a\upsilon $$ (14) 式中：
$ T_{{\text{map}}}^* $ 为边界约束图引导滤波后的输出；a，b为引导滤波中的线性系数；$ I_x^{{\text{gray}}} $ 为原图的灰度图；${P_{\rm{k}}}$ 为一个遍历图像的窗口；$E\left( {a,b} \right) $ 为a,b的代价函数；$ {T_{{\text{map}}}} $ 为输入的边界约束图；$ \varepsilon $ 为惩罚值；$ \left| P \right| $ 为${P_{\rm{k}}}$ 的像素数目；$ \upsilon $ 和$ \sigma $ 分别为引导图的平均值和方差；$\tilde T$ 为$ {T_{{\text{map}}}} $ 的平均值。当x位于不同的窗口时，会存在不同的a，b值，所以要对以x为中心的窗口内a和b的值取平均，得到平均后的引导滤波。
$$ T_{{\text{map}}}^{\text{*}} = \tilde a I_x^{{\text{gray}}} + \tilde b \;\;x \in {P_{\text{k}}} $$ (15) 式中
$\tilde a$ ，$\tilde b$ 分别为a，b的平均值。引导滤波结果如图4所示。可看出对边界约束图进行引导滤波后，边界约束图变得更加平滑，边界信息更加明显。
2.5 粗透射率融合
如果将传统的Meng算法直接应用在煤矿井下，图像会出现透射率评估不正确的问题。因此，将He算法与Meng算法先进行比较然后再融合。这是因为Meng算法计算粗透射率时更加精细，但容易出现区域透射率评估不正确的问题；He算法通过暗通道来计算透射率，在井下黑暗的环境中，He算法对透射率的估计更加准确，但是其评估的透射率是成块的，透射率细节不够。如果直接对He算法与Meng算法的粗透射率进行融合，易导致透射率边界模糊，因此对He算法与Meng算法的粗透射率差值进行比较，当He算法和Meng算法的粗透射率差值小于阈值时，对He算法和Meng算法的粗透射率值取平均。当He算法和Meng算法的粗透射率差值大于阈值时，则取He算法和Meng算法中最小的粗透射率值。然后再对He算法和Meng算法的粗透射率进行融合，融合后的粗透射率为
$$ {t_3}\left( x \right) = \left\{ {\begin{array}{l} {\min \left( {{t_1}\left( x \right),{t_2}\left( x \right)} \right)}\qquad{\left| {{t_1}\left( x \right) - {t_2}\left( x \right)} \right| \geqslant Q} \\ {\dfrac{1}{2}\left( {{t_1}\left( x \right) + {t_2}\left( x \right)} \right)}\;\;\qquad{\left| {{t_1}\left( x \right) - {t_2}\left( x \right)} \right| ＜ Q} \end{array}} \right. $$ (16) 式中：
$ {t_1}\left( x \right) $ ，$ {t_2}\left( x \right) $ 分别为Meng算法与He算法的粗透射率值；Q为判定阈值，0＜Q＜1。经过多次实验，发现当Q=0.1时，融合效果最好，实验结果如图5所示。可看出融合后的透射率克服了Meng算法相邻物体透射率不同的缺点。
3. 仿真结果与分析
3.1 主观评价
为了验证本文算法的有效性，对煤矿井下大量的有雾图像进行测试（由于篇幅限制，仅选择6张井下图像进行测试）。仿真结果如图6所示。可看出He算法虽然达到了一定的去雾效果，但在有点光源的图像中存在图像过曝光的问题。文献[9]的算法虽能够减小点光源照射的问题，但对尘雾较浓的图像去雾效果较差，且在去雾图像中的灯光处存在较多的蓝色圆环，说明此算法处理图像较亮区域时出现了颜色失真。Meng算法与文献[11]的算法对图像的细节处理得很好，但存在色彩对比度过饱和、颜色失真及整体颜色偏暗等问题。本文算法在有点光源的图像中没有出现过曝光的问题，还很好地保留了图像的细节信息，在灯光处出现的失真更少，对浓雾图像的处理效果优于其他算法，且本文算法去雾后的图像整体较亮、去雾效果更好。
3.2 客观评价
为了验证本文算法的优异性，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性指标(Structural Similarity Index，SSIM)、特征相似性指标(Feature Similarity Index，FSIM）3种指标对各类算法的去雾效果进行客观评价，结果见表1。其中PSNR表征去雾图像的失真性，数值越大，代表图像失真越小；SSIM从图像亮度、对比度和结构对比度3个方面表征去雾效果，值越大，表示去雾效果越好；FSIM侧重图像的边缘保持，值越大，表示图像边缘保持更好。
表 1 不同算法去雾图像指标比较Table 1. Indicators comparison of defogging images processed by different algorithms图像 算法 评价指标 PSNR SSIM FSIM 图像1 He算法 18.898 982 45 0.815 1 0.917 9 文献[9]算法 14.077 211 43 0.763 9 0.954 0 Meng算法 13.873 425 61 0.753 2 0.935 5 文献[11]算法 13.996 310 17 0.735 8 0.938 0 本文算法 16.683 743 23 0.856 3 0.949 9 图像2 He算法 18.202 339 15 0.854 2 0.878 0 文献[9]算法 18.639 958 14 0.895 8 0.950 6 Meng算法 16.317 298 54 0.871 3 0.935 9 文献[11]算法 16.454 639 11 0.847 4 0.934 7 本文算法 19.681 150 10 0.812 0 0.947 1 图像3 He算法 15.751 470 56 0.761 9 0.854 9 文献[9]算法 15.790 684 38 0.738 7 0.957 5 Meng算法 14.872 303 84 0.721 8 0.928 1 文献[11]算法 14.984 407 73 0.672 4 0.921 0 本文算法 17.286 198 78 0.821 6 0.953 0 图像4 He算法 11.509 785 38 0.617 0 0.756 3 文献[9]算法 14.239 536 23 0.488 8 0.940 7 Meng算法 16.248 842 47 0.784 1 0.949 4 文献[11]算法 16.348 279 20 0.780 3 0.954 3 本文算法 19.326 245 59 0.869 4 0.961 3 图像5 He算法 6.726 802 218 0.357 4 0.580 8 文献[9]算法 18.191 280 39 0.783 5 0.955 4 Meng算法 17.127 039 24 0.783 5 0.935 9 文献[11]算法 17.015 085 49 0.753 7 0.936 2 本文算法 20.310 984 51 0.852 2 0.946 6 图像6 He算法 13.360 759 69 0.706 7 0.710 5 文献[9]算法 21.630 907 30 0.809 6 0.973 6 Meng算法 20.386 995 18 0.906 2 0.961 1 文献[11]算法 20.556 107 84 0.892 4 0.963 0 本文算法 24.251 961 61 0.931 3 0.955 8 从表1可看出：在PSNR，SSIM ，FSIM参数上，本文算法相较于He算法分别平均提升了61.52%，36.51%，24.57%，相较于文献[9]的算法分别平均提升了15.51%，19.27%，−0.30%，相较于Meng算法分别平均提升了18.93%，7.19%，1.21%，相较于文献[11]的算法分别平均提升了18.29%，10.54%，1.19%。PSNR的提升说明本文算法得到的去雾后图像失真更小、细节信息更多。SSIM的提升说明了去雾后的图像更加明亮、对比度更加鲜明、图像结构保持得更好。FSIM的提升说明了本文算法在保留精细化的同时，还能很好地保留图像的边缘特征，具有一定的优异性。
4. 结论
（1） 基于暗通道的大气光值估计方法应用到煤矿井下时，选取的大气光值较小，易造成图像过曝光、无法抑制点光源照射等问题。因此，提出直接对图像的红绿蓝三色通道做开运算处理，取开运算后通道图像的最大值作为大气光值，有效降低了点光源附近区域的亮度。
（2） 结合He算法在井下环境中评估透射率的准确性与Meng算法对细节信息处理的优异性，将两者的粗透射率差值进行比较，然后再融合得到粗透射率，利用上下文正则化对融合后的粗透射率细化，并通过大气散射模型得到去雾后的图像。
（3） 仿真结果表明，本文算法没有出现过曝光等问题，且对浓雾图像的处理效果更好，去雾后的图像也更加明亮，颜色更加接近原图。
（4） 本文去雾算法在PSNR，SSIM，FSIM上相较于He算法平均提升了61.52%，36.51%，24.57%，相较于文献[9]的算法平均提升了15.51%，19.27%，−0.30%，相较于Meng算法平均提升了18.93%，7.19%，1.21%，相较于文献[11]的算法平均提升了18.29%，10.54%，1.19%。说明本文去雾算法对煤矿井下图像的去雾效果更好、图像更加明亮、细节信息保留的更多，具有一定的优异性。
-
![]()
图 1 基于邻域特征编码优化的液压支架激光点云分割算法框架
Figure 1. Architecture of laser point cloud segmentation algorithm for hydraulic support based on neighborhood feature encoding and optimization
![]()
图 10 不同算法整体分割结果可视化对比
Figure 10. Visual comparison of overall segmentation results by different algorithms
![]()
图 11 不同算法部件分割结果可视化对比
Figure 11. Visual comparison of component segmentation results by different algorithms
表 1 不同算法评价指标对比
Table 1 Comparison of evaluation indexes of different algorithms
% 算法 mAcc OA mIoU RandLA−Net 95.93 96.31 92.51 本文算法 96.42 96.83 93.26 
下载: 导出CSV
表 2 不同算法在各类别上的IoU对比
Table 2 Intersection over union（IoU） comparison of different algorithms in various categories
% 算法 IoU 掩护梁 立柱 顶梁 其他 RandLA−Net 92.99 88.78 93.23 95 本文算法 93.96 89.28 93.79 96
下载: 导出CSV
表 3 消融实验结果
Table 3 Results of ablation experiments
算法 邻域特征
编码模块邻域特征
优化模块混合池化模块 邻域扩张模块 mIoU/% 1 × × × × 91.97 2 √ × × × 92.50 3 √ √ × × 92.76 4 √ √ √ × 92.90 5 √ √ √ √ 93.26
下载: 导出CSV
-
[1] 王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36. WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice of coal mine intellectualization (primary stage)[J]. Coal Science and Technology,2019,47(8):1-36.
[2] GUO Jun,HUANG Wenbo,FENG Guorui,et al. Stability analysis of longwall top-coal caving face in extra-thick coal seams based on an innovative numerical hydraulic support model[J]. International Journal of Mining Science and Technology,2024,34(4):491-505. DOI: 10.1016/j.ijmst.2024.04.011
[3] 高有进,杨艺,常亚军,等. 综采工作面智能化关键技术现状与展望[J]. 煤炭科学技术,2021,49(8):1-22. GAO Youjin,YANG Yi,CHANG Yajun,et al. Status and prospect of key technologies of intelligentization of fully-mechanized coal mining face[J]. Coal Science and Technology,2021,49(8):1-22.
[4] 王国法,庞义辉,许永祥,等. 厚煤层智能绿色高效开采技术与装备研发进展[J]. 采矿与安全工程学报,2023,40(5):882-893. WANG Guofa,PANG Yihui,XU Yongxiang,et al. Development of intelligent green and efficient mining technology and equipment for thick coal seam[J]. Journal of Mining & Safety Engineering,2023,40(5):882-893.
[5] 王国法,庞义辉,任怀伟,等. 智慧矿山系统工程及关键技术研究与实践[J]. 煤炭学报,2024,49(1):181-202. DOI: 10.13225/j.cnki.jccs.2023.1355 WANG Guofa,PANG Yihui,REN Huaiwei,et al. System engineering and key technologies research and practice of smart mine[J]. Journal of China Coal Society,2024,49(1):181-202. DOI: 10.13225/j.cnki.jccs.2023.1355
[6] 李建,任怀伟,巩师鑫. 综采工作面液压支架状态感知与分析技术研究[J]. 工矿自动化,2023,49(10):1-7,103. LI Jian,REN Huaiwei,GONG Shixin. Research on state perception and analysis technology of hydraulic support in fully mechanized working face[J]. Journal of Mine Automation,2023,49(10):1-7,103.
[7] 王国法,杜毅博. 智慧煤矿与智能化开采技术的发展方向[J]. 煤炭科学技术,2019,47(1):1-10. WANG Guofa,DU Yibo. Development direction of intelligent coal mine and intelligent mining technology[J]. Coal Science and Technology,2019,47(1):1-10.
[8] XI Xiaohuan,WAN Yiping,WANG Cheng. Building boundaries extraction from points cloud using an image edge detection method[C]. IEEE International Geoscience and Remote Sensing Symposium,Beijing,2016:1270-1273.
[9] SCHNABEL R,WAHL R,KLEIN R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphics Forum,2007,26(2):214-226. DOI: 10.1111/j.1467-8659.2007.01016.x
[10] ZHOU Dingfu,FANG Jin,SONG Xibin,et al. Joint 3D instance segmentation and object detection for autonomous driving[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:1836-1846.
[11] XU Yongyang,TANG Wei,ZENG Ziyin,et al. NeiEA-NET:semantic segmentation of large-scale point cloud scene via neighbor enhancement and aggregation[J]. International Journal of Applied Earth Observation and Geoinformation,2023,119. DOI: 10.1016/j.jag.2023.103285.
[12] MATURANA D,SCHERER S. VoxNet:a 3D convolutional neural network for real-time object recognition[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Hamburg,2015:922-928.
[13] LE T,DUAN Ye. PointGrid:a deep network for 3D shape understanding[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City,2018:9204-9214.
[14] SU Hang,MAJI S,KALOGERAKIS E,et al. Multi-view convolutional neural networks for 3D shape recognition[C]. IEEE International Conference on Computer Vision,Santiago,2015:945-953.
[15] MILIOTO A,VIZZO I,BEHLEY J,et al. RangeNet:fast and accurate LiDAR semantic segmentation[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Macau,2019:4213-4220.
[16] CHARLES R Q,HAO Su,MO Kaichun,et al. PointNet:deep learning on point sets for 3D classification and segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:77-85.
[17] QI C R,YI Li,SU Hao,et al. PointNet++:deep hierarchical feature learning on point sets in a metric space[C]. The 31st International Conference on Neural Information Processing Systems,Long Beach,2017:5105-5114.
[18] HU Qingyong,YANG Bo,XIE Linhai,et al. RandLA-Net:efficient semantic segmentation of large-scale point clouds[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:11105-11114.
[19] FAN Siqi,DONG Qiulei,ZHU Fenghua,et al. SCF-Net:learning spatial contextual features for large-scale point cloud segmentation[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Nashville,2021:14499-14508.
[20] ZENG Ziyin,XU Yongyang,XIE Zhong,et al. LEARD-Net:semantic segmentation for large-scale point cloud scene[J]. International Journal of Applied Earth Observation and Geoinformation,2022,112. DOI: 10.1016/j.jag.2022.102953.
[21] QIAN Wei,XING Weiwei,FEI Shumin. H∞ state estimation for neural networks with general activation function and mixed time-varying delays[J]. IEEE Transactions on Neural Networks and Learning Systems,2021,32(9):3909-3918. DOI: 10.1109/TNNLS.2020.3016120
-
期刊类型引用(3)
1. 管少锋，孙艳玲，朱晨光，高敏，马永强，乔应旭，袁畅. 基于增强的煤矿井下尘雾图像渲染算法. 能源与环保. 2024(04): 200-205+211 . 
百度学术
2. 郝博南. 基于去尘估计和多重曝光融合的煤矿井下图像增强方法. 工矿自动化. 2023(11): 100-106 . 本站查看
3. 王宇，于春华，陈晓青，宋家威. 基于多模态特征融合的井下人员不安全行为识别. 工矿自动化. 2023(11): 138-144 . 本站查看
其他类型引用(4)
计量
- 文章访问数: 96
- HTML全文浏览量: 33
- PDF下载量: 19
- 被引次数: 7
