0 引言
锚杆支护能够增强煤矿巷道围岩强度，提高巷道稳定性，且成本较低，目前被大多数煤矿所采用[1-2]。巷道开挖活动会使锚杆受力发生变化，若受力超过锚杆承受范围，将导致锚杆出现异常，降低锚杆支护作用，易引发冒顶等事故，因此进行锚杆异常检测对巷道安全有重要意义。目前主要采用人工手持设备接触锚杆的方式对单根锚杆进行异常检测[3-5]。然而巷道中锚杆数量多、密度大，采用人工抽检方式不仅效率低，而且无法全面检查锚杆异常情况。
随着机器人技术的快速发展，巡检机器人逐步应用于煤矿井下[6-8]。巷道巡检机器人安装有摄像头和多种传感器，沿轨道运行，能覆盖大范围巷道场景。本文以巷道巡检机器人为平台，基于机器视觉技术[9-11]，设计了一种锚杆异常快速检测方法，通过图像匹配、锚杆区域检测与提取、锚杆特征检测与对比等，实现锚杆异常的非接触式快速检测。实验结果验证了该方法的可行性与准确性。
1 锚杆异常检测方案
在煤矿巷道中，安装有摄像头的巡检机器人沿轨道运行。摄像头安装位置与朝向固定，使得每次拍摄的视频场景具有一致性。锚杆有异常时，杆体露出段往往出现长度或角度变化，甚至发生脱落。通过研究巡检机器人采集视频中锚杆露出段的变化，可实现锚杆异常快速检测，具体方案如图1所示。
锚杆异常检测方案包括锚杆图像匹配与提取和锚杆特征检测2个阶段。在锚杆图像匹配与提取阶段，采用感知哈希算法[12]将采集图像与原始图像进行匹配；针对井下光照不均问题，采用直方图均衡化[13]对图像进行光照补偿，以增强对比度；采用YOLOv3算法[14-15]定位锚杆，以提取锚杆区域。在锚杆特征检测阶段，结合双边滤波[16]和Canny边缘检测算法[17-18]提取锚杆图像的边缘信息，采用直线段检测(Line Segment Detector，LSD)算法[19]检测直线段，并按照平行线组[20]和同组直线段距离小于一定约束的原则获得表示锚杆的直线段，从而得到锚杆角度、长度特征，最终与原始图像进行对比，完成锚杆异常检测。
图1 锚杆异常检测方案
Fig.1 Abnormality detection scheme of bolt
2 锚杆图像匹配与提取
2.1 图像匹配
采用感知哈希算法计算图像哈希值，通过采集图像与原始图像哈希值之间的汉明距离完成图像匹配。
将图像尺寸缩放到32×32并进行灰度化，然后采用离散余弦变换(Discrete Cosine Transform，DCT)将其转换为32×32的频域矩阵。感知哈希算法利用“人眼对细节信息不是很敏感”的特性，只从频域矩阵中提取左上角8×8中低频区域的DCT系数，再对提取的DCT系数进行二值化操作，取均值作为基准值，大于基准值的置1，其余置0。采用一串64位二进制码表示图像的哈希值并作为唯一指纹，通过计算图像哈希值之间的汉明距离实现相似性度量，取汉明距离最小的图像为匹配图像，完成图像匹配。
2.2 图像增强
直方图均衡化将原始图像的灰度直方图从比较集中的某个灰度区间转换为在全部灰度范围内均匀分布，从而达到增强图像对比度的效果。统计原始图像中每个灰度值的像素点个数，再利用像素分布完成新的灰度值映射，映射函数为
(1)
式中：Sk为灰度值k在映射后的灰度值；nj为灰度值为j的像素点个数；n为所有像素点个数；L为最大灰度值。
灰度值0，L-1在映射前后不发生改变。彩色图像直方图均衡化即分别对图像的R，G，B分量进行直方图均衡化处理，再将处理结果组合成彩色图像。
2.3 锚杆区域提取
传统目标检测方法需要根据目标特征人工设计特征描述子，而锚杆本身不具有明显的形状特征，长度与角度多变，且巷道锚杆图像背景复杂，管线、设备较多，难以设计准确的锚杆特征描述子。因此，本文提出基于YOLOv3算法提取锚杆区域，无需复杂设计，只需对锚杆样本进行学习即可实现锚杆区域提取。
YOLOv3算法参考多尺度特征检测思路，通过特征图的上采样与特征图之间的融合，能够对13×13,26×26,52×52这3个不同尺度的特征图进行目标检测，大大提高了小目标检测效果。特征图中每个通道对应1个先验框信息，先验框参数数量与数据集包含的类别数相关。本文数据集中只有锚杆一类对象，所以每个先验框只有18个参数，包括本身的中心坐标信息、框大小和置信度信息、目标为锚杆的概率。
通过制作锚杆数据集并训练YOLOv3模型，实现锚杆区域提取。
3 锚杆特征检测
从采集图像中提取出锚杆区域后，锚杆将作为主要元素，可看出锚杆露出段由1组平行线表示。基于该轮廓特征，设计了锚杆特征检测模块来提取图像特征。首先结合双边滤波与Canny边缘检测算法进行锚杆图像边缘提取；然后采用LSD算法检测直线段；最后根据锚杆轮廓特征筛选出表示锚杆的直线段，得到锚杆长度及角度特征，通过特征对比实现锚杆异常检测。
3.1 锚杆图像边缘检测
Canny算法可取得良好的边缘检测效果，但其最初采用高斯滤波，会模糊图像边缘。双边滤波在完成图像去噪的同时，可极大程度地保留图像边缘等细节信息。因此，采用双边滤波代替Canny边缘检测中的高斯滤波进行锚杆边缘检测。
双边滤波在高斯滤波的基础上加入像素值权重项，同时考虑距离和像素值影响，像素值越相近，则像素值权重越大。使用2个高斯滤波器分别计算图像中任意点p的像素值权重Gr(p)和空间距离权重Gs(p)。
(2)
(3)
式中：Ip为p点像素值；Iq为滤波器中心点q像素值,q≠p；σr为像素值域标准差；Dp,Dq分别为p,q点位置;σs为空间域标准差。
则滤波结果为
(4)
式中:W为滤波窗口内所有像素值权重和，用于权重归一化;S为滤波器内像素点集合。
在平坦区域，滤波器中每个像素点的像素值权重相近，则空间距离权重主导滤波效果。在边缘区域，边缘同侧的像素值权重相近，且远大于边缘另一侧的像素值权重，此时另一侧的像素值权重对滤波结果几乎无影响，边缘信息得到保护。
完成双边滤波后，计算图像各像素点的梯度幅值和方向，沿着像素点梯度方向对梯度幅值进行非极大值抑制；设置Vmax，Vmin 2个阈值，梯度幅值大于Vmax的像素点被检测为边缘，小于Vmin的像素点被检测为非边缘，介于Vmin和Vmax之间的像素点若与确定为边缘的像素点相邻，则判定为边缘，否则为非边缘，从而完成图像边缘检测。
3.2 直线段检测与锚杆特征提取
根据LSD算法输出的直线段端点，得到锚杆长度参数，具体步骤如下。
(1) 通过高斯降采样将图像缩放为原尺寸的80%，采用2×2模板计算图像各像素点的梯度幅值和方向，对梯度幅值由大到小排序，较大的梯度幅值说明像素点所在区域的边缘特征较强，较小的梯度幅值说明像素点所在区域趋于平坦或为噪声区域，将梯度幅值小于一定阈值的像素点去除。
(2) 生成直线段支持域。取梯度幅值最大的像素点作为支持域种子点，设置其level-line方向为支持域方向初始值，该方向与梯度方向正交。搜索支持域周围未使用的像素点，并计算其梯度方向与支持域方向的角度差，当角度差小于角度容忍度时，将该像素点添加到支持域。每加入1个新像素点，支持域更新一次方向，然后开始新的生长，直至周围无可加入支持域的像素点。
(3) 将直线段支持域的主惯性轴方向作为矩形方向，构造包含支持域中所有像素点的矩形，通过Helmholtz法则验证该矩形是否需要裁剪，通过验证的矩形即为检测到的直线段。
(4) 根据锚杆轮廓特征提取表示锚杆的直线段。锚杆露出段为钢棒，其轮廓可认为由1组平行线表示，根据该特征计算提取到的直线段斜率，将相互平行的直线段分为一组。因表示锚杆轮廓的2条直线段间距离处于一定范围内，利用该特征筛选平行直线段，计算同一组平行直线段间的距离，通过多次实验确定阈值，筛选出距离在该阈值内的平行直线段，即得到表示锚杆的平行直线段，进而得到锚杆特征。
将采集图像与原始图像的锚杆特征进行对比。考虑到采集图像时会有一定抖动，因此允许一定阈值内的误差，若误差大于阈值则认为发生异常，从而实现锚杆异常检测。
4 实验验证
当前巡检机器人在煤矿巷道没有大范围应用，缺少现场素材，因此本文采用手机摄像头以固定角度拍摄锚杆来模拟巡检机器人采集图像，并将图像制作为VOC格式数据集进行YOLOv3算法训练。实验PC配置为I5 10400F、8 GB内存、GTX1650显卡；检测算法基于Visual Studio 2017 Community和计算机视觉开源库OpenCV3.4.1，采用C/C++语言开发；输入图像分辨率为2 400×1 080。
4.1 锚杆图像匹配与提取
以采集图像1为例，说明其与原始图像的匹配过程，如图2所示。采用感知哈希算法对采集图像1进行缩放、灰度化、DCT后，计算图像哈希值。原始图像库中有80张图像，其哈希值为预先计算得到。根据哈希值计算汉明距离，得到采集图像1与其匹配图像的汉明距离为3，为采集图像1与原始图像哈希值之间汉明距离最小值。采用相同方法进行采集图像2与原始图像匹配，得到采集图像2与其匹配图像的汉明距离为4。
图2 图像匹配过程
Fig.2 Image matching process
完成图像匹配后，采用直方图均衡化算法进行图像增强，结果如图3所示，其中左右2张图像分别为原始图像、增强图像，匹配图像1,2分别为采集图像1,2的匹配图像。可看出图像暗部细节更好地得以展示，灰度分布更加均匀，具有更高的对比度。之后使用训练好的YOLOv3算法提取锚杆区域，结果如图4所示。YOLOv3算法参数设置：学习率为0.001，训练次数为10 000，训练样本共计880张。采用YOLOv3算法提取锚杆区域的平均精确度为89.94%，平均交并比为76.66%。
(a) 采集图像1
(b) 匹配图像1
(c) 采集图像2
(d) 匹配图像2
图3 图像增强结果
Fig.3 Image enhancement results
图4 锚杆区域提取结果
Fig.4 Bolt area extraction results
4.2 锚杆特征检测
锚杆特征检测结果如图5所示，自上而下分别为锚杆区域提取结果、双边滤波结果、边缘检测结果、直线段检测结果和直线段提取结果。
图5 锚杆特征检测结果
Fig.5 Bolt characteristic detection results
从图5可看出，经筛选后的平行直线段有多组，都是表示锚杆的直线段，本文选择其中最长的直线段作为锚杆特征直线段，提取锚杆长度与角度，并用以判断锚杆是否存在异常。提取结果见表1。由于本文方法只需判断提取的锚杆特征相对于原始图像是否存在较大差异，所以未将锚杆长度特征换算为实际单位。可看出采集图像与匹配图像中的锚杆长度和角度特征都被成功提取出来;采集图像1中锚杆虽然与匹配图像1中并不完全相同，但考虑图像采集过程中抖动等因素，该误差在允许范围内，因此判断锚杆无异常；采集图像2中锚杆长度与匹配图像2相比变化较大，判断锚杆存在异常。
表1 锚杆异常检测结果
Table 1 Abnormal detection results of bolt
锚杆图像长度角度/(°)有无异常采集图像1414.1-25.7匹配图像1414.6-25.2无异常采集图像2244.22.3匹配图像2378.11.3异常
实验中对20张采集图像进行锚杆异常检测，检测异常数量为15张，漏检数与误检数均为0，平均检测耗时2.648 s，验证了本文方法能够有效、准确地检测锚杆露出段长度、角度特征异常变化，且与目前人工逐个抽查方法相比，可快速、长时间地对多根锚杆进行异常检测。
5 结论
(1) 根据锚杆出现异常时露出段长度、角度会发生变化的特点，以巷道巡检机器人为平台，采用机器视觉技术对锚杆异常进行检测。检测过程由锚杆图像匹配与提取、锚杆特征检测组成。
(2) 基于机器视觉的锚杆异常快速检测方法具有检测快速、覆盖范围大、无接触等优点，且无需对巡检机器人和巷道进行改造，成本较低。通过在实验室制作数据集进行模拟实验，验证了该方法的可行性。
(3) 下一步将针对现场环境进行测试，研究提高直线段筛选准确度的方法。
[1] 董建,田新军,刘振雄.煤矿巷道锚杆支护应用实例分析[J].能源与节能,2016(10):142-143.
DONG Jian,TIAN Xinjun,LIU Zhenxiong.Application example analysis on the bolt support in coal mine roadway[J].Energy and Energy Conservation,2016(10):142-143.
[2] 康红普.我国煤矿巷道锚杆支护技术发展60年及展望[J].中国矿业大学学报,2016,45(6):1071-1081.
KANG Hongpu.Sixty years development and prospects of rock bolting technology for underground coal mine roadways in China[J].Journal of China University of Mining & Technology,2016,45(6):1071-1081.
[3] ZHANG Houquan,MIAO Xiexing,ZHANG Guimin,et al.Non-destructive testing and pre-warning analysis on the quality of bolt support in deep roadways of mining districts[J].International Journal of Mining Science and Technology,2017,27(6):989-998.
[4] 徐金海,周保精,吴锐.煤矿锚杆支护无损检测技术与应用[J].采矿与安全工程学报,2010,27(2):166-170.
XU Jinhai,ZHOU Baojing,WU Rui.Non-destructive test for bolting support in coal mines and its application[J].Journal of Mining & Safety Engineering,2010,27(2):166-170.
[5] 潘黎明,王东攀,黄志增,等.基于锚杆无损检测的巷道支护质量评价研究[J].煤炭技术,2016,35(9):224-226.
PAN Liming,WANG Dongpan,HUANG Zhizeng,et al.Research on quality evaluation of roadway support based on nondestructive testing of bolt[J].Coal Technology,2016,35(9):224-226.
[6] 黄凯奇,陈晓棠,康运锋,等.智能视频监控技术综述[J].计算机学报,2015,38(6):1093-1118.
HUANG Kaiqi,CHEN Xiaotang,KANG Yunfeng,et al.Intelligent visual surveillance:a review[J].Chinese Journal of Computers,2015,38(6):1093-1118.
[7] 姜俊英,周展,曹现刚,等.煤矿巷道悬线巡检机器人结构设计及仿真[J].工矿自动化,2018,44(5):76-81.
JIANG Junying,ZHOU Zhan,CAO Xiangang,et al.Structure design of suspension line inspection robot in coal mine roadway and its simulation[J].Industry and Mine Automation,2018,44(5):76-81.
[8] YANG Weijuan,ZHANG Xuhui,MA Hongwei.An inspection robot using infrared thermography for belt conveyor[C]//The 13th International Conference on Ubiquitous Robots and Ambient Intelligence,Xi'an,2016:400-404.
[9] SZYDLOWSKI M,POWALKA B,MATUSZAK M,et al.Machine vision micro-milling tool wear inspection by image reconstruction and light reflectance[J].Precision Engineering,2016,44:236-244.
[10] 郭蔓影.基于机器视觉的日用瓷产品质量检测系统设计与实现[D].厦门：厦门大学,2017.
GUO Manying.The design and implementation of quality detection system based on machine vision for daily porcelain products[D].Xiamen:Xiamen University,2017.
[11] STEGER C,ULRICH M,WIEDEMANN C.Machine vision algorithms and applications[M].New York:John Wiley & Sons,2018.
[12] 陈震海,梁晓萍,孙容海,等.基于感知哈希的相似图像检测软件[J].现代计算机,2020(5):36-40.
CHEN Zhenhai,LIANG Xiaoping,SUN Ronghai,et al.Software of similar image detection based on perceptual hashing[J].Modern Computer,2020(5):36-40.
[13] 邓超迪,李川,李英娜.基于直方图均衡化和双边滤波的变压器红外图像增强[J].电力科学与工程,2020,36(11):38-44.
DENG Chaodi,LI Chuan,LI Yingna.Transformer infrared image enhancement based on histogram equalization and bilateral filtering[J].Electric Power Science and Engineering,2020,36(11):38-44.
[14] LAWAL M O.Tomato detection based on modified YOLOv3 framework[J].Scientific Reports,2021,11(1):1-11.
[15] WEI Xiukun,WEI Dehua,SUO Da,et al.Multi-target defect identification for railway track line based on image processing and improved YOLOv3 model[J].IEEE Access,2020,8:61973-61988.
[16] 赵爱玲,张鹏程,杨一鸣,等.改进的直方图均衡化与双边滤波的X射线图像对比度增强算法[J].中北大学学报(自然科学版),2020,41(6):564-570.
ZHAO Ailing,ZHANG Pengcheng,YANG Yiming,et al.Improved histogram equalization and bilateral filtering X-ray image contrast enhancement algorithm[J].Journal of North University of China(Natural Science Edition),2020,41(6):564-570.
[17] 杜京义,郝乐,王悦阳,等.一种煤矿井下输煤大块物检测方法[J].工矿自动化,2020,46(5):63-68.
DU Jingyi,HAO Le,WANG Yueyang,et al.A detection method for large blocks in underground coal transportation[J].Industry and Mine Automation,2020,46(5):63-68.
[18] 王文豪,姜明新,赵文东.基于Canny算子改进的边缘检测算法[J].中国科技论文,2017,12(8):910-915.
WANG Wenhao,JIANG Mingxin,ZHAO Wendong.Edge detection algorithm based on improved Canny operator[J].China Sciencepaper,2017,12(8):910-915.
[19] 陈燚,陈勇,王丙佳,等.基于直线检测的车间地标线识别与拟合[J].轻工机械,2020,38(5):62-66.
CHEN Yi,CHEN Yong,WANG Bingjia,et al.Lane line recognition and fitting based on straight line detection[J].Light Industry Machinery,2020,38(5):62-66.
[20] 段建民,张云飞,郑榜贵.基于改进简单图像统计算法的车道线识别[J].计算机工程与设计,2018,39(3):842-847.
DUAN Jianmin,ZHANG Yunfei,ZHENG Banggui.Lane line identification based on improved algorithm of simple image statistics[J].Computer Engineering and Design,2018,39(3):842-847.
