0.   引言

目前我国煤矿大多采用井工开采^[1]，需要挖掘大量巷道，为了保持巷道围岩的稳定性，防止冒顶和片帮事故的发生，需要对这些巷道进行支护^[2]。现有掘进巷道支护包括锚杆支护、锚索支护、锚喷支护等，其中，锚杆支护的支护效果较好^[3]。煤矿井下常用锚杆钻机进行锚杆支护作业，但随着井下掘进工作面“少人则安，无人更安”^[4-5]概念的提出，普通的锚杆钻机已不能满足锚护智能化需求，因此，对锚杆钻机进行智能化改造研究迫在眉睫。

许多学者对锚杆钻机机械结构^[6-9]和锚杆钻机自动化控制^[10-11]进行了研究，虽然优化机械结构、对锚杆钻机进行远程控制改造可提高工作效率、实现工作面少人化，但只实现了锚杆钻机初步智能化，钻锚位置的确定仍需人工完成，无法实现钻锚作业全自动化。钻锚位置（即利用钻杆打孔并拧入锚杆的位置）的自动识别与定位是提高锚杆钻机智能化程度的关键技术。顶板条件不同时，钻锚位置有所不同，在顶板条件较差的巷道需要使用钢带辅助锚杆进行支护，此时钻锚位置的确定就是对支护钢带上锚孔的准确识别与定位，若定位不准，钻头打在钢带或锚网上容易造成设备损坏，严重时会造成安全事故，所以对支护钢带上锚孔的精准识别与定位非常重要。

针对上述问题，本文提出了一种基于改进YOLOv5s模型的煤矿巷道支护钢带锚孔智能识别与定位方法，采用改进YOLOv5s模型的目标检测方法识别煤矿井下锚孔，结合双目摄像头获得锚孔相对于相机的三维坐标。首先通过超分辨率重构（Super Resolution，SR）技术对锚孔图像进行重构，提升图像分辨率。然后，在YOLOv5s的Backbone区域嵌入坐标注意力（Coordinate Attention，CA）模块，再利用嵌入CA模块的YOLOv5s网络训练重构后的锚孔数据集，得到改进后的YOLOv5s模型，将改进后的模型应用于支护钢带锚孔识别。最后，利用改进后的YOLOv5s模型结合双目摄像头对锚孔进行实时识别与定位。

1.   基于机器视觉的锚孔定位方法

1.1   锚孔智能识别与定位流程

锚孔智能识别与定位流程如图1所示。首先，通过网络公开的DIV2K数据集训练用于图像SR的生成对抗网络（Super Resolution Generative Adversarial Network，SRGAN）^[12]，得到SRGAN模型，将原始锚孔数据集输入SRGAN模型对锚孔图像进行SR。然后，在YOLOv5s模型的Backbone区域中加入CA模块，得到CA−YOLOv5s模型，利用重构后的锚孔数据集训练CA−YOLOv5s模型得到SR−CA−YOLOv5s模型。最后，在实验室模拟巷道中，利用SR−CA−YOLOv5s模型对钢带锚孔图像进行识别，利用双目摄像头获取锚孔中心到摄像头的深度值，通过坐标转换公式得到锚孔相对于摄像头的三维坐标。

图  1  锚孔智能识别与定位流程

Figure  1.  Process of intelligent identification and positioning of anchor hole

下载: 全尺寸图片 幻灯片

1.2   SR−CA−YOLOv5s模型构建

1.2.1   SR模型融入设计

图像SR是将低分辨率（Low-Resolution， LR）图像恢复成高分辨率（High-Resolution，HR）图像的过程^[13]。

由于井下掘进巷道中有粉尘和水雾等，会造成锚孔图像质量、分辨率不高，因此引入SR技术提升锚孔图像清晰度，防止因图像模糊而丢失图像中锚孔边缘高频信息。SRGAN模型由生成器模型和判别器模型组成。生成器模型主要用来进行特征提取，并将输入的LR图像输出为HR图像；判别器模型用来判断高清图像是不是生成器创造出来的^[14]。

利用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、结构相似性(Structural Similarity Index，SSIM)和单张图像重构时间评价SRGAN模型重构效果，测试结果见表1，当30＜RNSR＜40时，说明图像质量较好，SSIM的取值为[0,1]，值越大说明图像失真程度越小。从表1可看出，SRGAN模型有很好的重构效果，能够有效提高锚孔图像分辨率且避免锚孔图像因SR而失真。

表  1  测试结果

Table  1.  Test results

指标	数值
PSNR	30.912
SSIM	0.860
单张图像重构时间/ms	533

下载: 导出CSV 

| 显示表格

1.2.2   CA模块融合设计

由于锚孔较小且摄像头距锚孔有一定距离，导致锚孔在图像中所占像素少，且锚孔图像易受复杂环境等因素影响，在卷积神经网络中易出现较小锚孔的特征信息丢失现象，影响锚孔检测效果。CA模块是将目标位置信息加入通道注意力中使卷积神经网络可以在更大区域上关注目标特征。CA模块在全局池化时分别沿水平方向和竖直方向的坐标对每个通道进行特征编码操作，这有助于网络更加准确定位被检测目标。为此引入CA模块，将其加入YOLOv5s模型Backbone区域的CSP模块的后面，增加YOLOv5s网络中特征提取网络的网络层数，将目标物体的坐标信息融入到卷积网络中，可有效提取锚孔小目标特征信息，从而提高锚孔检测成功率。

2.   锚孔识别实验与结果分析

2.1   数据集构建

本文实验训练模型使用的硬件环境为Intel(R) Xeon(R) Silver 4210R CPU@2.04GHz处理器，显卡为Tesla v100-PCIE。软件环境为Ubuntu 18.04LTS操作系统下Pytorch1.8.0深度学习框架和CUDA10.2并行计算架构。采用随机梯度下降（Stochastic Gradient Descent，SGD）作为优化器来优化网络参数，设SGD值为0.01，动量因子为0.937，优化器权重衰减为0.000 5，批尺寸为32，迭代次数为300。

为增加实验结论的可靠性，搭建模拟巷道，模仿煤矿井下复杂、照度低的环境，选用白色环形光源进行实验环境的光照补充。为提高模型泛化能力，避免网络过拟合，通过旋转、随机裁剪、阈值化等图像处理方法对在模拟巷道中采集的1 600张锚孔图像进行数据增强，扩充数据集，扩充后数据集图像共3 200张。采用SRGAN模型对自制的锚孔数据集进行SR，使用labelImg对重构后的数据集进行标注，按8∶2划分训练集和测试集。

2.2   模型评价

采用精确率、召回率和平均精度均值(mean Average Precision，mAP)作为模型精度的评价指标，衡量模型的检测能力和实际应用能力，YOLOv5s模型与本文提出的模型对比见表2。其中精确率是用来反映模型分类能力的指标，召回率是用来反映模型对目标的检测能力，mAP是评价网络检测精度的常用指标，能更准确反映网络的检测效果。

表  2  YOLOv5s模型与SR−CA−YOLOv5s模型对比结果

Table  2.  Comparison results of the YOLOv5s model and the SR-CA-YOLOv5s model %

模型	准确率	召回率	mAP
YOLOv5s	93.9	92.8	93.7
SR−CA−YOLOv5s	96.6	97.0	96.8

下载: 导出CSV 

| 显示表格

式中：P为精确率；N_Tp为正确识别到锚孔的数量；N_Fp为将其他物体识别为锚孔的数量；R为召回率；N_FN为未成功识别到锚孔的数量；M为平均精度均值；Q为各分类的平均精度；n为目标分类数。

由表2可看出，SR−CA−YOLOv5s模型的精确率、召回率、mAP分别为96.6%，97.0%，96.8%，与YOLOv5s模型相比，精确率、召回率、mAP分别提高了2.7%，4.2%，3.1%。

2.3   消融实验

为验证本文改进YOLOv5s模型的检测效果，在YOLOv5s模型基础上进行不同改进来进行消融实验，结果见表3，其中FPS为每秒填充图像的帧数。 可看出SR−YOLOv5s模型的mAP较YOLOv5s模型提高了0.8%，但是FPS降低了66.2帧/s，说明锚孔图像经过SR之后能变得清晰，使锚孔特征明显，且锚孔在图像中的像素占比变大，模型训练时能提取到更多的锚孔特征，从而提高检测精度，但是检测速度有轻微下降；CA−YOLOv5s模型的mAP较YOLOv5s模型提高了1.8%，但是FPS降低了15.7帧/s，说明在YOLOv5s的Backbone区域添加CA机制后，模型训练时更加关注目标特征，减少了特征提取网络卷积操作时目标特征的丢失，从而提升了模型训练效果；SR−CA−YOLOv5s模型的mAP较YOLOv5s模型提高了3.1%，尽管FPS降低了18.5帧/s，但是FPS依然达166.7帧/s，说明利用添加CA模块的YOLOv5s网络训练经过SR后的数据集能在不影响检测实时性前提下进一步提升了检测精度。

表  3  消融实验结果

Table  3.  Results of the ablation test

模型	SR	加入CA机制	mAP/%	FPS/(帧·s−1)
YOLOv5s	×	×	93.7	185.2
SR−YOLOv5s	√	×	94.5	119.0
CA−YOLOv5s	×	√	95.5	169.5
SR−CA−YOLOv5s	√	√	96.8	166.7

下载: 导出CSV 

| 显示表格

2.4   SR−CA−YOLOv5s模型检测效果验证

为验证SR−CA−YOLOv5s模型的检测效果，利用YOLOv5s和SR−CA−YOLOv5s模型对部分锚孔图像进行对比检测实验，结果如图2所示。可看出YOLOv5s模型没有成功检测出锚孔，而SR−CA−YOLOv5s模型能成功检测出锚孔，这是因为在YOLOv5s网络中融入SR和CA模块增强了目标物体在图像中所占的像素比，提高了图像清晰度，且增大了模型训练时对锚孔特征的关注度，在一定程度上可避免由于图像模糊而出现漏检的问题。

图  2  各模型检测结果对比

Figure  2.  Comparison of test results of each model

下载: 全尺寸图片 幻灯片

3.   SR−CA−YOLOv5s模型应用效果验证

为验证SR−CA−YOLOv5s模型的实际应用效果，将其部署到NVIDIA Jetson Xavier NX边缘计算设备上进行验证。将训练的SR−CA−YOLOv5s模型部署到平台后，将其放入锚杆钻机控制箱，结合双目摄像头对钢带锚孔进行识别与定位。由于锚孔处于巷道顶端的钢带上，锚孔目标较小且位置特殊，另外由于锚杆钻机机械臂运动时锚杆钻机机身固定不动，采用Eye−in−Hand的手眼构型方式将摄像头和光源固定在锚杆钻机机械臂上。为了模仿煤矿井下真实环境，在模拟巷道中喷洒水雾，测试在不同光照条件下利用双目摄像头检测锚孔的实际情况，实验硬件部署如图3所示。

图  3  实验装配

Figure  3.  Experimental assembly

下载: 全尺寸图片 幻灯片

首先利用C#在WPF框架下制作锚杆钻机远程控制界面，利用界面远程控制锚杆钻机机械臂运动到锚孔附近，即对机械臂进行粗定位。当支护钢带上的锚孔出现在摄像头视场内时，利用SR−CA−YOLOv5s模型对锚孔进行智能识别，当成功检测出锚孔后，利用双目摄像头获取锚孔中心到摄像头的深度值，然后通过坐标转换得出锚孔相对摄像头的三维坐标，测试结果见表4。可看出SR−CA−YOLOv5s模型能够在不同光照条件下准确检测出锚孔并获得锚孔相对于摄像头的三维坐标，坐标误差在6 mm以内，且检测FPS满足实时性要求。

表  4  锚孔识别与定位结果

Table  4.  Anchor hole identification and positioning results

序号	实际坐标/mm	检测坐标/mm	误差/mm	FPS/(帧·s−1)
1	(225,36,542)	(221,34,538)	(4,2,4)	30.1
2	(518,−10,1012)	(519,−13,1015)	(1,3,3)	28.5
3	(−355,237,680)	(−350,236,675)	(5,1,5)	28.7
4	(−247,−106,735)	(−251,−108,741)	(4,2,6)	29.8
5	(−112,209,1021)	(−109,206,1020)	(3,3,1)	28.1

下载: 导出CSV 

| 显示表格

4.   结论

（1） 在YOLOv5s模型的Backbone区域加入CA模块，解决了小目标在卷积时特征丢失导致特征提取不充分的问题，再结合图像SR技术提高复杂环境下对于锚孔小目标的检测精度。

（2） 相较于YOLOv5s模型，改进YOLOv5s模型mAP提高了3.1%，有更好的检测能力，在一定程度上避免了漏检，虽然FPS降低了18.5帧/s，但FPS仍保持在166.7帧/s，并不影响模型的实时检测功能。

（3） 将改进YOLOv5s模型部署到边缘计算设备后能够准确识别出锚孔且获得锚孔相对于相机的三维坐标，且平均检测帧率满足实时检测要求。