0.   引言

深层煤炭开采过程中存在高瓦斯压力不可控因素，极易诱发煤与瓦斯突出事故，从而对煤矿安全生产造成威胁^[1-2]。一般采用钻孔抽采和排放煤层内的瓦斯，以降低瓦斯浓度，减少甚至消除煤与瓦斯突出灾害^[3-4]。钻孔深度的准确测量是钻孔工作的重要部分，若实际钻孔深度与要求不符，不仅会加剧危险事故的发生，而且会造成人力物力的极大浪费^[5]。实际测量中，通常根据钻机每次打入钻杆长度一致的原则，根据钻杆数量得到钻孔深度。

钻杆计数方法根据计数方式的不同，可以分为传统方法与计算机视觉方法。传统方法主要有人员查验法、行程开关法、电驻波法等。人员查验法是指工作人员通过观看打钻录像来记录钻杆数量的方法，其劳动强度大、效率低。行程开关法^[6]主要是在钻机上安装行程开关和单片机，当行程开关被钻机触发时，单片机会收到电信号进行判断处理，进而得到钻杆数量，但是行程开关容易被误触，单片机可能会受潮而影响计数精度。电驻波法^[7]通过钻杆形成的驻波找到驻波节点，得到钻杆长度，但是有关仪器还未达到矿用的安全要求。计算机视觉方法是指利用视觉图像算法自动分析打钻视频中钻杆数量的方法，该方法因人为干预少、效率高等受到众多研究者的关注。董立红等^[8]提出了一种基于改进Camshift算法的钻杆计数方法，通过Camshift算法跟踪钻机标志物，并根据标志物运动轨迹上的波峰数量判断出钻杆数量，但是标志物容易被粉尘污染及被旁物遮挡，进而导致目标丢失甚至跟踪失败。高瑞等^[9]提出了一种基于改进ResNet网络的井下钻杆计数方法，通过ResNet识别图像上的卸杆与非卸杆动作，并对识别结果进行积分滤波得到置信度曲线，根据下降沿的个数判断出钻杆数量，但是ResNet未考虑动作的时序信息，在相似背景的图像上容易发生误识别。党伟超等^[10]提出了一种利用三维卷积神经网络（3D Convolutional Neural Network，3DCNN）识别钻机卸杆动作的方法，虽然3DCNN解决了一些时序问题，但同时也学习了大量的图像冗余信息，导致该方法的场景适应性不强。

针对上述问题，本文提出了一种基于改进时空图卷积神经网络的钻杆计数方法。该方法将打钻过程中作业人员的动作划分为上杆、卸杆和其他3种，在时空图卷积神经网络（Spatial-Temporal Graph Convolution Neural Network，ST−GCN）模型^[11]的基础上，采用远空间分区策略与注意力机制设计了一种动作识别精度良好的改进时空图卷积神经网络模型−多空间特征融合时空图卷积神经网络（Multi Spatial-TemporalGraph Convolution Neural Network，MST−GCN）模型，利用MST−GCN模型识别出打钻视频中的上杆与卸杆动作，确定打钻数量。

1.   打钻过程分析

钻机的打钻过程是一个双向过程，即工人先将多根钻杆依次装上钻机并打入煤层，待打孔完成，再将钻机拔出的钻杆依次卸下，根据工人上杆和卸杆动作的次数来判断钻杆数量。然而，该过程内还包含与上杆、卸杆无关的动作。因此，本文将所有的动作类型划分为上杆、卸杆和其他3种，具体如图1所示。

图  1  打钻过程中的3种动作

Figure  1.  Three kinds of action during drilling

下载: 全尺寸图片 幻灯片

2.   钻杆计数方法原理

基于改进时空图卷积神经网络的钻杆计数方法原理如图2所示。

图  2  基于改进时空图卷积神经网络的钻杆计数方法原理

Figure  2.  Principle of drill pipe counting method based on improved multi spatial-temporal graph convolution neural network

下载: 全尺寸图片 幻灯片

（1） 打钻视频采集。通过矿用监控摄像头获取井下打钻视频数据。

（2） 人体骨架数据获取。为了减少图像背景对动作识别的干扰，本文采用高精度人体姿态估计算法−Alphapose算法^[12]检测工人的身体关键点信息，得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据。

（3） 动作识别。在ST−GCN模型的基础上，通过远空间分区策略与注意力机制设计了MST−GCN模型，利用MST−GCN模型有效识别骨架序列上的动作类型，提高打钻动作的识别精度。

（4） 动作开始位置捕获。通过支持向量机（Support Vector Machine， SVM）算法辨识工人的打钻姿势，若判断成功则保存150帧人体骨架序列，并输入MST−GCN模型进行识别。

（5） 打钻数量计算。为减少模型出错的概率，本文将打钻视频手动分割成上杆视频和卸杆视频，并在每种视频上只识别各自对应的动作。在卸杆视频中，MST−GCN模型每次都从打钻姿势出现的位置预测1次动作，若结果为卸杆动作，则卸杆数量加1，并且间隔一段时间后再重新识别。上杆数量的计算同理。最后对上杆数量和卸杆数量求和，取平均值得到钻杆数量。

3.   钻杆计数方法具体实现

3.1   人体骨架数据获取

人体关键点即人体拓扑上的重要骨骼部位，如图3（a）中的18个关键点：鼻、颈、右肩、右肘、右腕、左肩、左肘、左腕、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳及左耳（编号依次为0，1，…，17）。人体骨架是指将Alphapose算法检测出的18个关键点按图3（a）中的方式进行连接。人体骨架序列是指在时间轴上将多帧骨架按照相同编号的关键点进行连接的数据，结构如图3（b）所示。

图  3  人体骨架数据

Figure  3.  Skeleton data of human body

下载: 全尺寸图片 幻灯片

3.2   动作识别

3.2.1   MST−GCN模型

与ResNet、3DCNN等模型不同，ST−GCN模型是一种用于骨架动作识别的序列模型，它利用图卷积神经网络（Graph Convolutional Neural Network，GCN）与时间卷积神经网络（Temporal Convolutional Neural Network，TCN）在骨架序列上自动提取动作特征，可以减少图像背景对动作识别的影响。但是，ST−GCN模型提取的空间特征仍不够健壮，导致动作识别效果不佳。为此，本文在ST−GCN模型的基础上重新设计了一种MST−GCN模型，其原理如图4所示。它由批量标准化层（BatchNormal）、时空特征提取单元层（总共10个单元，每个单元的时空图卷积核大小均为（15，3））、平均池化层（av−pool）、全连接层（fc）及Softmax函数组成。其中，BatchNormal层用于规范骨架序列数据的分布，提高模型的泛化能力；时空特征提取单元层在时空维度上提取有效的动作特征，以提高模型精度；av−pool层用于对高维动作特征进行降维，降低模型计算量；fc层与Softmax函数先将特征映射到标签空间，再输出动作的置信度向量。图中(M，C，T，V)为特征图，M为人数，C为关键点维数，T为序列长度，V为关键点个数。

图  4  MST−GCN模型原理

Figure  4.  Principle of multi spatial-temporal graph convolution neural network model

下载: 全尺寸图片 幻灯片

3.2.2   空间分区策略

GCN在骨架上提取空间特征时，需要使用分区策略来对关键点的邻域集进行划分。空间分区策略是一种构建GCN的有效策略，其依据身体部位的静止、向心运动和离心运动3种状态将关键点的邻域集划分为3个子集：根节点集、向心点集和离心点集。图5为ST−GCN中采用的空间分区策略（原空间分区策略），其邻域采样范围$ D=1 $，“$ \times $”为身体重心，“0”为根节点，“1”为向心点，“2”为离心点。

图  5  原空间分区策略

Figure  5.  Original spatial partitioning strategy

下载: 全尺寸图片 幻灯片

当GCN采用原空间分区策略时，其3个子集分别被赋予以下权重参数：

式中：$ {l}_{ti}\left({v}_{tj}\right) $ 为全部子集的权重映射函数，$t=1\text{，}2\text{，}\cdots\text{，} T,\;i=0\text{，}1\text{，}\cdots\text{，}17$，$ {v}_{tj} $为第t帧第$ j $$(j=0\text{，}1\text{，}2) $个子集的关键点；$ {r}_{j} $为$ {v}_{tj} $到重心的距离；$ {r}_{i} $为根节点到骨架重心的平均距离。

GCN的实现公式如下：

式中：$ {{f}}_{{\rm{out}}} $为GCN的输出结果；$\displaystyle\sum _{j}{\boldsymbol{\varLambda }} _{j}^{-\tfrac{1}{2}}{\boldsymbol{A}} _{j}{\boldsymbol{\varLambda }} _{j}^{-\tfrac{1}{2}}$为归一化的邻接矩阵；$ {\boldsymbol{\varLambda }} _{\boldsymbol{j}} $为第$ j $个子集的对角线矩阵；$ {\boldsymbol{A}} _{j} $为第$ j $个子集的邻接矩阵；$ {{f}}_{{\rm{in}}} $为输入特征数据；${\boldsymbol{W}} _{\boldsymbol{j}}$为第$ j $个子集的权重矩阵；$\displaystyle\sum _{j}{\boldsymbol{A}} _{j}$为整体邻接矩阵；$ {\boldsymbol{A}}_{0} $，$ {\boldsymbol{A}}_{1} $，$ {\boldsymbol{A}}_{2} $分别为每个子集的邻接矩阵。

实际打钻过程中，由于工人的身体形态、摄像机角度等原因，会导致同一种作业动作呈现出不同的运动幅度，而采用原空间分区策略只能关注到身体上关键点之间的局部运动，不利于GCN提取空间特征。为了更好地提取空间特征，即关注到身体上较远关键点（$ D > 1 $ 时的相邻关键点）之间的运动信息，本文将原空间分区策略中的$ D $设置为2，并且将权重参数之间的差值进一步增大，从而得到图6所示的远空间分区策略。此时，3个子集的权重参数被重新定义如下：

图  6  远空间分区策略

Figure  6.  Remote spatial partitioning strategy

下载: 全尺寸图片 幻灯片

所以，GCN实现公式更新为

式中：$ {{{f}}_{{\rm{out}}}'} $为采用远空间分区策略的GCN输出；${{\boldsymbol{A}} _{j}'}$为第$ j $个子集更新后的邻接矩阵；${{\boldsymbol{W}} _{\boldsymbol{j}}'}$为第$ j $个子集更新后的权重矩阵；$\displaystyle\sum _{j}{{\boldsymbol{A}} _{j}'}$为更新后的整体邻接矩阵； $ {{\boldsymbol{A}}_{1}'}$，$ {{\boldsymbol{A}}_{2}'} $分别为向心点集和离心点集更新后的邻接矩阵。

3.2.3   多空间特征融合

SENet（Squeeze and Excitation Networks）^[13]是一种特征通道注意力机制网络，它在训练过程中可以使网络自动选择重要的特征。因此，本文在ST−GCN中添加SENet模块来融合不同分区策略的空间特征。该模块融合空间特征的原理如图7所示，其中 $ {{\boldsymbol{X}}}_1 $ 为GCN采用原空间分区策略的空间特征，$ {{\boldsymbol{X}}}_2 $ 为GCN采用远空间分区策略的空间特征。首先将2个大小为$ (M,C,T,V) $的特征图$ {{\boldsymbol{X}}}_1 $，$ {{\boldsymbol{X}}}_2 $通过堆叠模块(CAT)堆叠为$ (M,2 C,T,V) $的新特征图；然后将新特征图依次经过平均池化层、全连接层1和全连接层2压缩成$ (M,2 C,\mathrm{1,1}) $，并与新特征图按通道相乘；最后使用一个二维卷积将分配权重后的特征图压缩成与输入大小一致的输出特征图。图中ReLu，Sigmoid为激活函数。

图  7  SENet模块融合空间特征

Figure  7.  Fusion spatial features of the SENet module

下载: 全尺寸图片 幻灯片

3.2.4   时空特征提取单元

时空特征提取单元是MST−GCN模型中的基本单元，它在时间轴上将空间特征进行聚合，从而得到表征动作的时空特征，其详细结构如图8所示。首先将2种空间分区策略下提取的空间特征使用SENet模块进行特征融合；其次使用TCN提取时间特征；最后使用残差结构保留原始特征信息，实现时空特征提取。图中⊙为矩阵按位相与，$ {{\boldsymbol{X}}} $为输入特征图，$ {{\boldsymbol{Y}}} $为输出特征图。

图  8  时空特征提取单元结构

Figure  8.  Structure of spatio-temporal feature extraction unit

下载: 全尺寸图片 幻灯片

3.3   动作开始位置捕获

3.3.1   捕获原理

工人准备取放钻杆时，身体会呈现出手持钻杆的姿势，即打钻姿势（图9）。通过打钻姿势确定上杆、卸杆动作在视频中的开始位置，不仅可以避免MST−GCN模型遍历视频的重复工作，而且能提高计数效率。因此，本文通过区分打钻姿势与非打钻姿势来判断工人是否将要进行上杆或卸杆动作。

图  9  打钻姿势与非打钻姿势

Figure  9.  Drilling posture and non-drilling posture

下载: 全尺寸图片 幻灯片

3.3.2   打钻姿势识别

辨识人体骨架上所表达的姿势类别信息，可以通过卷积神经网络在伪图像上自动提取特征实现分类，也可以通过分类算法对手工特征进行分类^[14]。SVM是一种快速且有效的监督式二分类算法，可对人体骨架上由关节夹角组成的特征向量进行分类，即能够辨识打钻姿势。

辨识打钻姿势的流程如图10所示。首先通过余弦公式计算人体骨架上的10个关节夹角：$ {\theta }_{0} $（右颈角）、$ {\theta }_{1} $（左颈角）、$ {\theta }_{2} $（右肩角）、$ {\theta }_{3}（ $左肩角）、$ {\theta }_{4} $（右肘角）、$ {\theta }_{5} $（左肘角）、$ {\theta }_{6} $（右跨角）、$ {\theta }_{7} $（左跨角）、$ {\theta }_{8} $（右膝角）和$ {\theta }_{9} $（左膝角）；然后将10个夹角数据组成1个特征向量（即关节夹角余弦特征），并使用标准化公式对其进行规范；最后将特征向量送入训练好的SVM模型进行分类。

图  10  打钻姿势识别流程

Figure  10.  Drill pose recognition process

下载: 全尺寸图片 幻灯片

4.   实验与结果分析

为了验证本文方法的可行性与实际效果，对MST−GCN模型与钻杆计数进行了实验。实验基于64位Windows 10操作系统进行，硬件配置：处理器为Intel(R) Xeon(R) E5−1680 v4，内存为32 GB，显卡为NVIDIA TITAN XP 12 GB；软件环境：图形处理加速器为CUDA10.1和cudnn7.6.5，编程语言为Python3.8，深度学习框架为Pytorch1.7.1。

4.1   数据集制作

为训练和评估MST−GCN模型，制作了Drill−action数据集。原始数据来自于河南某煤矿的机巷里段与集中回风巷，该位置画面整体清晰，且包含多段钻机工作视频。使用视频剪辑软件从原始视频中裁剪出825个动作，并统一调整成分辨率为640×480、帧率为25 帧/s、时长为8～10 s的短视频序列。其中，上杆和卸杆动作视频各300个，剩余为其他动作视频。划分数据集时，随机选出660个动作作为训练集，剩余为测试集。训练和评估模型前，先采用Alphapose算法在动作视频上检测出全部的人体骨架信息，再将其设置成大小为（2，3，150，18）的骨架序列数据。其中，“2”为每帧图像上最多保存2个人体平均置信度排序靠前的骨架，“3”为每个关键点维数，“150”为骨架序列的保存长度，18为关键点保存个数。人体平均置信度为

式中 $ {c}_{i} $ 为第i个关键点的置信度。

4.2   MST−GCN模型实验

4.2.1   模型训练

采用随机梯度下降法（Stochastic Gradient Descent，SGD）作为训练优化器，并设置动量因子为0.9，权重衰减系数为0.0001，Batchsize为32，模型迭代次数为100，初始学习率为0.01，在第40，60，80次迭代时将学习率依次衰减0.1倍。MST−GCN与ST−GCN模型的训练损失曲线如图11所示。

图  11  MST−GCN与ST−GCN模型的训练损失曲线

Figure  11.  Training loss curves of MST-GCN model and ST-GCN model

下载: 全尺寸图片 幻灯片

由图11可看出，在第28次迭代时，ST−GCN模型的损失值开始收敛，但MST−GCN模型仍在下降，并且最终损失值稳定在0.2以下，说明MST−GCN模型具有更强的学习能力。

4.2.2   模型评估

为验证对ST−GCN模型改进的有效性，在Drill−action数据集上进行了消融实验，并采用3种类别动作的整体准确率作为评估指标，结果见表1。表中ADD为常见的特征相加融合方法。

表  1  消融实验结果比较

Table  1.  Comparison of ablation experiment results

基准模型	编号	分区策略			特征融合		准确率/%
		原空间 分区策略	远空间 分区策略		ADD	SENet
ST−GCN	1	√	×		×	×	84.9
	2	×	√		×	×	83.1
	3	√	√		√	×	87.9
	4	√	√		×	√	91.1

下载: 导出CSV 

| 显示表格

比较表2中“1”，“2”和“3”的结果可知，同时采用2种空间分区策略的准确率最高，说明远空间分区策略可以改善模型仅使用原空间分区策略的特征提取不足问题；比较“3”和“4”结果可知，采用SENet进行特征融合可进一步提高模型的准确率。

为进一步证明MST−GCN模型的识别能力，将文献[15-16]中的模型与之对比，结果见表2。可看出MST−GCN模型较Alphapose−LSTM(Long Short Term Memory，长短期记忆)和NST−GCN（新分区策略的ST−GCN）模型的准确率分别提高了19.0%和4.8%。

表  2  不同模型的动作识别结果

Table  2.  Action recognition results of different models

模型方法	准确率/%
Alphapose−LSTM[15]	72.1
NST−GCN[16]	86.3
MST−GCN	91.1

下载: 导出CSV 

| 显示表格

4.3   钻杆计数实验

4.3.1   计数方法比较

为说明本文方法采用MST−GCN模型的计数效果更好，在相同条件下的打钻视频（共2段打钻视频，真实钻杆数量分别为80根和100根，且上杆、卸杆次数与钻杆数量保持一致）上对3种计数方法进行比较，结果见表3。表中人工方法是指实验室成员通过观看录像进行计数，“0”表示该方法未实现此功能。平均误差是指2段视频上的平均计数误差，如人工方法平均计数误差为[（80+80）×0.5−80]+[（102+101）×0.5−100]×0.5次。

表  3  3种计数方法的动作识别结果

Table  3.  Action recognition results of three counting methods

打钻 视频	真实钻 杆/根	人工方法			改进ResNet[9]			本文方法
		上杆/次	卸杆/次		上杆/次	卸杆/次		上杆/次	卸杆/次
1	80	80	80		0	88		79	80
2	100	102	101		0	134		98	102
平均误差		0.75			21			0.25

下载: 导出CSV 

| 显示表格

从表3可看出，3种计数方法与真实数量的平均误差依次为0.75，21，0.25次，显然本文方法的误差最小。经分析可知，人工方法因为实验室成员出现了注意力不集中的情况，从而造成误计数。改进ResNet方法因为只能识别出卸杆动作的某个简单状态，时序信息太少，所以误计数比较严重。

4.3.2   现场计数测试

为验证本文方法在煤矿井下的应用效果，在河南某煤矿搭建了实验平台进行测试。现场采集2台钻机的打钻录像，视频画面分辨率为1 280×720，目标分辨率为150×300~500×500，目标之间的遮挡堆叠面积低于目标15%，具体如图12所示。总共涉及18处钻孔，共1 300根钻杆，钻孔编号1—9为1号钻机的施工位置，编号10—18为5号钻机的施工位置。

计算某钻孔的钻杆数量$ {H}_{n} $（n为钻孔个数，1≤n≤18）时，根据以下步骤实现：

（1） 根据台账记录的上杆、卸杆时间范围，从录像机中取出关于该钻孔的上杆、卸杆视频。

（2） 在上杆视频中使用本文方法只识别上杆动作，并根据经验设置2次上杆动作的识别间隔为60 s，打钻姿势阈值为0.4，上杆动作的判断阈值为0.4，上杆次数为$ {U}_{n} $。同理在卸杆视频中只识别卸杆动作，并根据经验设置2次卸杆动作的识别间隔为8 s，打钻姿势阈值为0.4，卸杆动作的判断阈值为0.45，卸杆次数为$ {D}_{n} $。

图  12  现场测试打钻画面

Figure  12.  Field test drilling screen

下载: 全尺寸图片 幻灯片

（3） 待上杆和卸杆视频均被识别完后，计算该钻孔的钻杆数量。

所有钻孔的钻杆数量$ H $为

式中“$ \lceil \rceil $”为计算结果向上取整。

经过上述步骤，计算出18个钻孔的所有钻杆数量，结果见表4。比较表4中最后一行数据可知，单独以上杆、卸杆次数作为钻杆数量时，它们与真实钻杆数量的误差分别为46根和−28根。其中上杆数量比真实钻杆数量偏大，主要是因为上杆过程中的动作类型比较复杂，模型误识别为上杆动作的概率大；卸杆数量比真实钻杆数量偏小，主要是因为存在多根钻杆连在一起被卸下的情况，而本文方法只能识别为1个卸杆动作。不过，根据二者平均值计算的钻杆数量与真实数量的误差为9根，一定程度上降低了误差，结果满足实际应用需求。

表  4  全部钻孔的实验结果

Table  4.  The results of all drilling experiments

钻孔编号	真实钻杆/根	识别结果
		上杆/次	卸杆/次	均值/次
1	40	40	38	39
2	45	45	45	45
3	43	43	43	43
4	53	53	53	53
5	47	50	43	46.5
6	56	54	54	54
7	46	46	45	45.5
8	106	119	100	109.5
9	106	113	99	106
10	80	79	80	79.5
11	80	82	79	80.5
12	80	84	80	82
13	80	83	81	82
14	80	82	80	81
15	80	83	79	81
16	80	78	75	76.5
17	98	105	102	103.5
18	100	107	96	101.5
总计	1300	1346	1272	1309

下载: 导出CSV 

| 显示表格

5.   结论

（1） 提出了一种基于改进时空图卷积神经网络的钻杆计数方法。采用Alphapose算法在图像序列上得到表征人体动作的骨架序列数据；在ST−GCN模型的基础上，采用远空间分区策略关注骨架上距离较远的关键点运动信息，与注意力机制网络SENet融合2种空间特征，设计了MST−GCN模型，可以有效提升动作识别精度；在打钻视频上利用SVM辨识打钻姿势，利用MST−GCN模型识别动作类别，并根据实际打钻时间设置相邻动作的识别间隔，从而记录上杆、卸杆动作数量，实现钻杆计数。

（2） 为了验证MST−GCN模型的有效性，在自建的数据集上进行了实验，并与ST−GCN、Alphapose−LSTM及NST−GCN模型进行了对比，结果表明：MST−GCN、ST−GCN、Alphapose−LSTM及NST−GCN模型的识别准确率分别为91.1%、84.9%、72.1%和86.3%， MST−GCN模型的识别能力更好。在相同条件的打钻视频上，MST−GCN模型、人工方法和改进ResNet方法的计数结果平均误差依次为0.25，0.75，21次，说明MST−GCN模型的计数效果更好。在真实打钻1 300根的现场应用中，MST−GCN模型的平均误差为9根，误计数结果低，说明了基于改进时空图卷积神经网络的钻杆计数方法的可靠性。

（3） 该方法也存在一些不足，比如在频繁发生多根钻杆连接在一起被卸下的情况下，该方法可能会导致少计数问题。下一步工作将对此进行深入研究，以使方法适用于更复杂的工作环境。