Local feature-guided label smoothing and optimization for re-identification of underground personnel with weak features
-
摘要: 煤矿井下低照度、强光扰、高粉尘等环境条件，以及井下人员服装的相似性和脸部落煤现象，导致井下弱特征人员重识别困难。现有人员重识别方法仅提取全局特征，未充分考虑局部特征，使得井下人员重识别准确率较低。针对上述问题，提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法首先通过卷积神经网络提取井下人员图像的全局特征与局部特征；然后利用k最近邻相似性计算全局特征和局部特征的互补性得分，来衡量全局特征和局部特征的相似程度；最后根据特征互补性得分对局部特征进行标签平滑及对全局特征进行标签优化，即动态调整每个局部特征的权重，以改进每个局部特征的标签，并对局部特征的预测结果进行汇总，利用更可靠的信息来完善标签以作为全局特征的标签，从而减少图像噪声并增强特征识别能力。实验结果表明，该方法在公开数据集和包含井下人员图像的自建数据集上的平均精度均值（mAP）、第一匹配正确率（Rank−1）和平均逆置负样本惩罚率（mINP）总体优于主流人员重识别方法，具有良好的泛化性和鲁棒性，能有效实现井下弱特征人员重识别。Abstract: The low light, strong light disturbance, high dust and other environmental conditions underground in coal mines, as well as the similarity of clothing and coal falling on the face of underground personnel, make it difficult to re identify underground personnel with weak features. The existing personnel re identification methods only extract global features and do not fully consider local features, resulting in low accuracy of underground personnel re identification. In order to solve the above problems, a local feature guided label smoothing and optimization method for re-identification of underground personnel with weak features is proposed. This method first extracts global and local features of underground personnel images through convolutional neural networks. Secondly, the k-nearest neighbor similarity is used to calculate the complementarity score between global and local features, in order to measure the degree of similarity between global and local features. Finally, based on the score of feature complementarity, label smoothing is performed on local features and label optimization is performed on global features. The weight of each local feature is dynamically adjusted to improve the label of each local feature. The prediction results of local features are summarized. The more reliable information is used to improve the label as a global feature label, thereby reducing image noise and enhancing feature identification capability. The experimental results show that the method outperforms mainstream personnel re identification methods in terms of mean average precision (mAP), rank-1 accuracy (Rank-1), and mean inverse negative penalty (mINP) on both publicly available datasets and self built datasets containing images of underground personnel. It has good generalization and robustness, and can effectively achieve underground weak feature personnel re identification.
-
0. 引言
目前井下人员监控的研究大多止步于检测阶段[1]，以区间定位为主，缺乏对区间群体人员个人身份的分类和识别。人员重识别技术作为一种基于人体特征（如服装颜色、体型、走姿）的计算机视觉技术，能够跨时间和视角准确识别和追踪个体[2-3]，可与人员检测、跟踪技术相结合，应用于视频监控、智能安防等领域，对于有效预警人员违章行为、遏制井下超员生产具有重要意义。
煤矿井下低照度、强光线干扰、高浓度粉尘等特殊环境条件，以及井下人员服装的高度相似性和脸部落煤现象，使得井下人员图像在对比度和清晰度上较弱，导致井下弱特征人员重识别的难度增加。早期的人员重识别方法需要先手动提取图像特征[4-6]，再利用跨视图二次判别分析（Cross-view Quadratic Discriminant Analysis，XQDA）等方法来学习最佳的相似性度量[7]。然而，手动提取特征的能力有限，导致人员重识别精度较低。随着深度学习的发展，以卷积神经网络为代表的深度学习网络能够自动学习图像的层次化特征表示，从大量数据中提取出关键特征，从而提高人员重识别准确率[8-11]。孙彦景等[12]采用双鉴别式生成对抗网络对井下图像进行增强与复原，设计了一种基于全局特征描述的重识别网络，以解决井下作业人员身份识别问题。丁嘉婕[13]将卷积神经网络与注意力机制融合，设计了一种基于质量增强和解耦非局部注意力的井下人员重识别算法，在获得高精度结果的同时具有较低的复杂度。张立亚等[14]提出了基于改进度量学习的井下人员重识别方法，通过改进的三重损失函数解决度量学习中梯度消失或梯度弥散的问题。然而，上述研究在提取井下人员图像特征时仅集中于全局特征的提取，未充分考虑局部特征，导致细粒度信息遗失，在一定程度上制约了井下人员重识别准确率的提升。
针对上述问题，本文提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法根据全局特征和局部特征之间的k最近邻相似性来计算图像的特征互补性得分，并基于特征互补性得分进行标签平滑与标签优化，从而提高井下弱特征人员重识别准确率。
1. 方法原理
局部特征引导标签平滑与优化的井下弱特征人员重识别方法原理如图1所示。首先，通过卷积神经网络提取井下人员的深度特征，得到特征图。其次，对特征图分别进行区域均值池化与全局均值池化，得到对应的局部特征与全局特征。接着，分类器根据不同的输入特征进行预测，得到初步预测结果。然后，通过计算全局特征和局部特征的k最近邻相似性获得特征互补性得分，来衡量全局特征和局部特征的相似程度。最后，基于特征互补性得分进行标签平滑与标签优化，以更新预测结果。
![]()
图 1 局部特征引导标签平滑与优化的井下弱特征人员重识别方法原理Figure 1. Principle of local feature-guided label smoothing and optimization for re-identification of underground personnel with weak features1.1 特征提取与结果预测
假设数据集$ D = \left\{ {{x_i}} \right\} $，其中$ {x_i} $为第i（i=1，2，···，ND，ND为图像数量）个图像。通过卷积神经网络提取特征图$ \boldsymbol{F}(x_i)\in\boldsymbol{\mathrm{\mathbf{R}}}^{C\times H\times W} $，其中C，H，W分别为特征图的通道数、高度和宽度。对特征图进行广义均值池化，获得全局特征$ {\boldsymbol{f}}_i^{\mathrm{g}} $；同时将特征图均匀划分成NP个区域$ \boldsymbol{\mathrm{\mathbf{R}}}^{C\times(H/N_{\mathrm{P}})\times W} $，并在每个区域上进行均值池化，获得第n（n=1，2，···，NP）个局部特征$ {\boldsymbol{f}}_i^{{{\mathrm{p}}_n}} $。
分别计算全局特征的交叉熵损失Lg和局部特征的交叉熵损失Lp：
$$ {L_{\mathrm{g}}} = - \sum\limits_{i = 1}^{{N_{\mathrm{D}}}} {{y_i} \ln {\boldsymbol{V}}_i^{\mathrm{g}}} $$ (1) $$ L_{\mathrm{p}}=-\frac{1}{N_{\mathrm{P}}}\sum\limits_{i=1}^{N_{\mathrm{D}}}\sum\limits_{n=1}^{N_{\mathrm{P}}}y_i\ln\boldsymbol{V}_i^{\mathrm{p}_n} $$ (2) $$ {\boldsymbol{V}}_i^{\mathrm{g}} = {h_{{\text{φ}} {\mathrm{g}}}}({\boldsymbol{f}}_i^{\mathrm{g}}) $$ (3) $$ {\boldsymbol{V}}_i^{{{\mathrm{p}}_n}} = {h_{{\text{φ}}{{\mathrm{p}}_n}}}({\boldsymbol{f}}_i^{{{\mathrm{p}}_n}}) $$ (4) 式中：yi为真实标签；$ {\boldsymbol{V}}_i^{\mathrm{g}} $为由全局特征预测得到的预测向量；$ {\boldsymbol{V}}_i^{{{\mathrm{p}}_n}} $为第n个局部特征的预测向量；$ {h_{{\text{φ}} {\mathrm{g}}}}( \cdot ) $，$ {h_{{\text{φ}} {{\mathrm{p}}_n}}}( \cdot ) $分别为由全连接层和softmax函数组成的特征分类器。
计算softmax−triplet损失：
$$ {L_{{\mathrm{triplet}}}} = - \sum\limits_{i = 1}^{{N_{\mathrm{D}}}} {\ln \dfrac{{{\exp\left({\left\| {{\boldsymbol{f}}_i^{\mathrm{g}} - {\boldsymbol{f}}_{i,{\mathrm{n}}}^{\mathrm{g}}} \right\|}\right)}}}{{{\exp\left({\left\| {{\boldsymbol{f}}_i^{\mathrm{g}} - {\boldsymbol{f}}_{i,{\mathrm{p}}}^{\mathrm{g}}} \right\|}\right)} + {\exp\left({\left\| {{\boldsymbol{f}}_i^{\mathrm{g}} - {\boldsymbol{f}}_{i,{\mathrm{n}}}^{\mathrm{g}}} \right\|}\right)}}}} $$ (5) 式中：$ \left\| \cdot \right\| $为L2范数；$ {\boldsymbol{f}}_{i,{\mathrm{p}}}^{\mathrm{g}} $，$ {\boldsymbol{f}}_{i,{\mathrm{n}}}^{\mathrm{g}} $分别为最难正样本和负样本的全局特征。
总的损失为
$$ L = {L_{\mathrm{g}}} + {L_{\mathrm{p}}} + {L_{{\mathrm{triplet}}}} $$ (6) 1.2 特征互补性得分
鉴于全局特征与局部特征之间具有不同的结构相似性，常存在不可靠的互补信息。因此，确定互补信息的可靠性十分重要。为解决该问题，引入特征互补性得分，通过计算全局特征和局部特征的k最近邻相似性来衡量这2种特征的相似程度。首先，对全局特征和每个局部特征分别进行k最近邻搜索，在每个图像上生成$ (1 + {N_{\mathrm{P}}}) $个排名列表。然后，计算图像$ {x_i} $的全局特征和第n个局部特征之间的特征互补性得分：
$$ {c_i}({\boldsymbol{f}}_i^{\mathrm{g}},{{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}}) = \frac{{\left| {{R_i}({\boldsymbol{f}}_i^{\mathrm{g}},k) \cap {R_i}({{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}},k)} \right|}}{{\left| {{R_i}({\boldsymbol{f}}_i^{\mathrm{g}},k) \cup {R_i}({{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}},k)} \right|}} $$ (7) 式中：$ {R_i}({\boldsymbol{f}}_i^{\mathrm{g}},k) $，$ {R_i}({{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}},k) $分别为根据$ {\boldsymbol{f}}_i^{\mathrm{g}} $和$ {\boldsymbol{f}}_i^{{{\mathrm{p}}_n}} $计算出的排名列表中前k个样本的索引集合；$ \left| \cdot \right| $为集合的基数。
较高的特征互补性得分表示全局特征和局部特征具有较强的关联性，并能提供可靠的互补信息；较低的特征互补性得分表示两者的关联性较低，会提供不可靠的互补信息。
1.3 标签平滑与标签优化
由于全局特征聚类的标签不适合每个局部特征，局部特征的预测也不完全适合全局特征的标签，基于特征互补性得分进行标签平滑与优化来减少噪声。
1） 标签平滑。通常通过相同的全局标签来学习特征，这样往往忽略了局部上下文联系，不利于训练。例如，有些局部特征包含与人无关的提示（如遮挡物），应将其从训练中排除。因此，利用标签平滑法[15]，根据相应的特征互补性得分动态调整每个局部特征的权重，以优化每个局部特征的标签。
给定图像$ {x_i} $的标签$ {y_i} $，局部特征的标签平滑的表达式为
$$ \tilde{y}_i^{\mathrm{p}_n}=c_i(\boldsymbol{f}_i^{\mathrm{g}},\boldsymbol{f}_i^{\mathrm{p}_n})y_i+(1-\alpha_i^{\mathrm{p}_n})\boldsymbol{u} $$ (8) 式中：$ \alpha _i^{{{\mathrm{p}}_n}} $为不同局部特征的动态权重；$ \boldsymbol{u} $为均匀向量。
将平滑标签$ \tilde y_i^{{{\mathrm{p}}_n}} $代入式（2），并用 Kullback−Leibler（KL）散度[16]重新计算交叉熵损失：
$$ \begin{split} {\tilde L_{\mathrm{p}}} =& \frac{1}{{{N_{\mathrm{p}}}}}\sum\limits_{i = 1}^{{N_{\mathrm{D}}}} \sum\limits_{n = 1}^{{N_{\mathrm{P}}}} ({c_i}({\boldsymbol{f}}_i^{\mathrm{g}},{{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}})\tilde y_i^{{{\mathrm{p}}_n}}\ln {\boldsymbol{V}}_i^{{{\mathrm{p}}_n}}+\\ & (1 - {c_i}({\boldsymbol{f}}_i^{\mathrm{g}},{{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}})){d_{{\mathrm{KL}}}}({\boldsymbol{u}}\left\| {{\boldsymbol{V}}_i^{{{\mathrm{p}}_n}}} \right.)) \end{split}$$ (9) 式中$ d_{\mathrm{KL}}(\cdot) $为KL散度运算函数。
2） 标签优化。全局特征聚类通常会忽略细粒度信息，而局部特征具有丰富的上下文特征信息，可解决全局特征聚类过程中的标签噪声问题。由于区分度较低的局部特征可能会提供误导性信息，根据每个特征互补性得分，以不同权重对局部特征的预测结果进行汇总，从而利用更可靠的信息来完善标签，以作为全局特征的标签。具体来说，使用优化后的标签$ \tilde y_i^{\mathrm{g}} $作为全局特征的标签：
$$ \tilde y_i^{\mathrm{g}} = \beta {y_i} + (1 - \beta )\sum\limits_{n = 1}^{{N_{\mathrm{P}}}} {\omega _i^{{{\mathrm{p}}_n}}} {\boldsymbol{V}}_i^{{{\mathrm{p}}_n}} $$ (10) $$ \omega _i^{{{\mathrm{p}}_n}} = \frac{{\exp ({c_i}({\boldsymbol{f}}_i^{\mathrm{g}},{{\boldsymbol{f}}_i}^{{{\mathrm{p}}_n}}))}}{{\displaystyle\sum_{m = 1}^k\exp ({c_i}({\boldsymbol{f}}_i^{\mathrm{g}},{{\boldsymbol{f}}_i}^{{{\mathrm{p}}_m}}))} } $$ (11) 式中：$ \beta $为控制单一类别标签与集成预测比例的权重；$ \omega _i^{{{\mathrm{p}}_n}} $为局部特征$ {\boldsymbol{f}}_i^{{{\mathrm{p}}_n}} $的集成权重；$ {{\boldsymbol{f}}^{{{\rm{p}}_m}}} $为第m（m=1，2，···，k）个样本的局部特征。
与仅捕捉整体信息的全局特征不同，式（10）中的标签优化还考虑了来自局部细粒度信息预测的可靠性，该可靠性由特征互补性得分获得。
将优化标签$ \tilde y_i^{\mathrm{g}} $代入式（1）来训练全局特征：
$$ \tilde{L}_{\mathrm{g}}=-\sum\limits_{i=1}^{N_{\mathrm{D}}}\tilde{y}_i^{\mathrm{g}}\ln\boldsymbol{V}_i^{\mathrm{g}} $$ (12) 通过局部特征引导的标签优化，全局特征可从集成的局部特征预测中学习到更丰富的细粒度信息。
总的损失为
$$ L = {\tilde L_{\mathrm{p}}} + {\tilde L_{\mathrm{g}}} + {L_{{\mathrm{triplet}}}} $$ (13) 通过标签平滑与标签优化能有效降低噪声带来的影响，具有较低特征互补性得分的局部特征通过式（9）使用接近均匀分布的标签进行训练，而通过式（12）训练的全局特征则从局部特征中捕捉可靠的细粒度信息。此外，当所有局部特征预测的特征互补性得分较低时，优化标签中的集成预测最终会由于标签平滑坍缩为均匀向量，从而提供无意义的训练信号，进一步削弱噪声标签的影响，使网络实现更好的学习。
2. 实验结果与分析
2.1 实验条件
由于煤矿场景的特殊性，现有的公开行人重识别数据集（如Market1501和MSMT17）无法满足井下人员重识别的需求。在现有公开数据集的基础上，筛选出与井下人员图像较为类似的行人图像，并在此基础上添加大量井下人员图像，构建数据集CoalReID，共计3 139个身份的92 876张人员图像，其中包含公开数据集896个身份的25 894张行人图像及2 243个身份的66 982张井下人员图像。训练集与测试集分别为1 126个身份的29 356张人员图像和2 013个身份的63 520张人员图像。
采用在ImageNet[17]上预训练的ResNet−50[18]作为主干，删除第4层之后的所有层，并添加平均池化层，使用批归一化瓶颈（Batch Normalization Neck，BNNeck）[6]进行全连接分类。在测试过程中，只使用全局特征进行检索。图像大小调整为384×128，通过随机翻转、裁剪和擦除实现数据增强[19]。训练采用Adam[20]，权重衰减为5×10−4。设置初始学习率为3.5×10−4，每20个epoch后衰减为原来的1/10；局部特征数量为3；权重参数为0.5；计算特征互补性得分时的样本数量为20。
选取平均精度均值（mean Average Precision，mAP）、平均逆置负样本惩罚率（mean Inverse Negative Penalty，mINP）和累计匹配特征（Cumulative Matching Characteristics，CMC）的第一匹配正确率Rank−1作为评价指标。mAP综合考虑了查准率与查全率，能够反映方法在召回率和准确率上的整体表现性能；mINP能够衡量方法找到最难匹配样本所需要的代价，反映了检索到所有正样本的能力；Rank−1表示检索结果中置信度最高的人员图像概率，能直观反映即时检索能力。
2.2 消融实验
为验证基于特征互补性得分进行标签平滑与标签优化的有效性，使用AGW[11]作为基准方法，在自建数据集CoalReID、公开数据集Market1501和MSMT17上进行消融实验，结果见表1。可看出同时添加标签优化与标签平滑后，各项评价指标均最优。
表 1 消融实验结果Table 1. Ablation experimental results% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 69.3 78.3 52.7 AGW+标签优化 89.8 93.4 66.1 91.3 97.0 68.2 74.7 80.6 55. 6 AGW+标签平滑 88.6 93.1 65.8 90.8 96.8 67.7 75.3 83.8 56.7 AGW+标签优化+标签平滑 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8 2.3 不同方法对比实验
将本文方法与目前主流人员重识别方法AGW，RGT&RGPG[21]，SOLIDER[22]，BPBreID[23]，UniHCP[24]，st−ReID[25]，LDS[26]分别在自建数据集CoalReID、公开数据集Market1501和MSMT17上进行性能对比，结果见表2。
从表2可看出，本文方法在自建数据集CoalReID上的mAP，Rank−1，mINP均最优，在公开数据集Market1501和MSMT17上的各项性能也较均衡，表明本文方法具有很好的泛化性能。
表 2 不同方法在各数据集上的性能对比Table 2. Performance comparison of different methods on various datasets% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 49.3 68.3 14.7 RGT&RGPG 88.3 93.4 65.3 95.6 96.9 70.3 65.9 86.2 51.3 SOLIDER 83.5 88.6 60.9 95.6 96.7 71.2 86.5 91.7 60.1 BPBreID 79.3 85.3 59.8 95.3 96.4 71.0 73.2 87.3 56.2 UniHCP 84.2 83.1 58.3 90.3 95.8 66.4 67.3 79.3 60.8 st−ReID 87.3 92.9 65.1 95.5 98.0 68.9 71.2 87.1 56.3 LDS 91.2 95.3 66.8 94.9 96.1 68.3 79.1 88.3 58.4 本文方法 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8 为进一步证明本文方法在井下人员重识别上的优越性，在自建数据集CoalReID中剔除公开行人图像，仅对井下人员图像进行实验，结果见表3。
表 3 不同方法在仅包含井下人员图像的自建数据集CoalReID上的性能对比Table 3. Performance comparison of different methods on self-built CoalReID dataset containing only underground personnel images% 方法 mAP Rank−1 mINP AGW 79.3 83.5 50.1 RGT&RGPG 79.6 84.1 55.3 SOLIDER 82.4 85.1 58.3 BPBreID 73.2 79.1 55.8 UniHCP 80.3 84.2 60.1 st−ReID 85.3 86.9 60.3 LDS 84.2 85.3 59.8 本文方法 90.1 93.3 68.4 对比表2和表3可知，当自建数据集CoalReID仅包含井下人员图像时，在公开数据集表现较好的主流人员重识别方法性能下降明显，而本文方法的mAP，Rank−1，mINP相比其他方法表现出了明显的优越性，表明本文方法具有很好的鲁棒性。
2.4 可视化结果
为直观观察本文方法的井下人员重识别结果，从自建数据集CoalReID中随机选取4张井下人员图像进行查询，可视化结果如图2所示。
图2中，图像上的数字1−10表示预测结果与查询图像中人员相似性由高到低的排序序号；如果数字的颜色为绿色，表示预测结果与查询图像中人员为同一身份，为红色则表示为不同身份。可看出本文方法能有效实现井下人员正确重识别。
![]()
图 2 井下人员重识别可视化结果Figure 2. Visualization results of underground personnel re-identification2.5 实际场景检测效果
为验证本文方法在实际场景中的有效性，选取在煤矿候车室、行人下山平台及副井底候罐室3个不同场景实地拍摄的若干组视频用于验证，结果如图3所示。图中黄色矩形框表示需要查询的目标人员，红色矩形框表示重识别定位的目标人员，绿色矩形框表示与查询人员对应的正确人员。从图3可看出，本文方法在多数情况下能准确识别目标人员，但在人员密集的场景下会出现识别错误的情况，这是由于受到人员遮挡的影响，识别性能受到一定限制。
3. 结论
1） 提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。首先，通过卷积神经网络提取人员图像的全局特征与局部特征。然后根据全局特征与局部特征之间的k最近邻相似性来计算特征互补性得分。最后，基于特征互补性得分，对局部特征进行标签平滑及对全局特征进行标签优化，解决噪声问题，从而提高井下弱特征人员重识别的准确性。
2） 实验结果表明，该方法在公开数据集Market1501、MSMT17和自建数据集CoalReID上的mAP，Rank−1，mINP总体优于主流人员重识别方法，具有良好的泛化性和鲁棒性，适用于井下弱特征人员重识别。
3） 未来的研究中可考虑引入更先进的特征提取和匹配技术，以提高该方法在人员密集复杂场景中的准确率。
-
![]()
图 1 局部特征引导标签平滑与优化的井下弱特征人员重识别方法原理
Figure 1. Principle of local feature-guided label smoothing and optimization for re-identification of underground personnel with weak features
![]()
图 2 井下人员重识别可视化结果
Figure 2. Visualization results of underground personnel re-identification
表 1 消融实验结果
Table 1 Ablation experimental results
% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 69.3 78.3 52.7 AGW+标签优化 89.8 93.4 66.1 91.3 97.0 68.2 74.7 80.6 55. 6 AGW+标签平滑 88.6 93.1 65.8 90.8 96.8 67.7 75.3 83.8 56.7 AGW+标签优化+标签平滑 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8 
下载: 导出CSV
表 2 不同方法在各数据集上的性能对比
Table 2 Performance comparison of different methods on various datasets
% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 49.3 68.3 14.7 RGT&RGPG 88.3 93.4 65.3 95.6 96.9 70.3 65.9 86.2 51.3 SOLIDER 83.5 88.6 60.9 95.6 96.7 71.2 86.5 91.7 60.1 BPBreID 79.3 85.3 59.8 95.3 96.4 71.0 73.2 87.3 56.2 UniHCP 84.2 83.1 58.3 90.3 95.8 66.4 67.3 79.3 60.8 st−ReID 87.3 92.9 65.1 95.5 98.0 68.9 71.2 87.1 56.3 LDS 91.2 95.3 66.8 94.9 96.1 68.3 79.1 88.3 58.4 本文方法 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8
下载: 导出CSV
表 3 不同方法在仅包含井下人员图像的自建数据集CoalReID上的性能对比
Table 3 Performance comparison of different methods on self-built CoalReID dataset containing only underground personnel images
% 方法 mAP Rank−1 mINP AGW 79.3 83.5 50.1 RGT&RGPG 79.6 84.1 55.3 SOLIDER 82.4 85.1 58.3 BPBreID 73.2 79.1 55.8 UniHCP 80.3 84.2 60.1 st−ReID 85.3 86.9 60.3 LDS 84.2 85.3 59.8 本文方法 90.1 93.3 68.4
下载: 导出CSV
-
[1] 易能. 基于深度学习的双目视觉煤矿井下人员定位研究[D]. 徐州:中国矿业大学,2023. YI Neng. Research on binocular vision underground personnel positioning in coal mine based on deep learning[D]. Xuzhou:China University of Mining and Technology,2023.
[2] 侯瑞兵,常虹,马丙鹏,等. 基于时序多尺度互补特征的视频行人重识别[J]. 计算机学报,2023,46(1):31-50. HOU Ruibing,CHANG Hong,MA Bingpeng,et al. Temporal multi-scale complementary feature for video person re-identification[J]. Chinese Journal of Computers,2023,46(1):31-50.
[3] 王素玉,肖塞. 行人重识别研究综述[J]. 北京工业大学学报,2022,48(10):1100-1112. WANG Suyu,XIAO Sai. Review of person re-identification[J]. Journal of Beijing University of Technology,2022,48(10):1100-1112.
[4] DALAL N,TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,2005:886-893.
[5] LOWE D G. Object recognition from local scale-invariant features[C]. IEEE International Conference on Computer Vision,Kerkyra,1999:1150-1157.
[6] LIAO Shengcai,HU Yang,ZHU Xiangyu,et al. Person re-identification by local maximal occurrence representation and metric learning[C]. IEEE Conference on Computer Vision and Pattern Recognition,Boston,2015:2197-2206.
[7] MARTIN K,HIRZER M,WOHLHART P,et al. Large scale metric learning from equivalence constraints[C]. IEEE Conference on Computer Vision and Pattern Recognition,Providence,2012:2288-2295.
[8] YI Dong,LEI Zhen,LIAO Shengcai,et al. Deep metric learning for person re-identification[C]. The 22nd International Conference on Pattern Recognition,Stockholm,2014:34-39.
[9] CHEN Yanbei,ZHU Xiatian,GONG Shaogang. Person re-identification by deep learning multi-scale representations[C]. IEEE International Conference on Computer Vision Workshops,Venice,2017:2590-2600.
[10] LUO Hao,GU Youzhi,LIAO Xingyu,et al. Bag of tricks and a strong baseline for deep person re-identification[C]. IEEE Conference on Computer Vision and Pattern Recognition,Long Beach,2019:580-587.
[11] YE Mang,SHEN Jianbing,LIN Gaojie,et al. Deep learning for person re-identification:a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(6):2872-2893. DOI: 10.1109/TPAMI.2021.3054775
[12] 孙彦景,魏力,张年龙,等. 联合DD−GAN和全局特征的井下人员重识别方法[J]. 西安电子科技大学学报,2021,48(5):201-211. SUN Yanjing,WEI Li,ZHANG Nianlong,et al. Person re-identification method combining the DD-GAN and global feature in a coal mine[J]. Journal of Xidian University,2021,48(5):201-211.
[13] 丁嘉婕. 基于质量增强和注意力机制的井下行人重识别算法[D]. 徐州:中国矿业大学,2022. DING Jiajie. Mine person re-identification algorithm based on quality enhancement and attention mechanism[D]. Xuzhou:China University of Mining and Technology,2022.
[14] 张立亚,王寓,郝博南. 基于改进度量学习的煤矿井下行人重识别方法研究[J]. 工矿自动化,2023,49(9):84-89,166. ZHANG Liya,WANG Yu,HAO Bonan. Research on personnel re-recognition method in coal mine underground based on improved metric learning[J]. Journal of Mine Automation,2023,49(9):84-89,166.
[15] 熊炜,杨荻椿,熊子婕,等. 基于全局特征拼接的行人重识别算法研究[J]. 计算机应用研究,2021,38(1):316-320. XIONG Wei,YANG Dichun,XIONG Zijie,et al. Person re-identification algorithm based on global feature stitching[J]. Application Research of Computers,2021,38(1):316-320.
[16] PEREYRA G,TUCKER G,CHOROWSKI J,et al. Regularizing neural networks by penalizing confident output distributions[EB/OL]. [2023-08-20]. http://arxiv.org/abs/1701.06548.
[17] DENG Jia,DONG Wei,SOCHER R,et al. ImageNet:a large-scale hierarchical image database[C]. IEEE Conference on Computer Vision and Pattern Recognition,Miami,2009:242-252.
[18] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:770-778.
[19] SHORTEN C,KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data,2019,6(1):532-540.
[20] ZHANG Zijun. Improved Adam optimizer for deep neural networks[C]. IEEE/ACM 26th International Symposium on Quality of Service,Banff,2018:1320-1331.
[21] GONG Yunpeng,HUANG Liqing,CHEN Lifei. Eliminate deviation with deviation for data augmentation and a general multi-modal data learning method[EB/OL]. [2023-08-20]. https://arxiv.org/abs/2101.08533v5.
[22] CHEN Weihua,XU Xianzhe,JIA Jian,et al. Beyond appearance:a semantic controllable self-supervised learning framework for human-centric visual tasks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Vancouver,2023:15050-15061.
[23] SOMERS V,VLEESCHOUWER C D. Body part-based representation learning for occluded person re-identification[C]. IEEE/CVF Winter Conference on Applications of Computer Vision,Waikoloa,2023:1613-1623.
[24] CI Yuanzheng,WANG Yizhou,CHEN Meilin,et al. UniHCP:a unified model for human-centric perceptions[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Vancouver,2023:17840-17852.
[25] WANG Guangcong,LAI Jianhuang,HUANG Peigen,et al. Spatial-temporal person re-identification[C]. AAAI Conference on Artificial Intelligence,Honolulu,2019:8933-8940.
[26] ZANG Xianghao,LI Ge,GAO Wei,et al. Learning to disentangle scenes for person re-identification[J]. Image and Vision Computing,2021,116. DOI: 10.1016/j.imavis.2021.104330.
-
期刊类型引用(1)
1. 邱伟，刘兴，班国邦，付磊，周骏超. 基于神经网络的复杂作业人员操作特征识别. 电力大数据. 2024(11): 81-90 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 128
- HTML全文浏览量: 42
- PDF下载量: 11
- 被引次数: 1
