Personnel localization method for low-visibility environments based on improved YOLOv3
-
摘要: 煤矿井下光照不足、粉尘遮挡,井下视频监控系统采集的人员目标在二维图像中表现为小目标或低可见度目标时,原始YOLOv3网络的Darknet53特征金字塔结构无法充分提取和保留目标的细节信息,导致定位结果不准确。针对上述问题,提出了一种低可见度环境下基于改进YOLOv3的井下人员定位方法。首先,结合β函数映射和帧间信息增强技术,提升低可见度环境下煤矿井下监控视频的清晰度。然后,采用更轻量级的Darknet−19替代YOLOv3中的Darknet53,并引入CIoU作为损失函数,利用改进YOLOv3识别增强后视频中的井下人员目标。最后,基于映射模型将识别到的目标从二维空间投影至三维空间,结合三维定位结果完成井下人员定位。选用某煤矿一段低可见度环境下井下监控视频进行实验,结果表明:① 经过基于改进YOLOv3的井下人员定位方法处理后的视频帧亮度、可见度和各项评价指标(平均灰度、平均对比度、信息熵与灰度谱带宽)较原始视频均有明显提升,整体光照条件得到显著改善,且处理后的视频帧对比度得到增强,目标和背景之间更易区分,证明了采用的图像增强技术的有效性。② 改进YOLOv3模型能准确识别视频帧中的井下工作人员,不存在漏识别问题。③ 采用已知位置的标定物或人工标注的的真实三维位置作为基准,计算投影结果与真实位置之间的偏差(偏差计算涵盖X,Y,Z方向上的距离偏差),其中X方向和Y方向上的偏差均小于0.2 m,Z方向上的偏差小于0.002 m,表明构建的映射模型的映射效果好且定位精度较高。Abstract: In coal mines, inadequate lighting and dust obstruction result in personnel targets captured by video monitoring systems appearing as small or low-visibility objects in two-dimensional images. The original YOLOv3 network's Darknet53 feature pyramid structure was insufficient for effectively extracting and preserving detailed information about these targets, leading to inaccurate localization. To address this issue, personnel localization method for low-visibility environments based on improved YOLOv3 was. First, the clarity of coal mine monitoring videos under low-visibility conditions was enhanced using a combination of β function mapping and inter-frame information enhancement techniques. Next, Darknet53 in YOLOv3 was replaced with the lighter Darknet-19, and CIoU was introduced as the loss function to optimize personnel target identification in the enhanced video. Finally, the identified targets were projected from two-dimensional space to three-dimensional space based on the mapping model, completing the personnel localization process. Experiments conducted on monitoring videos from a coal mine in low-visibility conditions revealed the following findings: ① After applying the improved YOLOv3, the brightness, visibility, and various evaluation metrics (average gray level, average contrast, information entropy, and gray spectral bandwidth) of the video frames demonstrated significant improvements compared to the original videos. There was a substantial enhancement in overall lighting conditions and contrast, facilitating better differentiation between targets and backgrounds, thereby validating the effectiveness of the image enhancement techniques employed. ② The improved YOLOv3 accurately identified personnel in the video frames, with no instances of missed detections. ③ Using calibrated objects or manually annotated real three-dimensional positions as benchmarks, the deviation between the projected results and the actual positions was calculated (covering distance deviations in the X, Y, and Z directions). The deviations in both the X and Y directions were below 0.2 m, while the deviation in the Z direction was below 0.002 m, indicating a high mapping effect and localization accuracy of the constructed mapping model.
-
0. 引言
在煤矿生产过程中,井下人员定位的准确性和可靠性在保证安全生产和正常运营中至关重要[1-2]。受井下光线不足、视线受阻及矿道结构复杂等因素的影响,传统定位技术因信号衰减、多径效应和遮挡等问题而失效。因此,开发一种能够在低可见度环境(如光线不足、视线受阻)下准确、可靠地定位井下人员的方法,对于提高煤矿安全生产水平、减少事故发生、保障矿工生命安全具有现实意义[3]。
目前已有大量的研究围绕井下人员定位方法展开。刘晓阳等[4]在离线状态下将井下环境划分为若干子区域,构建对应区域的位置指纹库,在在线状态下通过过程改进工具(Process Improvement Tool,PIT)子区域实行初步定位,并通过压缩感知重构精确定位,引入K自选择改进压缩感知(Sparse Representation,SP)算法,实现井下人员定位。该方法在初步定位阶段,由于PIT子区域的划分基于较大的空间尺度,小目标或低可见度目标会因为分辨率不足而被忽略或误判,导致定位精度下降,无法准确反映井下人员的实际位置。Wu Bin[5]提出基于改进蒙特卡洛方法的地下人员定位算法,有效提高了地下目标的定位精度。该算法在采样初始化阶段,信标节点根据接收信号强度指示(Received Signal Strength Indication, RSSI)大小逐渐构建采样区域,并结合蒙特卡洛方法进一步缩小范围,提高采样成功率。但如果RSSI受到低可见度环境的影响,会导致信号衰减或失真,进而影响采样区域的构建。小目标由于其信号强度较弱,在RSSI排序时可能被忽略或置于较远的采样区域,无法充分提取其位置信息,导致定位精度下降。王智勇等[6]首先通过双程双向测距方法测量基站与井下人员之间的距离,建立Chan算法估计目标位置坐标,然后采用泰勒公式对所得位置坐标迭代更新,最后采集特定点距离指纹构建指纹库,利用优化后最小二乘支持向量机估计目标位置坐标,并结合迭代更新的位置坐标对最终坐标加以优化,实现井下人员定位。双程双向测距方法在一定程度上能够减少测距误差,但信号在传播过程中容易受到低可见度环境的影响,导致测距结果不准确。Cao Bo等[7]结合高斯混合模型(Gaussian Mixture Model,GMM)、基于神经网络的交互多模型(Interacting Multiple Model, IMM)、Caffery定位和飞蛾火焰优化算法提出了混合定位算法。首先使用GMM对距离重新估计,然后在 IMM框架下,结合变分贝叶斯容积卡尔曼滤波器与神经网络,以有效减少非视距误差,并通过Caffery定位方法计算井下人员位置坐标,最后引入飞蛾火焰优化算法优化混合定位算法的定位结果,实现井下人员定位。GMM在处理复杂的距离数据时能够提供较好的拟合效果。然而,当输入数据受到低可见度环境的影响时,GMM无法准确地捕捉到这些变化,这会影响对距离的重新估计,导致定位结果不准确。
针对上述问题,本文提出一种基于改进YOLOv3的井下人员定位方法。首先,通过β函数映射和帧间信息增强技术,提升低可见度环境下煤矿井下监控视频的清晰度。然后,采用更轻量级的Darknet−19替代YOLOv3原生的Darknet53,并引入CIoU损失函数,对YOLOv3进行优化,以准确识别增强视频中的井下人员目标。最后,利用映射模型将识别到的目标从二维空间映射到三维空间,结合三维定位结果,煤矿管理人员可以更加直观地了解井下人员的工作状态与位置分布,从而制定出更加科学合理的安全预案与应急响应措施,提升煤矿生产的安全性与效率。
1. 低可见度环境下井下监控视频增强
由于煤矿井下光线不足、灰尘等原因,采集到的监控视频往往存在质量问题,影响后续处理和分析工作。β函数映射在图像处理中能够通过对像素值的非线性变换,调整图像的亮度和对比度,从而在保持图像整体视觉效果的同时,突出显示图像中的细节信息,特别适用于处理照度低或对比度差的图像。因此,本文将β函数映射和帧间信息增强结合,来改善煤矿井下监控视频的质量,使图像更加清晰、对比度更高、细节更加丰富。
1) 照度分量提取。为了在增强监控视频时不改变视频原本颜色信息,需将视频由RGB空间映射至HSI空间[8]。
$$ \left\{ \begin{gathered} H = \left\{ \begin{gathered} {\arccos }\left( {\frac{{2R - G - B}}{{2\sqrt {{{\left( {R - G} \right)}^2} + \left( {R - B} \right)\left( {G - B} \right)} }}} \right)\;\;G \geqslant B \\ 2{\text{π}} - {\arccos }\left( {\frac{{2R - G - B}}{{2\sqrt {{{\left( {R - G} \right)}^2} + \left( {R - B} \right)\left( {G - B} \right)} }}} \right)\;\;G < B \\ \end{gathered} \right. \\ S = 1 - \frac{{3\min \left( {R,G,B} \right)}}{{R + G + B}} \\ I = \frac{{R + G + B}}{3} \\ \end{gathered} \right. $$ (1) 式中:$ H $,$ S $,$ I $分别为色调、色饱和度和亮度;$ R $,$ G $,$ B $分别为RGB空间的3种颜色。
为了避免色彩失真,采用β函数映射和帧间信息增强方法,对HSI空间中的亮度信息$ I $进行增强处理。亮度信息$ I $是影响图像可见性和细节显示的关键因素。对于视频帧中任意像素点$ \left( {a,b} \right) $,其亮度分量为
$$ I\left(a,b\right)=A\left(a,b\right)L\left(a,b\right)HSI $$ (2) 式中:$ A\left(a,b\right) $为反射分量;$ L\left( {a,b} \right) $为照度分量。
对数变换可以将较大的亮度差异压缩到较小的范围内,使得较暗和较亮区域在视觉上更加平衡。对数形式更能贴近人眼对亮度的感知方式,且计算更加方便,所以将式(2)转换为
$$ {\mathrm{log}}_2I\left(a,b\right)={\mathrm{log}}_2A\left(a,b\right){\mathrm{log}}_2L\left(a,b\right)HSI $$ (3) 多尺度Retinex算法(Multi Scale Retinex,MSR)[9]是一种用于图像增强的技术,通过在不同尺度上应用Retinex理论来估计图像的反射率分量,并利用这些反射率图像来增强图像的亮度和对比度。利用MSR算法将照度分量表示为
$$ {\mathrm{log}}_2L\left(a,b\right)=\sum\limits_{m=1}^M\omega_m\left[{\mathrm{log}}_2I\left(a,b\right)F_m\left(a,b\right)\right] $$ (4) 式中:m为高斯滤波器核尺寸,$ m \in \left\{ {1,2, \cdots ,M} \right\} $,M为高斯滤波器最大核尺寸;$ {\omega _m} $为权重;$ {F_m}\left( {a,b} \right) $为高斯低通卷积函数[10]。
2) 照度映射。将视频帧的照度分量$ L $的直方图拉伸到[0, 255]范围内。直方图拉伸是一种简单的对比度增强方法,通过扩展图像中最亮和最暗像素之间的间隔来改进图像的对比度。
$$ L=\frac{L-L_{\min}}{L_{\max}-L_{\min}}{\mathrm{log}}_2L\left(a,b\right) $$ (5) 式中$ {L_{\min }} $和$ {L_{\max }} $分别为视频帧照度分量的最小值和最大值。
为了使视频帧的直方图尽可能分布均匀,定义评价函数$ f\left( k \right) $,用于评估不同照度分量在视频帧中的分布情况,$ f\left( k \right) $越大,则增强效果越好。
$$ \left\{ \begin{gathered} f\left( k \right) = L\frac{{\partial J\left( k \right)}}{{\partial \alpha }} + \frac{{\partial J\left( k \right)}}{{\partial \beta }} \\ J\left( k \right) = \frac{{\displaystyle \sum\limits_{n = 0}^{255} {{Q^2}\left( {{L_k}} \right)} N}}{{n{D^2}\left( {\alpha ,\beta } \right)}} - \frac{{{{\left[ {\displaystyle \sum\limits_{n = 0}^{255} {{Q^2}\left( {{L_k}} \right)} N} \right]}^2}}}{{{n^2}{D^2}\left( {\alpha ,\beta } \right)}} \\ Q\left( {{L_k}} \right) = \int\nolimits_0^{{L_k}} {{t^{\alpha - 1}}{{\left( {1 - t} \right)}^{\beta - 1}}{\mathrm{d}}t} \\ D\left( {\alpha ,\beta } \right) = \int\nolimits_0^1 {{t^{\alpha - 1}}{{\left( {1 - t} \right)}^{\beta - 1}}{\mathrm{d}}t} \\ \end{gathered} \right. $$ (6) 式中:J(k)为输出照度分量$ {L_k} $的加权和;$ \alpha $和$ \beta $为增强参数;$ Q(\cdot ) $为输出照度分量$ {L_k} $的分布函数;$ N $为视频帧中输出照度分量$ {L_k} $的像素总数;$ n $为像素值;$ D(\cdot ) $为对比度增强函数;t为灰度级。
使用非完全$ D(\cdot) $作为映射工具,实现对图像照度分量的归一化处理,以确保将照度分量映射到期望的输出范围。
$$ P\left( {{L_k}} \right) = \frac{{\displaystyle \int\nolimits_0^{{L_k}} {{t^{\alpha - 1}}{{\left( {1 - t} \right)}^{\beta - 1}}{\mathrm{d}}t} }}{{f\left( k \right)D\left( {\alpha ,\beta } \right)}} $$ (7) 采用照度映射和直方图拉伸技术对视频帧的对比度进行增强,并利用非完全$D(\cdot ) $进一步调整照度分量的分布,使得视频帧的直方图尽可能均匀,从而提升视频的整体视觉效果。
3) 视频重建。在增强照度分量后,需要将其与原始的反射分量结合,以重建视频帧的亮度分量。由于照度分量代表图像的全局亮度信息,而反射分量则与物体的表面材质和颜色有关,所以将这两者结合可以恢复出既保留了原始颜色信息又增强了亮度的视频帧。
$$ \left\{ \begin{gathered} h = \frac{{{\text{π}} H}}{{180}}P\left( {{L_k}} \right) \\ s = \frac{S}{{100}}P\left( {{L_k}} \right) \\ i = \frac{I}{{255}}P\left( {{L_k}} \right) \\ \end{gathered} \right. $$ (8) $$ \left\{ \begin{gathered} c = i\left( {1 - s} \right) \\ d = i\left[ {1 + \frac{{s \cos h }}{{\cos \left( {\dfrac{{\text{π}} }{3} - h} \right)}}} \right] \\ e = 3i - \left( {c + d} \right) \\ \end{gathered} \right. $$ (9) 式中:h,s,i分别为重建后的色调、色饱和度和亮度;c,d,e分别为重建视频帧亮度层的中间变量。
当$ h < \dfrac{{2{\text{π}} }}{3} $时,令$ R = d $,$ G = e $,$ B = c $;当$ \dfrac{{2{\text{π}} }}{3} \leqslant h < \dfrac{{4{\text{π}} }}{3} $时,令$ h = h - \dfrac{{2{\text{π}} }}{3} $,$ R = c $,$ G = d $,$ B = e $;当$ \dfrac{{4{\text{π}} }}{3} \leqslant h < 2{\text{π}} $时,令$ h = h - \dfrac{{4{\text{π}} }}{3} $,$ R = e $,$ G = c $,$ B = e $。
4) 视频帧间增强。由于视频相邻帧之间相关性较强且直方图相似性较高,所以,相邻帧图像增强参数变化较小。首先将监控视频的首帧选定为基准帧,并计算其增强参数。然后对比下一帧与基准帧直方图的差异,若欧几里得距离小于设定阈值,则直接采用基准帧增强参数处理当前帧,否则将当前帧作为基准帧并计算增强参数。最后重复该过程,直到完成整段视频的增强处理。
2. 基于改进YOLOv3的井下人员定位方法
2.1 改进YOLOv3
YOLOv3网络基于特征金字塔(Feature Pyramid Network, FPN)结构,该结构通过融合不同尺度的特征,能够显著增强目标检测的能力。然而,在煤矿井下这一特定环境中,存在大量的小目标和低可见度目标,传统的FPN在融合特征时无法充分提取和保留这些目标的细节信息,导致对这类目标的识别效果不佳,难以满足井下安全监控的要求。鉴此,引入Darknet−19替换YOLOv3网络中的Darknet53,Darknet−19较Darknet53具有更简洁的网络架构,能够在减少计算复杂度的同时,保持对关键特征的提取能力,使YOLOv3能够更好地适应煤矿井下复杂多变的环境条件,提高识别精度。
将增强后的井下监控视频作为改进YOLOv3的输入来进行井下人员识别。改进YOLOv3结构和具体参数如图1所示。
采用YOLOv3的损失函数时,即使IoU在训练过程中达到相同的损失值[11],但将其应用于现实场景生中也可能产不同的效果,即采用IoU作为损失函数无法真实描述候选框与真实框的相对位置。因此,采用CIoU替代IoU作为YOLOv3的损失函数[12],CIoU能够全面考虑待识别目标与锚之间的相对尺寸、距离、重合率、惩罚项等影响因素,有助于提升回归框的稳定性。
$$ \left\{\begin{gathered}\text{CIoU}=\text{IoU}-\frac{l\left(o,o^{\mathrm{gt}}\right)}{c\text{z}^2}-o\varepsilon\theta \\ \mathrm{IoU}=\frac{\left|E\cap U\right|}{\left|E\cup U\right|} \\ \varepsilon=1-\frac{\theta}{1-\mathrm{IoU}+\theta} \\ \theta=\frac{4\left(\arctan\dfrac{w^{\mathrm{gt}}}{q^{\mathrm{gt}}}-\arctan\dfrac{w}{q}\right)^2}{\text{π}^2} \\ \end{gathered}\right. $$ (10) 式中:$ l\left( {o,{o^{{\mathrm{gt}}}}} \right) $为真实框中心坐标$ {o^{{\mathrm{gt}}}} $与预测框中心坐标$ o $之间的欧几里得距离;$ {\textit{z}} $为同时包含真实框和候选框的最小包合区域对角线值;$ \varepsilon $为常数;$ \theta $为长宽比的差异;$ E $为预测框面积;U为真实框面积;$ {w^{{\mathrm{gt}}}} $为真实框的宽度;$ {q^{{\mathrm{gt}}}} $为真实框的高度;$ w $为宽度;$ q $为高度。
采用 CIoU 作为YOLOv3 的损失函数,并将其替换至YOLOv3网络中,将增强处理后的井下监控视频输入至改进YOLOv3结构中,实现井下人员识别,为后续的人员定位提供基础数据。
$$ {\mathrm{LOSS}} = 1 - {\mathrm{CIoU}} $$ (11) 2.2 井下人员定位
直接依赖目标识别结果进行定位,往往受限于视角、光照条件及遮挡物的影响,导致定位结果不够精确,难以满足井下安全生产对高精度定位的需求。此外,井下存在大量的障碍物和遮挡物,会影响目标检测效果,导致漏检或误检。三维空间定位不仅包含二维平面上的位置信息,还涵盖深度(或高度)信息,能够更全面地反映人员在三维空间中的具体位置。因此,通过改进YOLOv3识别到井下人员后,采用映射模型投影视频帧中二维目标至三维空间。映射模型通常能够融合多种传感器的数据以获取更全面的井下环境信息。这些信息有助于更准确地构建三维空间模型,并进行目标定位。通过映射模型将二维目标投影至三维空间,利用三维空间中的几何关系和约束条件,对目标位置进行更精确的计算和推断。这有助于减少定位误差,提高定位的稳定性。
构建映射模型需要确定世界坐标系$ O\mathrm{_w}X_{\mathrm{w}}Y\mathrm{_w}Z_{\mathrm{w}} $、相机坐标系$ O_{\mathrm{c}}X_{\mathrm{c}}Y\mathrm{_c}Z\mathrm{_c} $、图像坐标系$ OXY $和像素坐标系$ OUV $。假设存在任意一点,在4个坐标系中的坐标依次为$ T_{\mathrm{w}}\left(x_{\mathrm{w}},y\mathrm{_w},\text{z}_{\mathrm{w}}\right) $,$ T\mathrm{_c}\left(x_{\mathrm{c}},y\mathrm{_c},\text{z}_{\mathrm{c}}\right) $,$ {T_{xy}}\left( {x,y} \right) $和$ {T_{uv}}\left( {u,v} \right) $。依据小孔成像和坐标转换原理[13-14],可得到该点在$ O\mathrm{_w}X\mathrm{_w}Y_{\mathrm{w}}Z_{\mathrm{w}} $和$ OUV $中齐次映射关系为
$$ \left[\begin{array}{*{20}{c}}u \\ v \\ 1\end{array}\right]=\gamma\boldsymbol{K}\left( \begin{array}{*{20}{c}}\boldsymbol{\delta} & W\end{array} \right)\left[\begin{array}{*{20}{c}}x_{\mathrm{w}} \\ y_{\mathrm{w}} \\ \text{z}_{\mathrm{w}}\end{array}\right] $$ (12) 式中:$ \gamma $为相机尺度因子;$ {\boldsymbol{K}} $为相机内参矩阵;$ {\boldsymbol{\delta}} = \left[ {\begin{array}{*{20}{c}} {{\delta_1}}& {{\delta_2}} \end{array}} \right] $为外参旋转矩阵,$ \boldsymbol{\delta} $的构成元素$ \delta_1 $和$ \delta_2 $满足正交且模为1;$ W $为外参平移量。
$ {O_{\mathrm{w}}}{X_{\mathrm{w}}}{Y_{\mathrm{w}}}{Z_{\mathrm{w}}} $至$ OUV $之间单应矩阵形式[15-16]:
$$ \left[\begin{array}{*{20}{c}}u \\ v \\ 1\end{array}\right]=\boldsymbol{\eta}\left[\begin{array}{*{20}{c}}x_w \\ y_w \\ 1\end{array}\right] $$ (13) 式中η为单应矩阵,$ {\boldsymbol{\eta}} = {\boldsymbol{K}}[ {\begin{array}{*{20}{c}} {{\delta_1}}& {{\delta_2}}& W \end{array}} ] $。
基于相机内参矩阵$ {\boldsymbol{K}} $和外参矩阵$ \left[\delta_1\quad\delta_2\quad W\right] $,得到$ \boldsymbol{K}\delta_1=\tau_1 $,$ \boldsymbol{K}\delta_2=\tau_2 $,$ {\boldsymbol{K}}W = {\tau _3} $,即$ \boldsymbol{\eta}=\left[\tau_1\quad\tau_2\quad\tau_3\right] $。设定约束条件为$ \tau_1^{\mathrm{T}}\boldsymbol{K}^{-\mathrm{T}}\boldsymbol{K}^{-1}\tau_2=0和\tau_1^{\mathrm{T}}\boldsymbol{K}^{-\mathrm{T}}\boldsymbol{K}^{-1}\tau_1= \tau_2^TK^{-\mathrm{T}}\boldsymbol{K}^{-1}\tau $,利用约束条件确保单应矩阵的正确性。
在映射改进YOLOv3识别到的二维人员目标至三维空间中时,像素坐标系$ OUV $中任意一点均为其在$ O\mathrm{_w}X\mathrm{_w}Y_{\mathrm{w}}Z_{\mathrm{w}} $中的点经过线性变换后的像[17-19]。但式(13)逆运算较为复杂,因此引入轻量级映射,定义$ {\boldsymbol{\varUpsilon}} $为$ OUV $至$ O_{\mathrm{w}}X_{\mathrm{w}}Y\mathrm{_w}Z_{\mathrm{w}} $的变换矩阵,则
$$ {T_{\mathrm{w}}} = {\boldsymbol{\varUpsilon}} \left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] {T_{uv}} $$ (14) 在标定点充足的情况下,利用最小二乘法可实现变换矩阵求解[20-21],当误差达到最小值时,$ {\boldsymbol{\varUpsilon}} $趋近于最优值,则
$$ {{\boldsymbol{\varUpsilon}} ^{\mathrm{T}}} = {T_{\mathrm{w}}}{\left( {T_{uv}^{\mathrm{T}}{T_{uv}}} \right)^{ - 1}}{T_{uv}}T_w^{\mathrm{T}} $$ (15) 由此定位到二维井下人员目标的关键点$ E $后,可通过式(14)的逆矩阵变换来求解目标在三维空间中的坐标$ E_{\mathrm{w}} $,实现对目标的最终定位,即
$$ {E_{\mathrm{w}}} = {{\boldsymbol{\varUpsilon}} ^{\mathrm{T}}} E $$ (16) 通过引入三维空间定位技术和映射模型,有效解决井下环境复杂多变带来的定位难题,提高定位的准确性和可靠性,满足井下高精度定位的需求。
3. 实验结果与分析
3.1 实验环境
为了验证低可见度环境下基于改进YOLOv3的井下人员定位方法的有效性,选用某煤矿一段低可见度环境下井下监控视频作为实验对象。对井下监控所用相机进行标定,经计算,相机内参矩阵$ {\boldsymbol{K}} = \left[ \begin{array}{*{20}{c}} 5\;963.5 & 0 & 0 \\ 0 & 5\;987.4 & 0 \\ 3\;987.6 & 1\;003.9 & 1 \end{array} \right] $,畸变参数$ \left[ {{k_1},{k_2}} \right]\; =\; \left[ - 0.173\;5, - 0.065\;7 \right] $,变换矩阵$ {\boldsymbol{\varUpsilon}} = \left[ \begin{array}{*{20}{c}}0.004\;6 & -6.794\;9\times {10}^{-5} & 8.276\;5\times {10}^{-5}\\ 3.528\times {10}^{-19} & -9.936\;2\times {10}^{-5} & 0.010\;5\\ 2.701\;2\times {10}^{-4} & 1.030\;3\times {10}^{-18} & -8.885\;8\\ 11.726\;9 & -0.452\;6 & 1.000\;0\end{array} \right] $;视频增强中高斯滤波器核尺寸$ m = 3 $,权重$ {\omega _m} = {1}/{3} $。
3.2 实验结果分析
3.2.1 井下人员识别结果
通过基于改进YOLOv3的井下人员定位方法处理监控视频,以包含不同数量、大小、遮挡程度井下人员的视频帧为例(图2),对比经本文方法处理前后视频帧整体效果,如图3所示。
从图2和图3可看出,原始视频帧存在光照不足、对比度较低、细节不清晰等问题,而经过基于改进YOLOv3的井下人员定位方法处理后,视频帧亮度和可见度有所提升,整体光照条件得到显著改善,且处理后的视频帧对比度得到增强,明暗差异更加明显,目标和背景之间更易区分,细节清晰度也得到提升。
为了验证低可见度环境下基于改进YOLOv3的井下人员定位方法在视频处理中的性能,采用平均灰度、平均对比度、信息熵和灰度谱带宽作为客观评价指标,其中,平均灰度反映视频帧整体亮度水平,平均对比度用来评估视频帧整体对比度水平,信息熵描述视频帧包含的信息量和细节,灰度谱带宽衡量视频帧灰度谱分布结构。各项客观评价指标越高,表明处理后视频效果越好。不同方法客观评价结果见表1。
表 1 不同方法客观评价结果Table 1. Objective evaluation results of different methods评价指标 平均灰度 平均对比度 信息熵/bit 灰度谱带宽 原始图像 8.19 1.58 4.34 0.56 本文方法 76.45 12.11 7.09 1.00 从表1可看出,经本文方法处理后的监控视频的各项评价指标较原始井下监控视频均有明显提升,说明本文方法对低可见度环境下煤矿井下监控视频的处理具有一定的有效性和优越性。
改进YOLOV3前后的井下人员目标识别结果如图4、图5所示。从图4和图5可看出,YOLOV3模型在不同场景中均出现了漏识别的情况。采用改进YOLOv3模型进行井下人员识别时,所有视频帧中的井下人员均被准确识别出来,不存在漏识别问题。这是由于引入CIoU损失函数,不仅考虑了预测框与真实框之间的重叠面积比例,还额外考虑了中心点之间的距离及长宽比的差异,从而大大增强了模型在复杂井下环境中对目标定位的准确性。
3.2.2 井下人员定位结果
为验证本文方法改进模型的映射模型的映射效果及其定位精度,采用已知位置的标定物或人工标注的真实三维位置作为基准,计算投影结果与真实位置之间的偏差,偏差计算涵盖X,Y,Z方向的距离偏差。将本文所提映射模型的定位结果与文献[5]和文献[6]的模型进行对比,结果如图6所示。
从图6可看出,本文方法构建的映射模型对井下人员的定位偏差较文献[5]、文献[6]小,X方向和Y方向的偏差均小于0.2 m,Z方向上的偏差小于0.002 m。
4. 结论
1) 在YOLOv3基础上进行了改进,将原有的Darknet53特征提取网络替换为更轻量级的Darknet−19,并引入CIoU作为损失函数。不仅有效降低了模型复杂度,减少了计算资源消耗,同时保留了足够的特征提取能力,使得模型在低可见度环境下依然能够高效运行,并准确识别井下人员目标。
2) 融合了β函数映射特性,对视频帧中的目标位置、深度信息及摄像头参数进行综合分析,实现了从二维图像到三维空间的精准转换。这一过程不仅考虑了传统映射方法中的透视变换和畸变校正,还引入了更精细的深度估计和空间布局优化,从而大幅提升了三维定位精度。
3) 实验结果表明,基于改进YOLOv3的井下人员定位方法有效提升了视频帧的亮度和可见度,平均灰度、平均对比度、信息熵与灰度谱带宽较原始井下监控视频均有明显提升;构建的映射模型在X方向和Y方向上的偏差均小于0.2 m。
-
表 1 不同方法客观评价结果
Table 1 Objective evaluation results of different methods
评价指标 平均灰度 平均对比度 信息熵/bit 灰度谱带宽 原始图像 8.19 1.58 4.34 0.56 本文方法 76.45 12.11 7.09 1.00 -
[1] 郭文兵,吴东涛,白二虎,等. 我国煤矿智能绿色开采技术现状与展望[J]. 河南理工大学学报(自然科学版),2023,42(5):1-17. GUO Wenbing,WU Dongtao,BAI Erhu,et al. Current situation and prospect of intelligent green mining technology in coal mines in China[J]. Journal of Henan Polytechnic University(Natural Science),2023,42(5):1-17.
[2] 温贤培. 煤矿现场人员二维精确定位方法[J]. 煤矿安全,2023,54(1):225-229. WEN Xianpei. Two-dimensional precise positioning method of coal mine field personnel[J]. Safety in Coal Mines,2023,54(1):225-229.
[3] 张寻梦,赵子皓,江晓东. 基于图像和YOLOv3的番茄果实表型参数计算及重量模拟[J]. 江苏农业科学,2023,51(10):193-201. ZHANG Xunmeng,ZHAO Zihao,JIANG Xiaodong. Phenotypic parameter calculation and weight simulation of tomato fruit based on image and YOLOv3[J]. Jiangsu Agricultural Sciences,2023,51(10):193-201.
[4] 刘晓阳,郑昊琳,刘金强,等. 基于压缩感知改进SP算法的井下人员定位方法[J]. 煤炭技术,2022,41(5):164-167. LIU Xiaoyang,ZHENG Haolin,LIU Jinqiang,et al. Method of underground personnel location based on compressed sensing and improved SP algorithm[J]. Coal Technology,2022,41(5):164-167.
[5] WU Bin. Algorithm of underground personnel positioning based on improved Monte Carlo[J]. Wireless Communications and Mobile Computing,2021. DOI: 10.1155/2021/5547944.
[6] 王智勇,张宏伟,卜旭辉. 基于UWB与指纹定位的矿井移动目标TOA定位算法[J]. 矿业研究与开发,2024,44(3):192-200. WANG Zhiyong,ZHANG Hongwei,BU Xuhui. TOA localization algorithm of underground mine moving target based on UWB and fingerprint localization[J]. Mining Research and Development,2024,44(3):192-200.
[7] CAO Bo,WANG Shibo,GE Shirong,et al. Improving the positioning accuracy of UWB system for complicated underground NLOS environments[J]. IEEE Systems Journal,2021,16(2):1808-1819.
[8] 牛宏侠,王春智. 基于HSI空间的沙尘图像增强算法[J]. 北京交通大学学报,2022,46(5):1-8. NIU Hongxia,WANG Chunzhi. Sand-dust image enhancement algorithm based on HSI space[J]. Journal of Beijing Jiaotong University,2022,46(5):1-8.
[9] 张勇,周斌,王建斌. 多尺度Retinex低照度图像增强的ZYNQ实现[J]. 火力与指挥控制,2023,48(7):156-162. ZHANG Yong,ZHOU Bin,WANG Jianbin. Implementation of low-illumination image enhancement based on multi-scale Retinex on ZYNQ[J]. Fire Control & Command Control,2023,48(7):156-1622.
[10] 王仁智,孔雅,张春泽. 一种支持任意码率的高斯低通滤波器设计[J]. 电子技术应用,2021,47(7):61-63,68. WANG Renzhi,KONG Ya,ZHANG Chunze. Design of a Gaussian low pass filter with arbitrary bit rate[J]. Application of Electronic Technique,2021,47(7):61-63,68.
[11] 刘雄彪,杨贤昭,陈洋,等. 基于CIoU改进边界框损失函数的目标检测方法[J]. 液晶与显示,2023,38(5):656-665. DOI: 10.37188/CJLCD.2022-0282 LIU Xiongbiao,YANG Xianzhao,CHEN Yang,et al. Object detection method based on CIoU improved bounding box loss function[J]. Chinese Journal of Liquid Crystals and Displays,2023,38(5):656-665. DOI: 10.37188/CJLCD.2022-0282
[12] 李功,赵巍,刘鹏,等. 一种用于目标跟踪边界框回归的光滑IoU损失[J]. 自动化学报,2023,49(2):288-306. LI Gong,ZHAO Wei,LIU Peng,et al. Smooth-IoU loss for bounding box regression in visual tracking[J]. Acta Automatica Sinica,2023,49(2):288-306.
[13] 张莹,严伟. 基于小孔成像光斑的无衍射光分布测量系统[J]. 现代电子技术,2021,44(13):106-110. ZHANG Ying,YAN Wei. Non-diffracted light distribution measurement system based on pinhole imaging light spot[J]. Modern Electronics Technique,2021,44(13):106-110.
[14] 吴柔莞,徐智勇,张建林. 基于无监督级联的亚像素单应矩阵估计[J]. 半导体光电,2022,43(1):158-163. WU Rouwan,XU Zhiyong,ZHANG Jianlin. Sub-pixel homography matrix estimation based on unsupervised cascade[J]. Semiconductor Optoelectronics,2022,43(1):158-163.
[15] 李静. 基于最小二乘法的空间坐标转换的非迭代算法[J]. 数学的实践与认识,2022,52(9):115-120. LI Jing. A Non-iterative algorithm for spatial coordinate transformation based on least square method[J]. Mathematics in Practice and Theory,2022,52(9):115-120.
[16] 谭超,朱荣钊. 基于改进LANDMARC定位算法的人员定位技术研究[J]. 长春工程学院学报(自然科学版),2024,25(1):90-95. DOI: 10.3969/j.issn.1009-8984.2024.01.017 TAN Chao,ZHU Rongzhao. Research on personnel positioning technology based on improved LANDMARC positioning algorithm[J]. Journal of Changchun Institute of Technology(Natural Sciences Edition),2024,25(1):90-95. DOI: 10.3969/j.issn.1009-8984.2024.01.017
[17] 李明锋,李䶮,刘用,等. 基于5G+UWB和惯导技术的井下人员定位系统[J]. 工矿自动化,2024,50(1):25-34. LI Mingfeng,LI Yan,LIU Yong,et al. Underground personnel positioning system based on 5G+UWB and inertial navigation technology[J]. Journal of Mine Automation,2024,50(1):25-34.
[18] 李飞,潘红光,魏绪强,等. 基于PDR算法与伪平面技术的井下人员定位方法研究[J]. 西安科技大学学报,2024,44(3):587-596. LI Fei,PAN Hongguang,WEI Xuqiang,et al. Research on positioning method of underground personnel in coal mines based on PDR algorithm and pseudo-plane technology[J]. Journal of Xi'an University of Science and Technology,2024,44(3):587-596.
[19] 牛春祥,姚善化. 基于Chan−PF的TDOA井下人员定位算法研究[J]. 无线互联科技,2024,21(1):103-106. NIU Chunxiang,YAO Shanhua. Research on TDOA underground personnel location algorithm based on Chan-PF[J]. Wireless Internet Science and Technology,2024,21(1):103-106.
[20] 朱劲磊,梁均海,付志超,等. 基于TDOA算法的基建现场施工人员定位研究[J]. 自动化仪表,2024,45(4):9-13. ZHU Jinglei,LIANG Junhai,FU Zhichao,et al. Research on localization of construction personnel at infrastructure site based on TDOA algorithm[J]. Process Automation Instrumentation,2024,45(4):9-13.
[21] 罗珊珊,何泽家. 基于粒子滤波泰勒算法的变电站人员定位跟踪系统[J]. 微型电脑应用,2024,40(3):102-107,111. DOI: 10.3969/j.issn.1007-757X.2024.03.027 LUO Shanshan,HE Zejia. Substation personnel llocation tracking system based on particle filter taylor algorithm[J]. Microcomputer Applications,2024,40(3):102-107,111. DOI: 10.3969/j.issn.1007-757X.2024.03.027
-
期刊类型引用(1)
1. 李小军,赵明炀,李淼. 基于深度学习的钻孔冲煤量智能识别方法. 煤田地质与勘探. 2025(01): 257-270 . 百度学术
其他类型引用(0)