矿用AI视频边缘计算技术研究与应用

张立亚, 郝博南, 马征, 杨志方

张立亚,郝博南,马征,等. 矿用AI视频边缘计算技术研究与应用[J]. 工矿自动化,2024,50(12):85-92. DOI: 10.13272/j.issn.1671-251x.18215
引用本文: 张立亚,郝博南,马征,等. 矿用AI视频边缘计算技术研究与应用[J]. 工矿自动化,2024,50(12):85-92. DOI: 10.13272/j.issn.1671-251x.18215
ZHANG Liya, HAO Bonan, MA Zheng, et al. Research and application of mining AI video edge computing technology[J]. Journal of Mine Automation,2024,50(12):85-92. DOI: 10.13272/j.issn.1671-251x.18215
Citation: ZHANG Liya, HAO Bonan, MA Zheng, et al. Research and application of mining AI video edge computing technology[J]. Journal of Mine Automation,2024,50(12):85-92. DOI: 10.13272/j.issn.1671-251x.18215

矿用AI视频边缘计算技术研究与应用

基金项目: 工业和信息化部2024年工业互联网创新发展工程−工业5G轻量化融合终端项目(TC240AAKM-132);天地科技股份有限公司科技创新创业资金专项项目(2023-TD-ZD005-005,2024-TD-ZD015-01)。
详细信息
    作者简介:

    张立亚(1985—),男,河北定州人,研究员,博士,主要从事矿井通信与智能矿山技术研究工作,E-mail:zhangliya@ccrise.cn

  • 中图分类号: TD67

Research and application of mining AI video edge computing technology

  • 摘要:

    目前矿山AI视频系统主要采用地面服务器进行分析处理,存在视频分析整体响应时延较高、多系统联动延迟、网络带宽资源占用大等问题。针对该问题,设计了一种轻量化、可边缘部署的矿用AI视频边缘计算系统。提出了基于注册机的轻量化软件开发工具包(SDK)框架,对算子进行解耦,以提升算法并行运算能力,降低SDK对存储空间的需求;对YOLOv7的卷积运算进行分组设计,利用恒等映射对Focus主干网络进行优化,以减少运算量并轻量化网络结构,同时引入Transformer中的注意力机制提高检测性能。集成国产化智能芯片和5G通信模块,研制了矿用AI视频服务器,实现了矿山边缘节点部署与计算。实验结果表明:矿用AI视频边缘计算系统响应出色,部署注册机SDK与改进YOLOv7模型后,平均推理时延为28 ms,较React Native+YOLOv7和MobileNet分别减少52%和44%;在各种负载情况下,矿用AI视频服务器的响应时间远低于矿山操作的最低要求。现场工业性测试结果表明:矿用AI视频服务器接入8路摄像仪时,响应时延为51 ms,带宽维持在45 Mbit/s,比使用地面服务器时的时延降低了59%,带宽提高了15%,实现了对井下视频数据的实时、就地分析处理,有效降低了数据传输时延,提高了视频分析的响应速率和处理效率。

    Abstract:

    Currently, mining AI video systems mainly rely on ground servers for analysis and processing, which leads to issues such as high overall response latency, multi-system linkage delays, and high network bandwidth utilization. To address these issues, a lightweight and edge-deployable mining AI video edge computing system was designed. A lightweight software development kit (SDK) framework based on the register machine was proposed to decouple operators, improving the parallel computing ability of the algorithms and reducing the storage requirements of the SDK. Grouping design of YOLOv7 convolution operation was conducted, and the Focus backbone network was optimized using identity mapping to reduce computation amount and streamline the network structure. Additionally, the attention mechanism from Transformer was incorporated to improve detection performance. The mining AI video server was developed by integrating the domestic intelligent chips and 5G communication modules, enabling the deployment and calculation of mine edge nodes. The experimental results showed that the mining AI video edge computing system had excellent response. After deploying the registration machine SDK and optimizing the YOLOv7 model, the average inference latency was 28 ms, 52% and 44% lower than that of React Native+YOLOv7 and MobileNet, respectively. Under various load conditions, the response latency of the mining AI video server was significantly lower than the minimum requirements for mine operation. The field industrial test results showed that when the mining AI video server was connected to an 8-channel camera, the response latency was 51 ms, and the bandwidth was maintained at 45 Mbit/s. Compared to using a ground server, the response latency was reduced by 59%, and the bandwidth increased by 15%. This enabled real-time and on-site analysis and processing of underground video data, effectively reducing the data transmission delay and improving the response rate and processing efficiency of video analysis.

  • 煤矿巷道的形变和破坏是煤矿生产实践中需要着重考虑解决的问题。煤矿巷道形变是指巷道岩层在受到外力因素作用下产生的形状和尺寸的变化,巷道形变会造成井下交通中断、生产设备损坏、人员伤亡等事故,严重威胁煤矿正常生产。因此,在煤矿开采过程中,及时、科学、准确地监测巷道形变,掌握巷道状态及形变趋势,对保障煤矿安全生产具有十分重要的意义[1]

    随着计算机技术的快速发展,多种数值模拟技术被广泛应用于巷道形变的研究中,如有限元法、离散元法、边界元法、有限差分法、十字观测法等。王伟等[2]运用理论计算与数值模拟分析,分析了动压巷道的应力分布规律,为巷道的布设位置选取与支护提供了指导。姜耀东等[3]对开滦矿区赵各庄矿、唐山矿深部开采过程中巷道形变、破坏特征进行了研究,采用FLAC2D数值模拟软件研究地应力与巷道岩层之间的密切关系。余伟健等[4]利用离散裂隙网络在FLAC3D软件中对矿山现场调查得到的裂隙进行了重构还原,研究分析了裂隙发育岩体巷道及典型支护结构体的变形破坏特征。杨景贺[5]采用离散元数值模拟方法,建立了不同支护条件下的高应力软岩巷道模型,研究了高应力软岩巷道变形破坏和支护加固的机理。

    目前,针对巷道形变破坏的研究以现场实测为主,通过实测可掌握巷道形变破坏情况,直观了解导致巷道形变破坏的因素及作用效果。叶美图等[6]针对现有矿井巷道表面位移十字交叉测量方法存在的测量不便、耗时长、工作强度大、误差不可控等问题,设计了一种矿井巷道表面位移激光测量装置。该装置基于激光测距原理,利用激光测距仪完成十字定心和变形测量,通过单个激光测距仪可分别测得巷道中每个测试站顶板、底板、左帮和右帮4个方向的表面位移量。井下试验结果表明,该装置实现了无绳测量,测量效率高,结果准确。宋康磊等[7]采用地质雷达测定巷道松动圈,研究了极薄煤层跨采条件下的松动圈大小及巷道形变规律。荣耀等[8]提出了综采工作面三维激光扫描建模总体方案,对煤壁与顶板交线提取、标靶球检测、点云拼接及坐标转换等关键技术进行了研究,实现了三维地质坐标系下煤壁与顶板交线信息的近实时获取,该信息可直接发送给采煤机滚筒,为采煤机下一刀截割提供数据参考。杜江丽等[9]提出了多边形分割法,将模型的重点关注区域划分为多个多边形,对矿区边坡形变监测数据进行研究。亓玉浩等[10]提出了一种综采工作面实时三维建图方法,可满足综采工作面监控的精度需求。刘晓阳等[11]针对岩性变化和构造的分析监测越来越困难的问题,研究了当前巷道顶板稳定性监测方法。王峰[12]提出了以煤层透明化、综采装备透明化、决策及控制透明化为核心的基于透明工作面的智能化开采概念。邹筱瑜等[13]面向移动机器人在煤矿巷道的建图需求,提出了一种基于集成式因子图优化的煤矿巷道移动机器人三维地图构建方法。高晓进等[14]提出了软岩巷道超前爆破预裂顶板防控技术,以解决软岩巷道结构的形变问题。

    上述方法为巷道形变监测提供了可行的解决方案,但还存在如下问题:① 单一的形变量指标难以准确反映巷道形变演化规律及围岩状态与发展趋势。② 巷道形变具有区域性、连续性、突发性的特点,现有方法存在监测站点单一、测点有限的问题,难以实现大范围、多站点、区域性同步测量。因此需要选取多个指标建立巷道形变监测指标体系,且需要研究一种具有区域性、连续性、实时性特点的巷道形变监测方法,及时、准确、全面地监测巷道形变以确保煤矿开采安全。

    三维激光扫描技术可快速获取被测物体表面三维坐标,点云数据精度高、密度大,包含反射强度等信息[15],可实现对巷道形变连续监测。因此,针对煤矿巷道形变监测面临的问题,本文提出了一种基于三维激光扫描的煤矿巷道形变监测方法。首先,利用深度学习模型VoxelNet对三维激光扫描数据进行检测去噪。然后,利用alphashape算法对断面离散点进行拟合,并采用基于差值的方法,对数据进行多维差值计算,得到巷道形变的具体数据,实现矿区巷道形变监测的全覆盖。最后,利用中煤大同能源有限责任公司塔山煤矿为期1个月的实际监测数据,对巷道形变进行截面分析和三维整体分析。

    三维激光扫描技术是一种先进的全自动、高精度立体扫描技术,具有操作简单、速度快、灵活性高、精度高等特点[16],数字化、自动化、实时性强,解决了目前空间信息技术发展的瓶颈。

    三维激光扫描技术借助水平方位偏转控制器及对应的高度角偏转控制器科学控制反射棱镜的实际转动,使激光测距系统发射的激光能够顺着不同的坐标轴实时移动并扫描测量。扫描仪自身定义的坐标系统中, X轴在横向扫描面内,Y轴在横向扫描面内与X轴垂直,Z轴与横向扫描面垂直。借助测得的三维扫描仪中心到目标点的斜距S、激光束水平方向偏转角a和竖直方向偏转角b来校准并计算激光脚点的实际三维坐标PXYZ[17]

    $$ X = S \cos b \cos a $$ (1)
    $$ Y = S \cos b \sin a $$ (2)
    $$ Z = S \sin b $$ (3)

    三维激光点坐标计算原理如图1所示,通过测量大量物体表面点位的三维坐标,读取并集成现场物体的反射率和纹理等信息,生成被测物点云模型,获取高精度、高分辨率的三维巷道点云数据。

    图  1  三维激光点坐标计算原理
    Figure  1.  Principle of 3D laser point coordinate calculation

    对三维巷道点云数据去噪是煤矿巷道形变监测得以有效应用的重要预处理步骤[18]。将噪点设为巷道内的人物和内壁附着的螺丝钉和管道等,通过VoxelNet网络检测出噪点后,再对数据进行分离。

    首先使用点云标注工具Semantic Segmentation Editor制造数据集,标注人物和管道等信息后送入VoxelNet训练。然后使用VoxelNet中的Voxel将三维空间中的一定空间划分为一个格子,并使用PointNet网络对格子的数据进行特征提取。最后用提取出来的特征代表这个格子,并放回到三维空间。将无序的点云数据变成高维特征数据,并使用三维卷积抽取有序的三维Voxel数据。

    给定2个来自不同坐标系的三维数据点集,找到2个三维数据点集的空间变换关系,使2个三维数据点集处于同一坐标系中,即可实现三维点云配准[19]。配准目标是在全局坐标框架中找到单独获取视图的相对位置和方向,使2个三维数据点集之间的相交区域完全重叠。通过求点云M和点云N 之间的旋转矩阵和平移向量,使点云M和点云N的坐标处于同一坐标系下。通过欧拉角生成旋转矩阵,将点云数据进行平移和旋转。设新的空间直角坐标轴分别为X'Y'Z',绕X'Y'Z' 3个轴旋转的角度分别为α,β,γ,绕X'Y'Z'旋转分别得到的旋转矩阵为

    $$ {{\boldsymbol{R}}_{X'}}\left( \alpha \right) = \left[ \begin{gathered} 1\quad \quad 0\quad \quad 0 \\ 0\quad \cos \alpha \quad - \sin \alpha \\ 0\quad \sin \alpha \quad \cos \alpha \\ \end{gathered} \right] $$ (4)
    $$ {{\boldsymbol{R}}_{Y'}}\left( \beta \right) = \left[ \begin{gathered} \cos \beta \quad \;0\quad \sin \beta \\ \quad 0\quad \quad 1\quad \;\;0 \\ - \sin \beta \;\;\;0\quad \cos \beta \\ \end{gathered} \right] $$ (5)
    $$ {{\boldsymbol{R}}_{Z'}}\left( \gamma \right) = \left[ \begin{gathered} \cos \gamma \quad - \sin \gamma \;\;\;0 \\ \sin \gamma \quad \;\cos \gamma \quad \;0 \\ 0\;\;\;\;\;\;\;\;\;\;\;\;0\quad \,\,\cos \gamma \\ \end{gathered} \right] $$ (6)

    对3个旋转矩阵的点云坐标进行逐元素相乘,得到最终的旋转矩阵R

    $$ {\boldsymbol{R}} = {{\boldsymbol{R}}_{Z'}}\left( \gamma \right) {{\boldsymbol{R}}_{Y'}}\left( \beta \right) {{\boldsymbol{R}}_{X'}}\left( \alpha \right) $$ (7)

    将巷道切分为连续的断面,根据断面对巷道进行形变分析,分别向点云的X'OY'Y'OZ'面进行数据投影,计算当前断面的中心点$ {P^*} \left( {{x^ * },{y^ * },{{\textit{z}}^ * }} \right) $,其中,$ {x^ * },{y^ * },{{\textit{z}}^ * } $为中心点$ {P^*} $在X'Y'Z' 3个坐标轴上对应的数值。

    随后,构造与Z'轴平行的平面,平面与Z'轴平行且与Y'轴相切,则该平面的法向量u=[0 1 0],该平面的方程为$ y - {y^ * } = 0 $。由于落于平面的点比较稀疏,所以赋予平面一定的厚度,将点到平面一定距离d内的点都算作该平面的点。

    在实际扫描作业中,由于障碍物遮挡或受巷道空间扫描角度的限制,会出现部分点云空洞,难以保证断面上处处都有激光斑点,所以需要对投影后的断面离散点集进行拟合。alphashape算法可控制点集边界拟合以创建非凸区域,采用该算法拟合投影后的断面离散点集,其计算圆心的原理如图2所示,计算步骤如下:

    图  2  alphashape算法计算圆心原理
    Figure  2.  Diagram of alphashape algorithm calculating the center of a circle

    1) 选取任意一点$ p \left( {x,y} \right) $,以半径为r的圆进行滚动,在断面点集中搜索所有距离$ p $点2r以内的点的集合,形成点集Q

    2) 选取点集Q中的任意点$ {p_1} \left( {{x_1},{y_1}} \right) $,根据$ p $和$ {p_1} $2个点的坐标和半径r,计算出经过$ p $和$ {p_1} $2个点且半径为r的圆心${p_2} \left( {{x_2},{y_2}} \right) $,${p_3} \left( {{x_3},{y_3}} \right) $。

    $$ \left\{ \begin{array}{l} {x_2} = x + 1/2({x_1} - x) - H ({y_1} - y) \\ {y_2} = y + 1/2({y_1} - y) - H (x - {x_1}) \\ {x_3} = x + 1/2({x_1} - x) + H ({y_1} - y) \\ {y_3} = y + 1/2({y_1} - y) + H (x - {x_1}) \\ \end{array} \right. $$ (8)

    式中H为参数。

    3) 计算点集Q中(除$ {p_1} $点)剩余点分别到$ {p_2},{p_3} $点的距离。若所有点到$ {p_2} $或$ {p_3} $的距离均大于半径r,则证明$ p $点为边界点。

    4) 若剩余的点到$ {p_2} $或$ {p_3} $点的距离不全都大于半径r,则遍历点集Q内的所有点,将其轮换作为$ {p_1} $点,重复上述过程。若存在某点满足2)和3),则该点为边界点,终止该点的判断,继续判断下一点。若点集Q中所有临近点中均不存在$ {p_1} $这样的点,则$ p $点为非边界点。

    根据alphashape算法拟合巷道断面轮廓图,构建不同监测时期同一位置的巷道断面,将其叠加后,采用对比不同时期同一位置巷道断面的高度和宽度等信息的方法,可以更直观地分析巷道形变趋势。具体分析过程:首先,由alphashapes算法计算第一期巷道断面的轮廓点,分别计算相邻2个点$p'\left( {{x_0},{y_0},{{\textit{z}}_0}} \right), q\left( {{x_1},{y_1},{{\textit{z}}_1}} \right)$所构成的线段$ {l_1} $的方向向量,默认$p',q$处于同一平面内,故只保留X轴和Z轴值,记为$p'\left( {{x_0},{{\textit{z}}_0}} \right), q\left( {{x_1},{{\textit{z}}_1}} \right)$。然后,计算过$p '$点与$ {l_1} $垂直的直线$ {l_2} $,$ {l_2} $即法向直线。最后,计算第二期与第一期相同法向直线的点的坐标,计算2个点间的距离,将其记为形变值。

    中煤大同能源有限责任公司塔山煤矿的开采工作面为30507工作面,工作面采用单巷布置方式,即在工作面分别布置胶带巷和回风巷。工作面西侧布置回风巷,东侧布置胶带巷,胶带巷东侧为实煤区,回风巷西侧为30509工作面采空区(2018年6月停采),30507工作面与30509工作面之间区段煤柱为8 m,因此将30507工作面回风巷作为监测地点,进行为期1个月的实际形变监测。

    通过对30507工作面进行实地勘查,其具有以下特点:

    1) 靠近工作面的回风巷区域形变量大,已有控制点坐标经过一定时间会发生变化,无法直接利用。

    2) 对于井下空间地理坐标系,除用全站仪进行测点定位外,没有更好的方式将点云数据和矿井坐标系进行联系。

    3) 矿区井下环境相对复杂,煤尘、空气湿度、振动等工况极易影响工作效率和数据精度。

    塔山煤矿正在回采的工作面为30507工作面,开始监测时采煤机所处位置在里程1 000 m处,监测范围为里程600~900 m。在测绘区域起始位置即里程600 m处,前后上下交错架设多个360°棱镜。根据30507回风巷实际情况,考虑到工作面附近棱镜位置会产生变化,因此以风门处于终采线以内的基准点为基准,测量各个360°棱镜的三维坐标,使棱镜与井下基准点处于同一坐标系下。采用后方交会的方式,在每次进行巷道形变监测数据采集时,以相同基准点作为初始测点的定向点,将矿井坐标系赋予点云数据,以保证每次进行形变监测工作所采集的点云数据都处于同一个空间坐标系下。

    受巷道结构影响,只能选取接近于直线的布站路线进行三维激光扫描。为避免由于线性布站及井下煤尘、湿气等因素造成的拼接误差,相邻测站之间采用棱镜定位的方式进行拼接定位,选择应用可识别棱镜并记录棱镜信息的三维激光扫描仪。相邻测站间需保证有2个及以上共同的棱镜作为拼接基准。

    将周期性采集的点云数据置于同一坐标系下,对多次的点云数据进行对比,得出巷道顶底板和煤柱侧、回采侧两侧壁的形变量。

    1) 控制测量。由于三维激光扫描仪具有独立的坐标系统,为了将点云数据坐标系转换为实际地理坐标系,需结合全站仪进行控制测量。在里程600 m处做3个能够固定在锚杆上的棱镜放置装置,并在其上安置3个360°棱镜。以风门处7号、9号、11号基准点为基准,采用全站仪测出3个棱镜在矿区地测坐标系中的坐标。

    2) 在里程600~900 m段,按30 m的间距,在巷道两帮粉刷并做标记,作为扫描的架站位置;在里程600 m处开始架设三维激光扫描仪,并进行对中整平等操作。

    3) 定位棱镜测量。扫描仪架设完毕后,使用棱镜扫描功能采集设置的360°棱镜点位数据,将定位棱镜信息同步至点云模型中。

    4) 根据项目要求选择合适的扫描参数,建立测站文件夹,使用棱镜的扫描功能,识别测站间用于点云拼接所架设的棱镜,识别完成后开始三维激光扫描,获取该测站全景点云数据。

    5) 检查数据质量,若数据质量合格,即可将扫描仪迁移至下一预设测站,并以同样步骤进行该测站的三维激光扫描。依次循环,直至待测区域全部扫描完成,即数据采集工作完成。

    数据处理过程只需将相邻测站间相同的棱镜目标进行匹配,即可达到点云拼接目的,过程如下:

    1) 控制点坐标录入。在数据处理软件中,使用起始测站中采集的定位棱镜点创建目标,将全站仪测量的定位棱镜坐标赋予对应目标,控制点坐标录入,如图3所示。

    图  3  控制点坐标录入
    Figure  3.  Control point coordinate input

    2) 后方交会拼接。起始测站点云利用其中的定位棱镜点与已赋予现场坐标系坐标的目标点位匹配。第二测站点云以起始测站为基准,利用与起始测站共视的2个或2个以上棱镜进行后方交会,将其与起始测站拼接[20]。后续测站依次进行,得到定位于现场坐标系中的整体测区点云模型。

    3) 数据去噪。为采集完整的巷道顶板、底板及煤柱侧、回采侧两侧壁数据,采用360°全景扫描仪采集现场所有可视数据。由于噪点数据[21]图4)会对实施效率及结果精度造成影响,所以需对噪点数据进行去噪,去噪后数据如图5所示。

    图  4  选取的噪点数据
    Figure  4.  Selected noise data
    图  5  去噪后数据
    Figure  5.  Denoised data

    4) 数据输出。对数据进行拼接、去噪后,在确保点云定位信息固定的前提下,导出相应格式的点云模型,如图6图7所示。

    图  6  煤矿巷道点云数据内部视角
    Figure  6.  Internal perspective of point cloud data in coal mine roadway
    图  7  煤矿巷道点云数据外部视角
    Figure  7.  External perspective of point cloud data of coal mine roadway

    在数据处理过程中,将所有三维点云模型置于同一坐标系下,因此在将同一测区的2期三维点云数据导入对比分析软件后,2期三维点云模型会自动放置在同一位置。

    1) 三维整体分析。将置于同一位置的2期点云数据沿其法线方向进行差值分析,得到整体形变量,以色谱的形式将差值进行显示,不同颜色的分布表示不同区域2期点云模型偏差的分布,颜色的深浅表示该区域偏差大小。通过对模型上颜色的分布和深浅分析,得到该测段巷道形变的整体趋势,如图8所示。如果巷道受到向内的挤压,会变成红色,红色越深,表明挤压程度越大;如果巷道趋近于无变化,则会变成绿色;如果巷道向外扩张,会变成蓝色,蓝色越深,表明向外扩张程度越大。

    图  8  三维整体分析结果
    Figure  8.  3D overall analysis results

    2) 截面分析。以三维整体分析为基础,在整体巷道点云模型的竖直方向上按一定距离布置截面,截取2期点云在截面上的偏差,以色谱的形式将差值进行显示,截面分析结果如图9所示。可看出离工作面距离越近,附色模型的颜色越偏向红色和蓝色,且颜色越深,代表巷道形变越大。

    图  9  巷道截面分析结果
    Figure  9.  Roadway section analysis results

    两期巷道截面对比如图10所示,通过2个巷道轮廓的相对偏差,可看出该区域主要存在的形变:如果上轮廓向内偏离,则顶板发生塌陷;如果下轮廓向外偏离,则底板发生鼓起。

    图  10  巷道截面对比
    Figure  10.  Comparison of roadway section

    3) 预警记录。点选预警记录可查看预警位置、里程位置和最大形变值等信息,数据精确,可随时观察巷道形变情况,以便采取相应维护措施,巷道形变预警记录如图11所示。

    图  11  巷道形变预警记录
    Figure  11.  Roadway deformation warning record

    1) 将三维激光扫描技术应用于塔山煤矿30507工作面的形变监测,将人工智能与传统方法相结合,提出了基于三维激光扫描的煤矿巷道形变监测方法。利用深度学习VoxelNet模型对点云数据进行去噪,利用alphashape算法对断面离散点进行拟合,并采用基于差值的方法,将数据进行多维差值计算以得到巷道形变数据。

    2) 利用塔山煤矿的实际监测数据,对巷道三维点云数据进行了截面分析和三维整体分析。截面分析主要基于巷道三维点云按固定间距选取截面,比对2期点云截面数据,通过截面轮廓差异判断巷道形变情况;三维整体分析利用2期巷道三维点云数据进行整体比对,通过色谱显示比对结果,分析巷道形变区域和变化趋势。随着测点距工作面的距离越近,附色模型越偏向红色和蓝色,且颜色越深,表明巷道形变越大。

  • 图  1   矿用AI视频边缘计算系统架构

    Figure  1.   Architecture of mining AI video edge computing system

    图  2   基于注册机的SDK框架

    Figure  2.   Software development kit(SDK) framework based on register machine

    图  3   标准卷积和分组卷积结构

    Figure  3.   Standard convolution and group convolution structure

    图  4   改进Focus网络结构

    Figure  4.   Improved Focus network structure

    图  5   特征融合阶段网络结构

    Figure  5.   Feature fusion stage network structure

    图  6   矿用AI视频服务器核心模块

    Figure  6.   Core modules of mining AI video server

    图  7   5G通信模块网络框架

    Figure  7.   5G communication module network framwork

    图  8   AI模组架构

    Figure  8.   AI module architecture

    图  9   12 V过流保护电路

    Figure  9.   12 V overcurrent protection circuit

    图  10   5 V电压过流保护电路

    Figure  10.   5 V overcurrent protection circuit

    图  11   服务器上下行平均带宽对比

    Figure  11.   Comparison of server's average upstream and downstream bandwidth

    表  1   不同框架与模型组合推理性能

    Table  1   Inference performance of different framework and model combinations

    框架及模型 时延/ms 准确率 召回率
    React Native+YOLOv7 58 0.903 0.899
    React Native+MobileNet 50 0.912 0.901
    React Native+本文模型 39 0.926 0.919
    注册机SDK+YOLOv7 42 0.903 0.899
    注册机SDK+MobileNet 36 0.912 0.901
    注册机SDK+本文模型 28 0.926 0.919
    下载: 导出CSV

    表  2   不同网络负载的响应时间

    Table  2   Response latency under different network loads

    网络负载/% 平均响应时间/ms
    矿用AI视频服务器 地面管理服务器
    0 10 60
    20 14 68
    40 20 72
    60 27 77
    80 36 98
    100 50 121
    下载: 导出CSV
  • [1] 王国法,庞义辉. 智能化示范煤矿建设成效与发展方向[J]. 智能矿山,2024,5(1):2-11.

    WANG Guofa,PANG Yihui. Construction effect and development direction of intelligent demonstration coal mine[J]. Journal of Intelligent Mine,2024,5(1):2-11.

    [2] 程德强,寇旗旗,江鹤,等. 全矿井智能视频分析关键技术综述[J]. 工矿自动化,2023,49(11):1-21.

    CHENG Deqiang,KOU Qiqi,JIANG He,et al. Overview of key technologies for mine-wide intelligent video analysis[J]. Journal of Mine Automation,2023,49(11):1-21.

    [3] 罗明华,朱兴林,黄春. 煤矿AI视频监控系统[J]. 智能矿山,2023,4(4):62-65.

    LUO Minghua,ZHU Xinglin,HUANG Chun. AI video monitoring system in coal mine[J]. Journal of Intelligent Mine,2023,4(4):62-65.

    [4] 程健,李昊,马昆,等. 矿井视觉计算体系架构与关键技术[J]. 煤炭科学技术,2023,51(9):202-218.

    CHENG Jian,LI Hao,MA Kun,et al. Architecture and key technologies of coalmine underground vision computing[J]. Coal Science and Technology,2023,51(9):202-218.

    [5]

    KHAN S M,NABI A U,BHANBHRO T H. Comparative analysis between flutter and react native[J]. International Journal of Artificial Intelligence & Mathematical Sciences,2022,1(1):15-28.

    [6]

    MARUTHAPPA M,LEE Yunli,WONG S F. Deep learning placenta abnormalities with customized architecture using deeplearning4j[J]. Indian Journal of Computer Science and Engineering,2022,13(4):1346-1355. DOI: 10.21817/indjcse/2022/v13i4/221304180

    [7] 王琳毅,白静,李文静,等. YOLO系列目标检测算法研究进展[J]. 计算机工程与应用,2023,59(14):15-29. DOI: 10.3778/j.issn.1002-8331.2301-0081

    WANG Linyi,BAI Jing,LI Wenjing,et al. Research progress of YOLO series target detection algorithms[J]. Computer Engineering and Applications,2023,59(14):15-29. DOI: 10.3778/j.issn.1002-8331.2301-0081

    [8] 邵延华,张铎,楚红雨,等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报,2022,44(10):3697-3708. DOI: 10.11999/JEIT210790

    SHAO Yanhua,ZHANG Duo,CHU Hongyu,et al. A review of YOLO object detection based on deep learning[J]. Journal of Electronics & Information Technology,2022,44(10):3697-3708. DOI: 10.11999/JEIT210790

    [9] 张立亚. 基于图像识别的煤矿井下安全管控技术[J]. 煤矿安全,2021,52(2):165-168.

    ZHANG Liya. Safety control technology of coal mine based on image recognition[J]. Safety in Coal Mines,2021,52(2):165-168.

    [10] 张立亚. 基于5G通信的矿山可视化智能监控技术[J]. 煤炭技术,2022,41(1):191-194.

    ZHANG Liya. Mine visual intelligent monitoring technology based on 5G communication[J]. Coal Technology,2022,41(1):191-194.

    [11] 王国法,庞义辉,李爽,等. 基于煤矿时空多源信息感知的智能安控闭环体系[J]. 矿业安全与环保,2022,49(4):1-11.

    WANG Guofa,PANG Yihui,LI Shuang,et al. Intelligent safety closed-loop management and control system based on multi-source information perception in coal mine[J]. Mining Safety & Environmental Protection,2022,49(4):1-11.

    [12] 刘彦清. 基于YOLO系列的目标检测改进算法[D]. 长春:吉林大学,2021.

    LIU Yanqing. Improved object detection algorithm based on YOLO series[D]. Changchun:Jilin University,2021.

    [13]

    ZHANG Liya,YANG Wei,HAO Bonan,et al. Edge computing resource allocation method for mining 5G communication system[J]. IEEE Access,2023,11:49730-49737. DOI: 10.1109/ACCESS.2023.3244242

    [14]

    ZHANG Xue,SHENG Zehua,SHEN Huiliang. FocusNet:classifying better by focusing on confusing classes[J]. Pattern Recognition,2022,129. DOI: 10.1016/j.patcog.2022.108709.

    [15]

    LI Rui,ZHANG Baopeng,LIU Wei,et al. PANet:an end-to-end network based on relative motion for online multi-object tracking[J]. ACM Transactions on Multimedia Computing,Communications,and Applications,2023,19(6):1-21.

    [16] 李建,杜建强,朱彦陈,等. 基于Transformer的目标检测算法综述[J]. 计算机工程与应用,2023,59(10):48-64. DOI: 10.3778/j.issn.1002-8331.2211-0133

    LI Jian,DU Jianqiang,ZHU Yanchen,et al. Survey of Transformer-based object detection algorithms[J]. Computer Engineering and Applications,2023,59(10):48-64. DOI: 10.3778/j.issn.1002-8331.2211-0133

    [17] 付苗苗,邓淼磊,张德贤. 基于深度学习和Transformer的目标检测算法[J]. 计算机工程与应用,2023,59(1):37-48.

    FU Miaomiao,DENG Miaolei,ZHANG Dexian. Object detection algorithms based on deep learning and Transformer[J]. Computer Engineering and Applications,2023,59(1):37-48.

    [18] 蔡腾,陈慈发,董方敏. 结合Transformer和动态特征融合的低照度目标检测[J]. 计算机工程与应用,2024,60(9):135-141. DOI: 10.3778/j.issn.1002-8331.2310-0131

    CAI Teng,CHEN Cifa,DONG Fangmin. Low-light object detection combining Transformer and dynamic feature fusion[J]. Computer Engineering and Applications,2024,60(9):135-141. DOI: 10.3778/j.issn.1002-8331.2310-0131

    [19]

    TERVEN J,CORDOVA-ESPARZA D. A comprehensive review of YOLO architectures in computer vision:from YOLOv1 to YOLOv8 and YOLO-NAS[EB/OL]. [2024-10-15]. https://arxiv.org/ abs/2304.00501v7.

    [20] 孙伟峰,李小彤,纪永刚,等. 基于检测−跟踪联动的紧凑型高频地波雷达弱目标自适应检测方法[J]. 电子与信息学报,2023,45(8):2955-2964.

    SUN Weifeng,LI Xiaotong,JI Yonggang,et al. An adaptive weak target detection method using joint detection and tracking for compact high frequency surface ware radar[J]. Journal of Electronics & Information Technology,2023,45(8):2955-2964.

    [21]

    RUKHOVICH D,SOFIIUK K,GALEEV D,et al. IterDet:iterative scheme for object detection in crowded environments[EB/OL]. [2024-10-15]. https://arxiv.org/abs/2005.05708.

图(11)  /  表(2)
计量
  • 文章访问数:  44
  • HTML全文浏览量:  8
  • PDF下载量:  11
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-10-24
  • 修回日期:  2024-12-25
  • 网络出版日期:  2025-01-07
  • 刊出日期:  2024-12-24

目录

/

返回文章
返回