Visible and infrared image fusion algorithm for underground personnel detection
-
摘要: 矿用智能车辆的工作环境光照条件复杂，在进行井下行人检测时可以通过融合可见光和红外图像，将红外线反射信息和细节纹理信息融合于可见光图像中，改善目标检测效果。传统的可见光和红外图像融合方法随着分解层数增多，会导致图像边缘和纹理模糊，同时融合时间也会增加。目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征，导致融合图像中细节信息模糊。针对上述问题，提出了一种基于多注意力机制的可见光和红外图像融合算法（IFAM）。首先采用卷积神经网络对可见光和红外图像提取图像特征；然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合，同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值，根据权值融合2个注意力模块的输出特征；最后通过反卷积变换对图像特征进行还原，得到最终的融合图像。在RoadScene数据集和TNO数据集上的融合结果表明，经IFAM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息；在井下数据集上的融合结果表明，在弱光环境下，红外图像可以弥补可见光的缺点，并且不受环境中其他光源的影响，在弱光条件下融合后的图像中行人轮廓依旧明显。对比分析结果表明，经IFAM融合后图像的信息熵（EN）、标准方差（SD）、梯度融合度量指标（QAB/F）、融合视觉信息保真度（VIFF）和联合结构相似性度量（SSIMu）分别为4.901 3，88.521 4，0.169 3，1.413 5，0.806 2，整体性能优于同类的LLF−IOI，NDM等算法。Abstract: The working environment and lighting conditions of mining intelligent vehicles are complex. When detecting underground personnel, infrared reflection information and detailed texture information can be fused into visible light images by fusing visible and infrared images to improve the target detection effect. Traditional visible and infrared image fusion methods can lead to blurring of image edges and textures as the number of decomposition layers increases, and the fusion time also increases. At present, deep learning based fusion methods for visible and infrared images are difficult to balance the features in visible and infrared images, resulting in blurred detail information in the fused images. In order to solve the above problems, the image fusion algorithm based on multiple attention modules (IFAM) is proposed. Firstly, convolutional neural networks are used to extract image features from visible and infrared images. Secondly, the extracted features are cross fused using spatial attention and channel attention modules. The fusion weights of the output features of the two attention modules are calculated using the gradient information in the features. The output features of the two attention modules are fused based on the weights. Finally, the image features are restored through deconvolution transformation to obtain the final fused image. The fusion results on the RoadScene dataset and TNO dataset indicate that the IFAM fused image contains both background texture information from visible light images and personnel contour feature information from infrared images. The fusion results on the underground dataset indicate that in low lighting environments, infrared images can compensate for the shortcomings of visible light and are not affected by other light sources in the environment. In low lighting conditions, the personnel contour in the fused image is still obvious. The comparative analysis results show that the information entropy (EN), standard deviation (SD), gradient fusion metric (QAB/F), visual information fidelity for fusion (VIFF), and the union structural similarity index measure (SSIMu) of the image after IFAM fusion are 4.901 3, 88.521 4, 0.169 3, 1.413 5, and 0.806 2, respectively. The overall performance is superior to similar algorithms such as LLF-IOI and NDM.
-
0. 引言
近年来，随着矿井智能化的普及、矿井通风技术的飞速发展[1]，矿井智能通风系统覆盖面逐渐扩大，而该系统的建立与稳定运行对通风参数的精确度提出了更高的要求。高精度风速传感器在满足智能化系统对各项参数高准确度要求的前提下，一定程度上消除了井下测风人员的安全隐患，逐渐取代了传统的井下测风工具，成为大部分矿井测风工作的首选。井下巷道通风工作复杂且影响因素多变，尤其体现在异常风流对通风系统的影响上，其原因之一是巷道中堆放设备、杂物等，造成巷道风流局部紊乱，使附近风速测点所得数据产生偏差，不利于巷道通风环境的维持与通风网络的解算。在测风巷道中，风速传感器在不同的空间位置所测得的风速值也不尽相同，因此精准感知巷道通风参数，对异常风流巷道的测风仪器的合理空间位置进行研究，确保智能化通风系统基础信息的科学性与可靠性是至关重要的。
目前许多学者在井下巷道测风领域展开了研究。刘剑等[2]对通风参数在湍流脉动作用下的变化进行了研究，得到可实现精准测风的理论支撑。李雪冰等[3]通过理论与实验研究得出巷道断面任意点风速与巷道断面平均风速的关系，采用提高数据采集频率的方法，满足风速时均化要求。丁翠等[4]通过模拟与实验结合的方式对三心拱截面巷道进行研究，提出“关键环”概念，明确了“关键环”分布的关键影响因素。杨宇等[5]对拱形巷道断面中特征线上的风流分布进行研究，巷道中没有障碍物时，风速分布呈现左右基本对称、上下差别较大的状况。潘竞涛等[6]对风速传感器的测量数据采用最小二乘法进行关系拟合与分析，将测量数据转换成平均风速并应用于实际生产。李亚俊等[7]对圆形巷道断面风流分布规律进行研究，得出可通过曲线拟合对巷道断面任一点风速值计算的结论。宋莹等[8]通过实验与模拟相结合的方法，得出巷道断面平均风速分布规律及多种截面风流的分布特征。张浪[9]通过现场实测与模拟，得出井下测风站人员与传感器的最优位置。张士岭[10]对风速变化规律进行研究，提出了巷道断面平均风速所在位置及测量方法。鹿广利等[11]通过对不同条件下的巷道进行模拟与分析，得出不同转弯角度下传感器最优布设位置。张京兆等[12]研究了入口形式对巷道定点测风位置的影响，得出巷道不同入口形式的合理测风定点位置，其中矩形巷道风流平衡时，合理测风高度变化区间为2.59～2.79 m。李虎民等[13]通过现场实测与数值模拟相结合的方式，确定了巷道相对粗糙度对定点测风位置的影响大小。盛典[14]通过数值模拟与分析，得出全断面风门能够有效对矿井通风系统进行调节与控制的结论。葛启发等[15]通过数值模拟与分析，对进路式采场通风参数进行了优化，为降低局部通风机能耗提供了理论指导。郭对明等[16]对深部掘进巷道进行相关研究，改善了井下高温环境。王春龙等[17]通过数值模拟分析，对矿井通风降温参数优化进行了分析研究，为矿井深部通风降温参数设置提供了参考。上述学者采用数值模拟软件与理论分析结合实验验证的方法研究了井下巷道风流运移规律、优化了矿井通风相关参数，但未涉及巷道中存在不同形状的障碍物时风流运移规律的探索。
本文以中国华电集团有限公司小纪汗煤矿11218回风巷为例，对井下巷道中障碍物不同位置与不同尺寸对风速的影响展开研究，利用Fluent数值模拟软件模拟井下巷道中不同障碍物的大小和障碍物放置位置对风速的影响，并找到受障碍物放置位置影响最小的监测位置。
1. 模型建立与模拟参数设置
1.1 模型建立
在不考虑巷道壁面发生局部形变的情况下，采用小纪汗煤矿矩形截面11218回风巷的测量尺寸与风速测量平均值进行模拟计算，其数据见表1。
表 1 11218回风巷截面参数信息Table 1. 11218 return air roadway parameter information高度/m 宽度/m 周长/m 断面积/m2 进风口风速/（m·s−1） 3.16 5.54 17.4 17.51 2 ANSYS Fluent软件可用于模拟各种复杂流场，湍流模型具有研究范围广、精度高的显著特征，适用于研究矿山井下风流场[18-19]。本文建立6种障碍物模型，其长、宽、高分别用l，b，h表示，障碍物信息见表2。设障碍物与两帮之间的较近距离（以下简称间距）L=0，0.5，1 m；粗糙度常数为0.8。
表 2 障碍物信息Table 2. Obstacle informationl/m b/m h/m 障碍物1 1 1 1 障碍物2 2 1 1 障碍物3 1 1 0.5 障碍物4 2 1 0.5 障碍物5 1 0.5 1 障碍物6 2 0.5 1 以表1、表2数据为基础，采用Design Modeler软件建立不同参数的障碍物模型，分别对应6种障碍物模型，建立了6组巷道模型，将每组巷道模型分为3个子模型（L=0，0.5，1 m），共计18个巷道子模型。L=0.5 m时的各模型关键部位如图1所示。
以x轴为巷道走向，y轴为巷道宽度，z轴为高度，当L=0.5 m时，巷道模型的俯视图如图2所示。根据障碍物模型与间距L，对11218回风巷距上游端口10 m处放置障碍物的情况进行分类。由于该巷道截面具有对称结构特点，可由巷道一侧的结果推导出另一侧的相关结论。
1.2 模拟参数设置
采用ANSYS Fluent软件建立18个巷道子模型，巷道子模型较为规整，采用cartesianMesh方法进行网格划分，网格单元平均尺寸为0.2 m，最大、最小尺寸分别为0.25，0.1 m，经网格划分的独立性考核确定其合理性；以L=0.5 m时模型2为例，该模型划分共计约116万个节点、100万个网格单元，平均单元质量为0.998。其局部网格划分如图3所示。
井下巷道风流类型多为湍流[20-21]，在巷道放置障碍物后将导致风流更加紊乱，但风流依旧为湍流类型。本文采用只考虑动量传输，不涉及能量交换的Standard $ k-{\varepsilon } $湍流模型作为流体运动模型，采用双方程湍流模型压力耦合的半隐式方法（Semi-Implicit Method for Pressure Linked Equations，SIMPLE）对流体运动进行仿真，收敛标准除连续性方程为1×10−4外，其他均为1×10−7。以空气为模拟风流，密度取实测平均密度1.07 kg/m3，通过插值法结合温度数据确定巷道空气黏性系数为1.818 5×10−5 kg/（m·s），使得模拟结果更符合11218回风巷的实际通风状况。
边界条件设置：进风口采用固定速度进风（ $ 2\;\mathrm{m}/\mathrm{s} $），出风口采用自由出流；表面粗糙度常数为0.5，其他巷道壁面粗糙度常数取0.7，障碍物粗糙度常数取0.8，壁面类型均为标准壁面函数，其余设置及参数采用软件系统的推荐值或默认值。
2. 障碍物对巷道合理风速分布区间的定量分析
为研究障碍物在不同条件下对11218回风巷风流场的影响，选取障碍物种类、间距大小、入口风速3个变量结合控制变量法展开相关分析，所有巷道的模型尺寸、环境条件、网格划分所采用的方法、求解器参数设置等均保持一致。数据取自巷道断面宽度中心位置（y=2.77 m）、高度为2.7 m的所有计算单元，每0.2 m设置1个分析节点，进风口处风流场云图及分析节点如图4所示。
煤矿企业规定人工测风误差不大于5%，为满足井下测风工作精度需求，指导矿井智能测风工作的开展，本文以3%为风速传感器测风精度标准，开展以下分析工作。当进风口风速为2 m/s时，传感器测风误差为1.94～2.06 m/s，称测风精度内的风速数值为合理风速，风速在测风精度内的风流为合理风流，合理风流处即为风速传感器最优布设区域。由文献[12]可知，矩形巷道断面在无障碍物且风流充分发展条件下，当x＞115 m时，在2.59 m＜z＜2.79 m位置布设风速传感器较为合理。因此本文在 $ x=120\;\mathrm{m} $截面的中垂线 $ {\textit{z}}=2.7\;\mathrm{m} $处布设风速传感器；取障碍物迎风侧前1 m、障碍物迎风侧、障碍物背风侧、障碍物背风侧后1 m、风速传感器截面（ $ x= 120\;\mathrm{m} $）为定量分析内容，根据x坐标升序方式分别命名截面，为截面1—截面5。
2.1 L=0时障碍物对巷道风流场的影响
当 $ L=0 $时，取各个模型所对应的风流场云图做对比，结果如图5所示。可看出截面1、截面3、截面4的风流场云图中，合理风流所呈现形状大致为弧状，且与各自对应的障碍物矩形不符。在截面1中，合理风流分布面积随着障碍物宽度减小而减小。
![]()
图 5 L=0时所有模型的5种截面位置所对应的风流场云图Figure 5. Cloud plot of wind fields corresponding to the five cross-sectional positions of all models at L =0 m结合图4与图5中的截面5可看出，顶板位置中垂线的合理风流分布于2.59～2.78 m处。
2.2 L=0.5 m时障碍物对巷道风流场的影响
当 $ L=0.5\;\mathrm{m} $时，取各个模型所对应的风流场云图做对比，结果如图6所示。可看出截面1中合理风流分布面积随障碍物体积减小而减小，截面3中当宽度 $ b=0.5 $ m时，模型5、模型6可体现障碍物大致形状。结合图4与图6中的截面5可知，顶板位置中垂线的合理风流分布在2.59～2.80 m处，其中模型1、模型2风流发展较为缓慢，尚未形成圆角矩形的形状。
![]()
图 6 L=0.5 m时所有模型的5种截面位置所对应的风流场云图Figure 6. Cloud plot of wind fields corresponding to the five cross-sectional positions of all models at L =0.5 m2.3 L=1 m时障碍物对巷道风流场的影响
当 $ L=1\;\mathrm{m} $时，取各个模型所对应的风流场云图做对比，结果如图7所示。可看出随着障碍物宽度减小，截面1中合理风流横向变化不明显；截面3中，宽度 $ b=0.5 $ m时，模型5、模型6可体现障碍物大致形状。结合图4与图7中的截面5可知，顶板位置中垂线的合理风流分布于2.61～2.78 m处。
![]()
图 7 L=1 m时所有模型的5种截面位置所对应的风流场云图Figure 7. Cloud plot of wind fields corresponding to the five cross-sectional positions of all models at L=1 m结合图4−图7可知，在3种间距中，各模型于断面直角处存在微小部分的合理风速区域，其面积在 $ L=0.5\;\mathrm{m} $时最大， $L=1\;\mathrm{m} $时次之， $L=0$时最小，随着间距L的增加，截面1中合理风流分布区域逐渐增加；模型3、模型4的风流场云图中，合理风流横向分布较广， $ L=1\;\mathrm{m} $时较为明显。截面1、截面3、截面4的风流场云图中，合理风流于横向扩散较快；在放置障碍物的矩形巷道中，合理风流在图4中均匀分布，截面1—4的直角处微量分布，截面5为圆角矩形分布，故合理风流随x坐标增加呈均匀分布→直角处微量分布→空心圆角矩形分布的规律。两帮附近风流发展不对称，障碍物体积越大，风流发展至平衡所需时间越长；巷道放置障碍物一侧的合理风流分布区域更广，即传感器最优布设区域更大；结合表2，对比模型1、模型2和模型5、模型6可知，障碍物宽度越大，此现象越明显。
3. L不同对风流运移规律的影响分析
以同种障碍物、不同间距为模拟条件的计算结果分析11218回风巷风流发展情况，取巷道断面所有计算节点风速数据，各个模型对比数据如图8所示。可看出随着x的增加，各模型平均风速大小均呈增大−减小−增大−平衡的状态。
为方便对比各模型数据差异，降低分析研究的复杂程度，现以风速变化为依据，将风流发展分为4个阶段。
在x为0～10 m时，各模型风速呈上升状态，x接近10 m区域时，风速急剧增加至最大值，这是由于风流发展受到阻碍，即此时风流与障碍物相接触，致使通风面积急剧减少，各模型风速在x接近10 m时急剧上升，将此区间命名为第1阶段；当x＞10 m后，风速降低幅度逐渐减小，在x为60～90 m内各模型风速先后降低至谷值，这是由于风流经过障碍物后通风面积突然增大，在障碍物后面形成涡流区域，进而使风速急剧降低，随后风速降幅逐渐减小，将此区间命名为第2阶段；风速在降低至最小值后缓慢增加，各模型风流在x为180～220 m内先后发展至平衡，将风速在此增加的区间命名为第3阶段；风流发展平衡时x坐标至巷道出风口区间命名为第4阶段。
在第1阶段，模型1， $ L=0$时风速峰值已超过 $ 2.225\;\mathrm{m}/\mathrm{s} $；模型3与模型5、模型4与模型6峰值均接近，且模型3与模型5、模型4与模型6所对应的障碍物体积相同。由此可见，障碍物体积相同，风速峰值大致相同。
在第2阶段，风速到达谷值时x坐标与障碍物长度呈负相关；在模型1中， $ L=0.5\;\mathrm{m} $时风速谷值最大，模型4中， $L=0$时风速谷值最小。
在第3阶段，L不同时，模型1、模型2风速差别较大；模型3、模型4风速大致相同；障碍物高度 $ h=1\;\mathrm{m} $时， $ L=0$时风速最大， $L=1\;\mathrm{m} $时次之， $L=0.5\;\mathrm{m} $时最小。
在第4阶段，障碍物长度与风流稳定位置呈负相关；风流发展平衡时，模型1、模型2的风速数值差最大，模型5、模型6次之，模型3、模型4的风流变化幅度最小，当h=0.5 m时，风速集中于 $ 2.05\;\mathrm{m}/\mathrm{s} $。结合表2可知障碍物竖放或增加宽度对风流影响较大。
4. 不同模型对风流运移规律的影响分析
采用相同的数据采集方式及阶段式分析方法，对同间距L条件下，不同模型对风流运移规律的影响进行研究。其对比结果如图9所示。
在第1阶段，各模型在风流经过障碍物时，在 $ L=0 $时风速波动较大，其他间距风速波动大致相同。
在第2阶段，各模型风速降低幅度大致相同， $ L=0.5\;\mathrm{m} $时，模型3—模型6相对模型1、模型2提前 $ 20\;\mathrm{m} $降低至风速谷值；模型1、模型2风速谷值远大于其他模型，风速谷值降序为模型1、模型2、模型5、模型6、模型3、模型4；障碍物长度相同时，风速谷值与障碍物高度、宽度呈正相关，障碍物高度与宽度相同时，风速谷值与障碍物长度呈负相关。
在第3阶段，模型1、模型2风速相对其他模型增幅较小，在 $ L=0.5\;\mathrm{m} $时最为明显，即障碍物体积与本阶段风速增幅呈负相关。
在第4阶段，风流发展平衡，模型2风速最接近初始风速； $ L=0 $， $1\;\mathrm{m} $时风速集中于 $ 2.05\;\mathrm{m}/\mathrm{s}$； $L=0.5\;\mathrm{m} $时，风速不集中，但风速相对最小，接近于初始风速；因此风流发展稳定时， $ L=0.5\;\mathrm{m}$时风速可靠性最高， $L=1\;\mathrm{m} $时次之， $L=0$时可靠性相对最低。
5. 风流运移规律的风速普适性分析
煤矿安全规程规定，采区进回风巷风速应处于0.25～6 m/s，本文以1 $ \mathrm{m}/\mathrm{s} $为最低风速，1 $ \mathrm{m}/\mathrm{s} $为速度增量，5 $ \mathrm{m}/\mathrm{s} $为最高风速，进行相关研究与分析。由于 $ L=0.5\;\mathrm{m} $时风速可靠性最高，所以在 $ L=0.5\;\mathrm{m} $时，不同风速条件下，展开风流运移规律的风速普适性研究是具有代表性的。采用相同的数据采集方式，定义初始风速为 $ {v}_{1} $，巷道平均模拟风速为 $ {v}_{2} $，风速变化率 $ \varphi =({{{v}_{2}-v}_{1}})/{{v}_{1}} $，其对比结果如图10所示。
上述多种条件下，风速变化率均处于上升−下降−再上升−平衡的4个阶段，故采用阶段式分析方法，其分析结果如下。
在第Ⅰ阶段，风速变化率增幅与初始风速大小呈正相关，随着初始风速增大，风速变化率波动幅度逐渐减低；风速变化率峰值与障碍物参数呈正相关，其中宽度（b）影响最大，高度（h）影响次之，长度（l）影响最小。
在第Ⅱ阶段，风速变化率谷值与初始风速呈正相关，初始风速越小，风速变化率波动幅度越明显。风速变化率谷值大小与障碍物长度（l）呈负相关，与障碍物其他参数关联不明显。
在第Ⅲ阶段，模型1、模型2风速变化率相对其他模型增幅较为平缓；除 $ 1\;\mathrm{m}/\mathrm{s} $的风速变化率曲线外，其他曲线于巷道走向长度90～120 m内相继交于一点，障碍物宽度（b）与高度（h）越大，该交点坐标值越大；在曲线相交前，初始风速越大，则风速变化率越大，在曲线相交后，风速越小，则风速变化率越大。
在第Ⅳ阶段，风流发展平衡时，风流变化率均小于3%；模型1、模型2风速变化率较其他模型小，其中模型2风速变化率最小，即该模型最接近初始风速。
6. 结论
1） 在放置障碍物的矩形巷道中，在 $ x=120\;\mathrm{m} $，2.59 m＜z＜2.79 m处布设传感器条件下，截面5中传感器最优布设区域在该截面中垂线高度2.59～2.80 m处，两帮附近风流发展不对称，放置障碍物侧合理风流分布区域更广，障碍物宽度越大，该现象越明显；最优布设传感器区域随x坐标增加呈均匀分布−截面直角处微量分布−空心圆角矩形分布的规律。
2） 障碍物体积相同时，风速峰值大致相同；风速谷值与障碍物高度、宽度呈正相关，障碍物高度与宽度相同时，风速谷值与障碍物长度呈负相关。 $ h=0.5\;\mathrm{m} $时风速变化幅度小，平衡时风速集中于 $ 2.05\;\mathrm{m}/\mathrm{s} $。
3） 在多种风速模拟条件下，第Ⅳ阶段中，模型2的风流变化率仍为各个模型的最小值，与单一风速结论形成对应。故在6类障碍物模型中，模型2对应的障碍物在 $ L=0.5\;\mathrm{m} $时对回风巷风流运移规律影响较小的结论具有风速普适性，在此类条件下可确保在巷道中存在障碍物时，控制其对风速监测的影响最小。
-
![]()
图 7 基于多注意力机制的特征融合策略
Figure 7. Feature fusion strategy based on multi attention mechanism
![]()
图 12 井下可见光和红外图像融合结果
Figure 12. Fusion results of underground visible images and infrared images
表 1 自编码−解码网络配置信息
Table 1 Configuration information of self-encoding and decoding network
模块 网络层 卷积核
大小卷积
步长输入
通道输出
通道激活
函数预处理层 Conv 3 1 1 16 ReLU 编码网络 编码块1 − − 16 64 − 编码块2 − − 64 112 − 编码块3 − − 112 160 − 编码块4 − − 160 208 − 解码网络 解码块1 − − 368 160 − 解码块2 − − 272 112 − 解码块3 − − 384 112 − 解码块4 − − 176 64 − 解码块5 − − 240 64 − 解码块6 − − 304 64 − 后处理层 Conv 1 1 64 1 ReLU 
下载: 导出CSV
表 2 图像融合算法在井下数据集上的指标数据
Table 2 Index data of image fusion algorithm on underground dataset
算法 SD EN QAB/F VIFF SSIMu LLF−IOI 83.396 2 5.147 2 0.164 7 1.154 5 0.647 5 NDM 69.575 9 5.212 6 0.168 7 1.216 9 0.753 6 PA−PCNN 85.478 9 5.363 4 0.165 4 1.496 3 0.758 6 TA−cGAN 85.446 8 5.442 5 0.203 6 1.425 4 0.723 0 U2fuse 76.093 6 5.502 3 0.123 9 0.832 9 0.473 2 IFAM 88.521 4 4.901 3 0.169 3 1.413 5 0.806 2
下载: 导出CSV
表 3 基于多注意力机制的特征融合策略中各模块消融实验结果
Table 3 Experimental results of ablation of each module in feature fusion strategy based on multi attention mechanism
通道
注意力空间
注意力信息保留
度权值EN SD QAB/F VIFF SSIMu √ 5.003 1 75.254 8 0.089 3 0.152 0 0.450 1 √ 5.089 6 70.521 7 0.082 7 0.178 2 0.447 1 √ √ 4.836 9 82.862 7 0.112 9 0.110 4 0.462 4 √ √ √ 5.112 3 83.521 3 0.089 3 0.183 6 0.470 3
下载: 导出CSV
表 4 不同 $ \alpha $和 $ \beta $组合下IFAM的实验结果
Table 4 Experimental results of IFAM under different combinations of α and β
$ \alpha $ $ \beta $ EN SD QAB/F VIFF $ {\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}_{\mathrm{u}} $ $ 0.1 $ $ 1 $ 3.309 7 58.659 3 0.063 9 0.814 7 0.438 7 $ 10 $ 3.600 7 60.078 0 0.058 0 0.909 1 0.476 5 $ 100 $ 3.452 6 63.853 6 0.106 5 1.065 6 0.556 3 $ 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }000 $ 4.325 5 64.241 7 0.106 4 1.149 8 0.545 6 $ 0.5 $ $ 1 $ 4.063 4 60.933 6 0.013 2 1.234 1 0.596 7 $ 10 $ 4.383 7 63.111 1 0.104 5 1.133 1 0.565 7 $ 100 $ 4.115 9 73.417 1 0.109 9 1.334 1 0.676 7 $ 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }000 $ 4.296 1 74.569 5 0.116 4 1.421 5 0.643 2 $ 1 $ $ 1 $ 4.147 5 68.942 3 0.165 8 1.165 7 0.563 4 $ 10 $ 4.308 9 73.922 1 0.145 6 1.134 4 0.624 5 $ 100 $ 4.391 5 76.345 5 0.121 3 1.480 2 0.705 0 $ 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }000 $ 4.051 7 76.876 9 0.125 6 1.265 2 0.578 5
下载: 导出CSV
-
[1] 周李兵. 煤矿井下无轨胶轮车无人驾驶系统研究[J]. 工矿自动化,2022,48(6):36-48. ZHOU Libing. Research on unmanned driving system of underground trackless rubber-tyred vehicle in coal mine[J]. Journal of Mine Automation,2022,48(6):36-48.
[2] MA Jiayi,MA Yong,LI Chang. Infrared and visible image fusion methods and applications:a survey[J]. Information Fusion,2019,45:153-178. DOI: 10.1016/j.inffus.2018.02.004
[3] WANG Zhishe,XU Jiawei,JIANG Xiaolin,et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]. Optik,2020,201. DOI: 10.1016/j.ijleo.2019.163497.
[4] MALLAT S G. A theory for multiresolution signal decomposition:the wavelet representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1989,11(7):674-693. DOI: 10.1109/34.192463
[5] 肖杨,张凌雪,付玲. Contourlet变换及方向滤波器组设计相关问题[J]. 科技风,2009(23):221. DOI: 10.3969/j.issn.1671-7341.2009.23.199 XIAO Yang,ZHANG Lingxue,FU Ling. Problems related to Contourlet transformation and directional filter bank design[J]. Technology Wind,2009(23):221. DOI: 10.3969/j.issn.1671-7341.2009.23.199
[6] DA CUNHA A L,ZHOU Jianping,DO M N. The nonsubsampled contourlet transform:theory,design,and applications[J]. IEEE Transactions on Image Processing,2006,15(10):3089-3101. DOI: 10.1109/TIP.2006.877507
[7] 罗娟,王立平. 基于非下采样Contourlet变换耦合特征选择机制的可见光与红外图像融合算法[J]. 电子测量与仪器学报,2021,35(7):163-169. LUO Juan,WANG Liping. Infrared and visible image fusion algorithm based on nonsubsampled contourlet transform coupled with feature selection mechanism[J]. Journal of Electronic Measurement and Instrumentation,2021,35(7):163-169.
[8] GAO Ce,QI Donghao,ZHANG Yanchao,et al. Infrared and visible image fusion method based on ResNet in a nonsubsampled contourlet transform domain[J]. IEEE Access,2021,9:91883-91895. DOI: 10.1109/ACCESS.2021.3086096
[9] 詹玲超,刘瑾. 基于非下采样Contourlet变换红外和可见光图像的融合方法[J]. 数字技术与应用,2016(10):45-46. ZHAN Lingchao,LIU Jin. Infrared and visible image fusion method based on nonsubsampled contourlet transform[J]. Digital Technology and Application,2016(10):45-46.
[10] FARBMAN Z,FATTAL R,LISCHINSKI D,et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics,2008,27(3):1-10.
[11] ZHANG Yu,LIU Yu,SUN Peng,et al. IFCNN:a general image fusion framework based on convolutional neural network[J]. Information Fusion,2020,54:99-118. DOI: 10.1016/j.inffus.2019.07.011
[12] LI Hui,WU Xiaojun,KITTLER J. RFN-Nest:an end-to-end residual fusion network for infrared and visible images[J]. Information Fusion,2021,73:72-86. DOI: 10.1016/j.inffus.2021.02.023
[13] WANG Zhishe,WANG Junyao,WU Yuanyuan,et al. UNFusion:a unified multi-scale densely connected network for infrared and visible image fusion[J]. IEEE Transactions on Circuits and Systems for Video Technology,2022,32(6):3360-3374. DOI: 10.1109/TCSVT.2021.3109895
[14] LIU Yu,CHEN Xun,CHENG Juan,et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets,Multiresolution and Information Processing,2018,16(3). DOI: 10.1142/S0219691318500182.
[15] LI Hui,WU Xiaojun. DenseFuse:a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing,2018,28(5):2614-2623.
[16] 罗迪,王从庆,周勇军. 一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法[J]. 红外技术,2021,43(6):566-574. LUO Di,WANG Congqing,ZHOU Yongjun. A visible and infrared image fusion method based on generative adversarial networks and attention mechanism[J]. Infrared Technology,2021,43(6):566-574.
[17] 王志社,邵文禹,杨风暴,等. 红外与可见光图像交互注意力生成对抗融合方法[J]. 光子学报,2022,51(4):318-328. WANG Zhishe,SHAO Wenyu,YANG Fengbao,et al. Infrared and visible image fusion method via interactive attention based generative adversarial network[J]. Acta Photonica Sinica,2022,51(4):318-328.
[18] MA Jiayi,ZHANG Hao,SHAO Zhenfeng,et al. GANMcC:a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement,2021,70:1-14.
[19] RAO Dongyu,WU Xiaojun,XU Tianyang. TGFuse:an infrared and visible image fusion approach based on transformer and generative adversarial network[EB/OL]. [2023-06-20]. https://arxiv.org/abs/2201.10147.
[20] LI Jing,ZHU Jianming,LI Chang,et al. CGTF:convolution-guided transformer for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement,2022,71:1-14.
[21] JIANG Yifan,GONG Xinyu,LIU Ding,et al. EnlightenGAN:deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing,2021,30:2340-2349. DOI: 10.1109/TIP.2021.3051462
[22] 秦沛霖,张传伟,周李兵,等. 煤矿井下无人驾驶无轨胶轮车目标3D检测研究[J]. 工矿自动化,2022,48(2):35-41. QIN Peilin,ZHANG Chuanwei,ZHOU Libing,et al. Research on 3D target detection of unmanned trackless rubber-tyred vehicle in coal mine[J]. Industry and Mine Automation,2022,48(2):35-41.
[23] WOO S,PARK J,LEE J-Y,et al. CBAM:convolutional block attention module[C]. 15th European Conference on Computer Vision,Munich,2018:3-19.
[24] 梁美彦,张倩楠,任竹云,等. 基于注意力机制的结肠癌病理学图像识别研究[J]. 测试技术学报,2022,36(2):93-100. LIANG Meiyan,ZHANG Qiannan,REN Zhuyun,et al. Research on identification of colon pathology image based on attention mechanism[J]. Journal of Test and Measurement Technology,2022,36(2):93-100.
[25] 牛悦,王安南,吴胜昔. 基于注意力机制和级联金字塔网络的姿态估计[J/OL]. 华东理工大学学报(自然科学版):1-11[2023-06-20]. DOI: 10.14135/j.cnki.1006-3080.20220715003. NIU Yue,WANG Annan,WU Shengxi. Pose estimation based on attention module and CPN[J/OL]. Journal of East China University of Science and Technology(Natural Science Edition):1-11[2023-06-20]. DOI: 10.14135/j.cnki.1006-3080.20220715003.
[26] ZAGORUYKO S,KOMODAKIS N. Paying more attention to attention:improving the performance of convolutional neural networks via attention transfer[EB/OL]. [2023-06-20]. https://arxiv.org/abs/1612.03928v2.
[27] 陈舞,孙军梅,李秀梅. 融合多尺度残差和注意力机制的特发性肺纤维化进展预测[J]. 中国图象图形学报,2022,27(3):812-826. CHEN Wu,SUN Junmei,LI Xiumei. Multi-scale residual and attention mechanism fusion based prediction for the progression of idiopathic pulmonary fibrosis[J]. Journal of Image and Graphics,2022,27(3):812-826.
[28] 李国梁,向文豪,张顺利,等. 基于残差网络和注意力机制的红外与可见光图像融合算法[J]. 无人系统技术,2022,5(2):9-21. LI Guoliang,XIANG Wenhao,ZHANG Shunli,et al. Infrared and visible image fusion algorithm based on residual network and attention mechanism[J]. Unmanned Systems Technology,2022,5(2):9-21.
[29] XU Han,MA Jiayi,JIANG Junjun,et al. U2Fusion:a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,44(1):502-518.
[30] LIN T-Y,MAIRE M,BELONGIE S,et al. Microsoft COCO:common objects incontext[C]. 13th European Conference on Computer Vision,Zurich,2014:740-755.
[31] ROBERTS J W,VAN AARDT J A,AHMED F B. Assessment of image fusion procedures using entropy,image quality,and multispectral classification[J]. Journal of Applied Remote Sensing,2008,2(1). DOI: 10.1117/1.2945910.
[32] XYDEAS C,PETROVIC V. Objective image fusion performance measure[J]. Electronics Letters,2000,36(4):308-309. DOI: 10.1049/el:20000267
[33] HAN Yu,CAI Yunze,CAO Yin,et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion,2013,14(2):127-135. DOI: 10.1016/j.inffus.2011.08.002
[34] 吴明辉. 联合特征提取方法的图像融合技术研究[D]. 武汉:武汉大学,2021. WU Minghui. Research on image fusion based on joint feature extraction[D]. Wuhan:Wuhan University,2021.
[35] XU Han. RoadScene:a new dataset of aligned infrared and visible images[DB/OL]. [2023-06-07]. https://github.com/hanna-xu/RoadScene.
[36] TOET A. TNO image fusion datase[DB/OL]. [2023-06-26]. https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.
[37] DU Jiao,LI Weisheng,XIAO Bin. Anatomical-functional image fusion by information of interest in local Laplacian filtering domain[J]. IEEE Transactions on Image Processing,2017,26(12):5855-5866. DOI: 10.1109/TIP.2017.2745202
[38] LIU Zhe,SONG Yuqing,SHENG V S,et al. MRI and PET image fusion using the nonparametric density model and the theory of variable-weight[J]. Computer Methods and Programs in Biomedicine,2019,175:73-82. DOI: 10.1016/j.cmpb.2019.04.010
[39] YIN Ming,LIU Xiaoning,LIU Yu,et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement,2018,68(1):49-64.
[40] KANG Jiayin,LU Wu,ZHANG Wenjuan. Fusion of brain PET and MRI images using tissue-aware conditional generative adversarial network with joint loss[J]. IEEE Access,2020,8:6368-6378. DOI: 10.1109/ACCESS.2019.2963741
-
期刊类型引用(16)
1. 陈颖俊，霍瑜斌，施江峰，姚斌. 基于压电传感的水泵机组运行状态监测方法. 云南水力发电. 2025(01): 131-134 . 
百度学术
2. 武晓莉. 矿用带式输送机运行状态监测系统应用. 机械管理开发. 2024(08): 249-251 . 百度学术
3. 梁堃，王驰. 基于分布式光纤声波传感器的带式输送机托辊故障监测方法. 激光与光电子学进展. 2023(09): 276-284 . 百度学术
4. 高波，袁媛，岳伟，张鑫增. 基于机器学习的托辊故障等级评价模型研究. 物流科技. 2023(13): 32-35 . 百度学术
5. 吴云雁. 矿用带式输送机故障监测与诊断系统设计. 陕西煤炭. 2023(04): 120-123+135 . 百度学术
6. 杨杰. 煤矿主运输长距离带式输送机托辊安装工艺研究. 煤矿机械. 2023(09): 101-105 . 百度学术
7. 邵斌，王磊，黄瀚. 煤矿井下带式输送机智能视频远程巡检系统设计. 煤矿机械. 2023(12): 198-200 . 百度学术
8. 李敬兆，孙杰臣，叶桐舟. 矿井带式输送机运行状态预测方法. 工矿自动化. 2022(02): 107-113 . 本站查看
9. 宋超. 掘进巷道带式输送机常见故障及处理措施. 现代机械. 2022(01): 100-102 . 百度学术
10. 吴琦. 矿用皮带输送机托辊运行监测技术研究. 机械管理开发. 2022(01): 133-134+142 . 百度学术
11. 李超. 带式输送机自动巡检装置的设计及现场调试试验. 机械管理开发. 2022(04): 52-53+56 . 百度学术
12. 岳涛. 带式输送机托辊健康监测分析研究. 机械管理开发. 2022(07): 298-299+302 . 百度学术
13. 叶涛，王起，张弛. 带式输送机可视化监测系统研究与实现. 起重运输机械. 2022(19): 42-46 . 百度学术
14. 郝晓平. 带式输送机托辊故障检测技术研究. 机械管理开发. 2022(12): 121-122+125 . 百度学术
15. 王海军，王洪磊. 带式输送机智能化关键技术现状与展望. 煤炭科学技术. 2022(12): 225-239 . 百度学术
16. 吕超. 带式输送机自动调心托辊的优化设计探析. 机械管理开发. 2021(12): 66-67+70 . 百度学术
其他类型引用(10)
计量
- 文章访问数: 1300
- HTML全文浏览量: 75
- PDF下载量: 78
- 被引次数: 26
