0 引言
矿井火灾是煤矿的主要灾害之一，平均每起事故死亡人数最多[1]。矿井火灾、瓦斯煤尘爆炸等事故，由于创伤和烧伤造成的死亡人数不足20%，一氧化碳中毒窒息死亡人数达80%多[1-2]。因此，尽早发现事故，尽早撤出遇险人员，是减少事故人员伤亡的有效措施[2]。尽早、准确地感知矿井火灾并报警，可以及时控制火灾，减少人员伤亡和财产损失，具有重要的理论意义和实用价值。
目前矿井外因火灾监测[3]主要采用温度、气体(CO、CO2、O2等)、烟雾等矿用传感器。利用矿用传感器监测矿井外因火灾，在传感器设置足够多、全矿井覆盖的前提下，具有准确率高、实时性强等优点，但当传感器设置较少时，远离传感器的火源不能被及时发现。矿用分布式光纤测温适用于矿用电缆和胶带火灾的监测，但存在光纤易损坏、安装复杂、维护困难等缺点。
文献[4]提出了基于可见光图像监测矿井外因火灾的方法，具有监测范围广、成本低、使用与维护简单、受距离影响小、色彩信息丰富、分辨率高、边缘特征清晰等特点，但易受煤矿井下矿灯、车灯、巷道灯及红色物体等影响，且井下粉尘大，会降低可见光图像的监视距离及图像清晰度。文献[4-5]提出了基于远红外图像监测矿井外因火灾的方法，具有可靠性高、实时性强等优点，但成本高。
为解决可见光图像在井下受矿灯、车灯、巷道灯、粉尘、红色物体等干扰大[6-7]的问题，笔者提出了基于近红外和可见光图像的矿井外因火灾感知方法。基于近红外图像监测矿井外因火灾，能够消除颜色影响并降低井下粉尘等的影响，且成本低，但仍受矿灯、车灯和巷道灯等的影响。为提高矿井火灾识别准确性，笔者又提出了基于近红外和可见光图像及传感器多信息融合的矿井外因火灾感知方法，除融合近红外图像和可见光图像信息外，还需设置一定数量的气体(CO、CO2、O2等)传感器、温度传感器和烟雾传感器，但不需要传感器无盲区全覆盖。
1 火焰特征提取
圆形度、矩形度、尖角特征等是区分火焰与矿灯、车灯和巷道灯等的主要特征。
1.1 圆形度特征
火焰的圆形度特征是指检测区域的形状与圆形的相似程度[8]。在近红外和可见光图像中，矿灯、车灯和巷道灯等光源与火焰相比，更接近于圆，圆形度β接近或等于1，而火焰的圆形度β远大于1。因此，可以通过圆形度分析来排除或减少矿灯、车灯、巷道灯等光源和圆形物体对矿井外因火灾图像的干扰。圆形度β的计算公式为[9]
(1)
式中：l为检测区域周长；S为检测区域面积。
1.2 矩形度特征
火焰的矩形度特征表示检测区域的边缘轮廓形状与矩形的相似程度。矩形度τ用检测区域面积占其最小外接矩形面积的比表示。在近红外和可见光图像中，矩形物体的矩形度接近于或等于1，而火焰的矩形度远小于1。因此，可以通过矩形度分析来排除或减少矩形物体对矿井外因火灾图像的干扰。矩形度τ的计算公式为[10]
(2)
式中St为检测区域最小外接矩形的面积。
1.3 尖角特征
火焰的尖角特征是指火焰尖角及火焰尖角的数目[11]。在近红外图像和可见光图像中，火焰有一定数目的尖角，矿灯、车灯、巷道灯等常见光源一般没有尖角或尖角较少，其他物体尖角也较少。因此，火焰的尖角特征是区别于矿灯、车灯、巷道灯等常见光源的明显特征，是火灾检测的主要特征。
1.4 面积变化率特征
在火灾的早期阶段，随着时间的增加，火焰的近红外图像和可见光图像面积也增大。相对静止物体的近红外图像和可见光图像面积变化较小。因此，可以通过检测区域面积变化率分析来排除或减少巷道灯等静止光源和物体对矿井外因火灾图像的干扰。面积变化率ε的计算公式为
ε=(Sn-Sn-1)/[T×max(Sn,Sn-1)]
(3)
式中：Sn为第n次监测图像检测区域的面积；T为第n-1次到第n次监测时间间隔；max(Sn，Sn-1)为取Sn和Sn-1的最大值。
1.5 质心移动距离特征
在火灾初期，受到风力等影响，火焰的整体形状会发生变化，但是其质心移动并不明显。而车灯、矿灯等在运动过程中，其质心移动较大。因此，在近红外和可见光图像中，可以用检测区域图像质心在多帧图像的移动累加距离来区分火焰与移动车灯和矿灯等。质心在2帧之间的移动距离计算公式[12]为
(4)
式中(xi,yi)和(xi-1，yi-1)分别为视频图像中第i帧及第i-1帧检测区域质心的坐标。
1.6 亮度变化率特征
在矿井火灾早期，火焰逐渐变大变亮，但火焰亮度变化缓慢，不同于灯光突然变亮。因此，可以利用近红外图像和可见光图像中检测区域亮度变化率来辨识火焰。亮度变化率计算公式为
Lc=(Ln-Ln-1)/[T×max(Ln,Ln-1)]
(5)
式中：Ln为第n次监测图像检测区域平均亮度；max(Ln，Ln-1)为取Ln和Ln-1中的最大值。
1.7 颜色和纹理特征
火焰在可见光彩色图像中，主要表现在红色与黄色之间，如图1(a)所示。火焰在近红外图像中，表现为亮度，如图1(b)所示。因此，在可见光彩色图像中，可以用颜色提取火焰，但受红色、橙色和黄色等物体影响。在可见光图像中，不同的物体纹理特征不同。因此，可通过纹理特征区分火焰与其他干扰。
(a) 火焰的可见光图像
(b) 火焰的近红外图像
图1 火焰的可见光、近红外图像
Fig.1 Visible light and near-infrared image of flame
2 基于近红外和可见光图像的矿井外因火灾感知方法及实验研究
为解决可见光图像受矿灯、车灯、巷道灯、粉尘、红色物体等干扰大的问题，笔者提出了基于近红外和可见光图像的矿井外因火灾感知方法，融合近红外和可见光图像信息，提高矿井外因火灾识别率。基于近红外图像监测矿井外因火灾，能够消除颜色影响并降低井下粉尘等影响，且成本低，但仍受矿灯、车灯和巷道灯等的影响。
2.1 实验设计
选取纸张、白炽灯、可见光摄像机和近红外摄像机作为实验器材。白炽灯通电之后具有高亮度，可模拟煤矿井下矿灯、车灯、巷道灯等干扰。点燃的纸张模拟井下火焰。周围环境模拟井下黑暗环境。白炽灯与火焰位于同一水平线处。近红外摄像机与可见光摄像机位于相同高度，与白炽灯和火焰的距离相同。将白炽灯通电，同时点燃纸张，将白炽灯与被点燃纸张放在同一水平面上，在相同距离处同时获取可见光图像和近红外图像。白炽灯位于图片的左侧，火焰位于图片的右侧。
2.2 早期火焰图像识别
白炽灯与早期火焰的可见光图像如图2(a)所示。对白炽灯与早期火焰的可见光图像进行特征提取后的图像如图2(b)所示。从图2(b)可看出，早期火焰轮廓不清晰，火焰形状模糊，难以区分火焰与白炽灯。
白炽灯与早期火焰的近红外图像如图3(a)所示。对白炽灯与早期火焰的近红外图像进行特征提取后的图像如图3(b)所示。从图3(b)可看出，提取特征后的早期火焰尖角特征和轮廓特征明显，可以区分火焰与白炽灯。
图2 白炽灯与早期火焰的可见光图像及其特征
Fig.2 Visible light images of incandescent lamp and
early flames and their characteristics
图3 白炽灯与早期火焰的近红外图像及其特征
Fig.3 Near-infrared images of incandescent lamp and
early flames and their characteristics
2.3 中期火焰图像识别
白炽灯与中期火焰的可见光图像如图4(a)所示。对白炽灯与中期火焰的可见光图像进行特征提取后的图像如图4(b)所示。从图4(b)可看出，中期火焰火势旺盛，尖角特征明显，火焰尖角特征易于提取，与白炽灯差异大。
图4 白炽灯与中期火焰的可见光图像及其特征
Fig.4 Visible light images of incandescent lamp and
mid-term flame and their characteristics
白炽灯与中期火焰的近红外图像如图5(a)所示。对白炽灯与中期火焰的近红外图像进行特征提取后的图像如图5(b)所示。从图5(b)可看出，中期火焰火势旺盛，火焰边缘平滑，尖角特征不明显，难以区分火焰与白炽灯。
图5 白炽灯与中期火焰的近红外图像及其特征
Fig.5 Near-infrared images of incandescent lamp and
mid-term flame and their characteristics
上述近红外图像和可见光图像实验及特征提取结果表明，可见光图像中，在火焰早期阶段，火焰边缘信息模糊，形状与白炽灯接近，难以区分火焰与白炽灯；在火焰中期阶段，火焰尖角特征明显，形状特征清晰，可以区分火焰与白炽灯。近红外图像中，火焰早期阶段的火焰形状和边缘特征明显，可以区分火焰与白炽灯；火焰中期阶段的火焰边缘特征平滑，难以区分白炽灯与火焰。因此，将近红外图像和可见光图像融合，发挥近红外图像中早期火焰特征明显、可见光图像中中期火焰特征明显的优点，以提高矿井外因火灾识别率。
3 基于近红外和可见光图像与传感器多信息融合的矿井外因火灾感知方法
为充分利用温度、烟雾、气体传感器及近红外图像、可见光图像信息提高矿井外因火灾识别率，笔者提出了基于近红外、可见光图像和传感器多信息融合的矿井外因火灾感知方法，将报警信息分为图像、温度、烟雾和气体4类，并将火灾报警等级分为蓝色、黄色、橙色和红色4级，红色为最高级。
图像类火灾报警信息包括近红外图像和可见光图像信息；当近红外图像或可见光图像监测到火灾信息时，发出图像类火灾报警信号。当温度超限时，发出温度类报警信号。当烟雾超限时，发出烟雾类报警信号。气体类火灾报警信息包括CO、CO2、O2等，当CO、CO2或O2超限时，发出气体类报警信号。图像、温度、烟雾和气体类报警见表1。
表1 图像、温度、烟雾和气体类报警
Table 1 Image, temperature, smoke and gas alarm
报警类型报警参数近红外图像可见光图像温度烟雾COCO2O2图像类报警报警———————报警—————温度类报警——报警————烟雾类报警———报警———气体类报警————报警———————报警———————报警
注：—表示任意状态。
当图像类、温度类、烟雾类、气体类4类信息中有1类报警，发出火灾蓝色报警信号。当图像类、温度类、烟雾类、气体类4类信息中同时有2类报警，发出火灾黄色报警信号。当图像类、温度类、烟雾类、气体类4类信息中同时有3类报警，发出火灾橙色报警信号。当图像类、温度类、烟雾类、气体类4类全部报警，发出火灾红色报警信号。矿井外因火灾蓝色、黄色、橙色和红色4级报警见表2。
表2 火灾蓝色、黄色、橙色和红色4级报警
Table 2 4-level fire alarm in blue, yellow, orange and red
报警级别报警类型图像类信息温度类信息烟雾类信息气体类信息蓝色报警报警不报警不报警不报警不报警报警不报警不报警不报警不报警报警不报警不报警不报警不报警报警黄色报警报警报警不报警不报警不报警报警报警不报警不报警不报警报警报警报警不报警不报警报警橙色报警报警不报警报警报警报警报警不报警报警报警报警报警不报警不报警报警报警报警红色报警报警报警报警报警
4 结论
(1) 利用矿用温度、气体和烟雾等传感器监测矿井外因火灾，在传感器设置足够多、矿井全覆盖的前提下，具有准确率高、实时性强等优点；但当传感器设置较少时，远离传感器的火源不能被及时发现。
(2) 矿用分布式光纤测温适用于矿用电缆和胶带火灾监测，但存在光纤易损坏、安装复杂、维护困难等缺点。
(3) 基于可见光图像监测矿井外因火灾具有监测范围广、成本低、使用与维护简单、受距离影响小、色彩信息丰富、分辨率高、边缘特征清晰等特点，但易受煤矿井下矿灯、车灯、巷道灯及红色物体等影响，且井下粉尘大，会降低可见光图像的监视距离及图像清晰度。在可见光图像中，在火焰早期阶段，火焰边缘信息模糊，形状与白炽灯接近，难以区分火焰与白炽灯；在火焰中期阶段，火焰尖角特征明显，形状特征清晰，可以区分火焰与白炽灯。
(4) 基于远红外图像监测矿井外因火灾具有可靠性高、实时性强等优点，但成本高。
(5) 基于近红外图像监测矿井外因火灾，能够消除颜色影响并降低井下粉尘等的影响，且成本低，但受矿灯、车灯和巷道灯等影响。近红外图像中，在火焰早期阶段，火焰形状和边缘特征明显，可以区分火焰与白炽灯；在火焰中期阶段，火焰边缘平滑，难以区分白炽灯与火焰。
(6) 基于近红外和可见光图像及传感器多信息融合的矿井外因火灾感知方法，融合了近红外图像、可见光图像和传感器信息，传感器不需要无盲区覆盖，仅需设置一定数量的气体传感器、温度传感器和烟雾传感器，具有及时、可靠、成本低等优点。
(7) 基于近红外和可见光图像及传感器多信息融合的矿井外因火灾感知方法将报警信息分为图像、温度、烟雾和气体4类。图像类火灾报警信息包括近红外图像和可见光图像信息,当近红外图像或可见光图像监测到火灾信息时，发出图像类火灾报警信号;当温度超限时，发出温度类报警信号;当烟雾超限时，发出烟雾类报警信号;气体类火灾报警信息包括CO、CO2、O2等,当CO、CO2或O2超限时，发出气体类报警信号。
(8) 基于近红外和可见光图像及传感器多信息融合的矿井外因火灾感知方法将火灾报警分为蓝色、黄色、橙色和红色4级，红色为最高级。当图像类、温度类、烟雾类、气体类4类信息中有1类报警，发出火灾蓝色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有2类报警，发出火灾黄色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有3类报警，发出火灾橙色报警信号;当图像类、温度类、烟雾类、气体类4类全部报警，发出火灾红色报警信号。
[1] 孙继平,钱晓红.煤矿重特大事故应急救援技术及装备[J].煤炭科学技术,2017,45(1):112-116.
SUN Jiping,QIAN Xiaohong.Emergency rescue technology and equipment of mine extraordinary accidents[J].Coal Science and Technology,2017,45(1):112-116.
[2] 孙继平.煤矿安全生产理念研究[J].煤炭学报,2011,36(2):313-316.
SUN Jiping.Research on coal-mine safe production conception[J].Journal of China Coal Society,2011,36(2):313-316.
[3] 孙继平,孙雁宇.矿井火灾监测与趋势预测方法研究[J].工矿自动化,2019,45(3):1-4.
SUN Jiping,SUN Yanyu.Research on methods of mine fire monitoring and trend prediction[J].Industry and Mine Automation,2019,45(3):1-4.
[4] 孙继平,孙雁宇,范伟强.基于可见光和红外图像的矿井外因火灾识别方法[J].工矿自动化,2019,45(5):1-5.
SUN Jiping,SUN Yanyu,FAN Weiqiang.Mine exogenous fire identification method based on visible light and infrared image[J].Industry and Mine Automation,2019,45(5):1-5.
[5] 孙继平,任慧,吕朝辉.矿井红外火灾图像处理方法的研究[J].煤炭科学技术,2007，35(6):64-66.
SUN Jiping,REN Hui,LYU Chaohui.Study on mine infrared fire disaster image processing process method[J].Coal Science and Technology,2007，35(6):64-66.
[6] 孙继平.煤矿瓦斯和煤尘爆炸感知报警与爆源判定方法研究[J].工矿自动化,2020,46(6):1-5.
SUN Jiping.Research on method of coal mine gas and coal dust explosion perception alarm and explosion source judgment[J].Industry and Mine Automation,2020,46(6):1-5.
[7] 孙继平,范伟强.基于视频图像的瓦斯和煤尘爆炸感知报警及爆源判定方法[J].工矿自动化,2020,46(7):1-4.
SUN Jiping,FAN Weiqiang.Gas and coal dust explosion perception alarm and explosion source judgment method based on video image[J].Industry and Mine Automation,2020,46(7):1-4.
[8] 兰琪,贾敏智.基于图像型的矿井火灾探测方法研究[J].煤炭技术,2016,35(4):187-189.
LAN Qi, JIA Minzhi. Research on fire detection based on image in coal mine[J].Coal Technology,2016,35(4):187-189.
[9] 尹义超.东欢坨矿九煤层采空区自然发火规律研究[D].三河：华北科技学院,2019.
YIN Yichao.Study on spontaneous combustion law of goaf in No.9 coal seam of Donghuantuo Coal Mine[D].Sanhe:North China Institute of Science and Technology,2019.
[10] 梁青.基于图像处理的森林火灾监测的技术研究[D].南昌：华东交通大学,2012.
LIANG Qing.Research on technology of forest fire monitoring based on image processing[D].Nanchang:East China Jiaotong University,2012.
[11] 仇国庆,蒋天跃,冯汉青,等.基于火焰尖角特征的火灾图像识别算法[J].计算机应用与软件,2013,30(12):52-55.
QIU Guoqing,JIANG Tianyue,FENG Hanqing,et al.Fire image recognition algorithm based on flame sharp angles[J].Computer Applications and Software,2013,30(12):52-55.
[12] 黄涛.基于综合特征的图像分类[D].南京:南京邮电大学,2016.
HUANG Tao.Image classification based on comprehensive feature [D].Nanjing: Nanjing University of Posts and Telecommunications, 2016.
