0 引言
煤炭是我国能源的基石，是可以实现清洁高效利用的最经济、可靠的能源[1]。我国的煤炭开采方式主要以井工开采为主，综采工作面是井工开采的核心组成部分。由于煤矿井下综采工作面矿尘浓度高、环境潮湿、噪声大，且存在冒顶、片帮、冲击地压、瓦斯突出等危险，所以，引导煤矿开采方式机械化、自动化与智能化，逐步实现少人化、无人化开采是煤矿综采技术的发展方向和实现煤矿安全生产的必然要求[2-3]。煤矿智能化是实现煤炭工业高质量发展的核心技术支撑,建设智能化煤矿是煤炭工业的战略方向,是煤矿高质量发展的必由之路[4-6]。随着煤矿开采机械化、自动化的逐步实现，煤矿开采智能化技术已成为煤矿综采技术的研究热点。煤矿开采智能化技术是通信技术、感知技术、信息技术、智能分析技术等信息化技术的深度融合，通过对采煤机的自主导航、三机联动的自动控制、地面对设备、系统、环境的实时监测与控制等功能，实现综采工作面智能化开采[7-8]。煤矿开采智能化技术分为两大阶段:可视化远程干预型智能化无人开采和自适应型智能化无人开采[9-11]。
矿井视频监控智能化技术是实现煤矿可视化远程干预型智能化无人开采的关键技术之一[1-2,9]。但煤矿井下开采工作面环境恶劣，使得采集的矿井监视图像具有严重的退化现象，影响了煤矿开采智能化的发展[4,12]。因此，研究矿井监视图像复原技术，以改善矿井监视图像的质量具有重要意义。
矿井监视图像复原主要是利用矿井图像采集过程中的有关先验知识建立退化模型，进而恢复图像的原始面貌。根据图像退化模型的确定性，图像复原算法可以分为确定性算法和随机性算法，其中，确定性算法主要是利用偏微分方程和小波变换实现，而随机性算法主要是利用概率统计算法实现图像复原。
考虑到矿井监视图像的采集过程受液压支架、采煤机、破碎机与带式输送机的振动及矿尘、喷雾等因素的随机影响，无法准确获知图像退化的深度、强度、范围等有用信息，因此，采用随机性算法复原矿井监视图像。比较常用的随机性算法有马尔科夫随机场方法、最大后验概率、基于贝叶斯的L-R算法(以下称L-R算法)等。基于马尔科夫随机场的复原方法易受图像灰度变化的影响，基于最大后验概率的图像复原算法易受高斯分布的限制，而L-R算法拥有预测各种概率分布、估计不同模型的参数与估算各类不确定因素的优势，比较适合于煤矿井下的图像监视复原场景[13-14]。基于图像超分辨率的矿井监视图像复原方法主要是利用图像缩放、降质模型等机理，恢复图像中丢失的高频信息，但是该方法对噪声信息比较敏感[15]。基于暗原色与暗通道的复原方法是将原始图像中比较暗的区域分离出来，得出整体图像的统计模型，但是对于煤矿井下低照度的监视图像，该方法效果不是很明显[16-17]。
鉴此，本文设计了一套基于L-R算法的矿井监视图像复原装置。该装置利用基于L-R算法的图像复原模型，可对矿井监视图像进行精确复原，提高了矿井图像复原的质量。
1 基于L-R算法的图像复原模型建立
L-R算法是根据泊松分布特性，基于贝叶斯理论与迭代理念推导出的图像复原算法[18]。
贝叶斯理论表述如下：
(1)
式中：p(f)为事件f发生的概率；p(g)为事件g发生的概率；p(f|g)为事件f在事件g发生基础上发生的概率。
由全概率公式可得
p(f)=
(2)
将式(1)、式(2)应用到图像复原过程中，用f表示原始图像，g表示退化图像，p(f)表示原始图像m(x,y)((x,y)表示原始图像m(x,y)的元素坐标)的灰度分布函数，p(g)表示退化图像n(x1,y1)((x1,y1)表示退化图像n(x1,y1)的元素坐标)的灰度分布函数，p(g|f)表示以点(x,y)为中心的点扩散函数h(x1-x,y1-y)，可得
m(x,y)=
(3)
调整式(3)积分项中分子的x1与x、y1与y的顺序，再次变换可得
m(x,y)=
h(-(x-x1),-(y-y1))dx1dy1m(x,y)
(4)
以退化图像n(x1,y1)为基础，将式(3)、式(4)进一步以卷积的形式表示如下：
m(x,y)=
(5)
对式(5)中的m(x,y)的表达式进行进一步分析，并以迭代的方式求原始图像m(x,y)，可得
ek+1(x,y)=
(6)
式中：k为迭代次数，取值范围为1～∞；e(x,y)为迭代后的图像。
针对图像复原场景的表示，e0(x,y)=m(x,y)，随着迭代次数k的增加，ek+1(x,y)会根据概率收敛于e(x,y)。
2 装置设计
基于L-R算法的矿井监视图像复原装置需要实现以下功能：获取矿井摄像头的多媒体包流、调用图像复原模块、将复原后的图像以多媒体包流的形式转发到视频监控端。
装置工作原理如图1所示。首先，采集摄像头的多媒体包流信息，并对流信息进行解析，获取视频流，得到图像帧信息；然后，调用基于L-R算法的图像复原模块，进行图像复原，并输出复原后的图像；最后，将复原后的图像帧编码为多媒体包流信息转发至视频监控端，为操作人员远程操作采煤设备提供清晰的视频信息。该装置可通过API的形式配置图像复原模块的参数[19-21]。
2.1 装置硬件设计
基于L-R算法的矿井监视图像复原装置硬件主要由供电模块、通信模块、处理模块与存储模块组成，如图2所示。供电模块用于向处理模块供电。通信模块用于处理模块与摄像头、视频监控端的通信。存储模块用于存储处理程序与临时数据。处理模块以BCM2711处理器为核心，操作系统为Ubuntu，主频为1.5 GHz，指令集为ARM7，用于完成视频取流、图像复原与视频流转发操作。
图1 基于L-R算法的图像复原装置架构
Fig.1 Architecture of image restoration device based on L-R algorithm
图2 装置硬件组成
Fig.2 Device hardware composition
2.2 装置软件设计
基于L-R算法的矿井监视图像复原装置软件系统采用面向服务的架构、模块化的设计思路。整体软件系统包含取流模块、配置模块、复原模块与转发模块。
2.2.1 取流模块
取流模块主要用于获取矿井摄像头的多媒体文件，从多媒体文件中解码出视频帧，主要流程如下：
(1) 获取矿井监控信息的多媒体包流文件，包括网络地址及端口与获取格式。
(2) 解析多媒体包流文件，检测多媒体包中是否含有视频流，若有，则获取流信息;若没有，则丢弃。
(3) 解析流信息，获取视频流。
(4) 解析视频流信息，获取解码器信息，根据解码器信息，加载对应的解码器模块。
(5) 调用解码器模块，对视频流进行解码，并获取视频帧信息。
(6) 调用图像复原模块。
2.2.2 配置模块
配置模块主要是对复原模块中所需要的参数进行配置。该模块按照复原模块的参数属性、个数及位置要求，以API的形式对外发布参数需求，其主要格式如下：
地址：
POST http://{IP}:{PORT}/api/config
描述：
配置复原模块的参数
参数：
半径：Rad
标准差：Std
迭代次数：k
参数示例：
{
“Rad”:5,
“Std”:3,
“k”:25
}
状态码：
200 OK
400 BadRequest
2.2.3 复原模块
复原模块属于该装置的核心模块，利用L-R算法对图像进行复原，主要流程如下：
(1) 加载复原模块的配置参数(半径r，标准差σ，迭代次数k)。
(2) 加载退化函数模型(以高斯函数为例)，并设定参数。
(3) 监听调用。
(4) 获取图像信息，转换为图像矩阵。
(5) 退化模型以图像矩阵中的每一个元素值为中心，与图像矩阵进行卷积操作(边缘处补0)。
(6) 迭代次数为k-1，检测迭代次数是否为0，若为0，则退出，并将迭代后的图像矩阵转换为图像信息。
(7) 输出图像信息。
2.2.4 转发模块
转发模块主要完成输出图像的编码，进行网络流媒体传输，主要流程如下：
(1) 对图像复原模块输出的图像进行编码。
(2) 调用图像帧并转换至byte数据。
(3) 初始化RTP(Real Time Protocol, 实时传输协议)包，开始构建视频流。
(4) 对RTP数据包添加时间戳，加载byte数据。
(5) 发送RTP数据包，返回剩余数据，继续步骤(3)。
3 装置实验验证
采用基于ARM的微型计算机作为实验平台，并采用8台高清数字摄像机作为视频流采集设备，用于采集综采工作面的视频数据，复原后的视频流通过RJ45网口转发至视频监控端，其中复原模块中的退化模型采用高斯函数模板，半径为3，标准差为5，迭代次数为45。
在视频监控端，分别采集高清数字摄像机与图像复原装置转发的视频流，采集时长分别为1，3，5 min，并将采集到的视频流转换为视频帧，计算每一帧图像的灰度平均梯度值、拉普拉斯算子和与信息熵值，并计算其各段时间内的视频流图像帧的平均值，结果见表1。灰度平均梯度值、拉普拉斯算子和与信息熵的评价准则如下[22-24]：
(1) 灰度平均梯度值:主要反映图像的对比度和纹理特征，其值越大，表示图像越清晰。
(2) 拉普拉斯算子和：主要反映了图像灰度边界的数量和，其值越大，表示图像越清晰。
(3) 信息熵：主要反映图像的信息量，其值越大，表示图像中的信息量越大。
表1 视频流质量对比
Table 1 Video stream quality comparison
时间/min原视频流复原后的视频流灰度平均梯度值拉普拉斯算子和信息熵灰度平均梯度值拉普拉斯算子和信息熵10.0755.06.900.0906.07.5930.0784.76.650.0926.57.6050.0825.36.870.0956.67.58
由表1可看出，相对于原视频流质量，复原后的视频流的图像质量得到明显提升，表明基于L-R算法的矿井监视图像复原装置可有效提升煤矿井下的视频质量。
4 结语
针对矿井视频监视图像存在严重退化的问题，设计了一套基于L-R算法的矿井监视图像复原装置。该装置通过矿井摄像头获取视频流信息，并对流信息进行解析，获取视频流，得到图像帧信息；基于L-R算法的图像复原模块进行图像复原，并输出复原后的图像；将复原后的图像帧编码为多媒体包流信息转发至视频监控端，为操作人员远程操作采煤设备提供清晰的视频信息。实验结果表明，该装置可有效提升矿井监视图像的质量，为实现煤矿可视化远程干预型智能化无人开采提供技术保障。
[1] 王国法,刘峰,孟祥军,等.煤矿智能化(初级阶段)研究与实践[J].煤炭科学技术,2019,47(8):1-36.
WANG Guofa,LIU Feng,MENG Xiangjun,et al.Research and practice on intelligent coal mine construction (primary stage)[J].Coal Science and Technology,2019,47(8):1-36.
[2] 王国法,杜毅博.煤矿智能化标准体系框架与建设思路[J].煤炭科学技术,2020,48(1):1-9.
WANG Guofa,DU Yibo.Coal mine intelligent standard system framework and construction ideas[J].Coal Science and Technology,2020,48(1):1-9.
[3] 孙继平.煤矿信息化与自动化发展趋势[J].工矿自动化,2015,41(4):1-5.
SUN Jiping. Development trend of coal mine informatization and automation[J].Industry and Mine Automation,2015,41(4):1-5.
[4] 孙继平,田子建.矿井图像监视系统与关键技术[J].煤炭科学技术,2014,42(1):65-68.
SUN Jiping,TIAN Zijian.Image monitoring system and key technology in underground mine[J].Coal Science and Technology,2014,42(1):65-68.
[5] 葛世荣,王忠宾,王世博.互联网+采煤机智能化关键技术研究[J].煤炭科学技术,2016,44(7):1-9.
GE Shirong,WANG Zhongbin,WANG Shibo.Study on key technology of Internet plus intelligent coal shearer[J].Coal Science and Technology,2016,44(7):1-9.
[6] 张良,李首滨,黄曾华,等.煤矿综采工作面无人化开采的内涵与实现[J].煤炭科学技术,2014,42(9):26-29.
ZHANG Liang, LI Shoubin,HUANG Zenghua,et al.Definition and realization of unmanned mining in fully-mechanized coal mining face[J].Coal Science and Technology,2014,42(9):26-29.
[7] 王星,白尚旺,潘理虎.一种矿井图像增强算法[J]. 工矿自动化,2017,43(3):48-52.
WANG Xing，BAI Shangwang, PAN Lihu, et al . A mine image enhancement algorithm[J]. Industry and Mine Automation,2017,43(3):48-52.
[8] 王虹.综采工作面智能化关键技术研究现状与发展方向[J].煤炭科学技术,2014,42(1):60-64.
WANG Hong. Development orientation and research state on intelligent key technology in fully-memchanized coal mining face [J].Coal Science and Technology,2014,42(1):60-64.
[9] 张科学.综掘工作面智能化开采技术研究[J].煤炭科学技术,2017,45(7):106-111.
ZHANG Kexue. Study on intelligent mining technology of fully-mechanized heading face[J].Coal Science and Technology,2017,45(7):106-111.
[10] 王海军.数字式智慧综采工作面集控系统研究[J].煤炭科学技术,2017,45(1):135-141.
WANG Haijun.Study on centralized control system of digital fully-mechanized coal mining face[J].Coal Science and Technology,2017,45(1):135-141.
[11] 孙彦景,左海维,钱建生,等.面向煤矿安全生产的物联网应用模式及关键技术[J].煤炭科学技术,2013,41(1):84-88.
SUN Yanjing, ZUO Haiwei, QIAN Jiansheng, et al. Application mode and key technology of Internet of things faced to coal mine safety production[J]. Coal Science and Technology, 2013,41(1):84-88.
[12] 张建公.低照度视频技术在综采工作面监控系统的应用[J].煤炭科学技术,2013,41(8):92-94.
ZHANG Jiangong. Application of low illumination video technology for monitoring system in fully-mechanized coal face[J]. Coal Science and Technology, 2013,41(8):92-94.
[13] 赵小虎,刘闪闪,沈雪茹，等.基于CS架构的煤矿井下图像处理算法研究[J]. 煤炭科学技术,2018,46(2):219-224.
ZHAO Xiaohu, LIU Shanshan, SHEN Xueru,et al. Research on processing algorithm of image in underground coal mine based on CS framework[J].Coal Science and Technology, 2018,46(2):219-224.
[14] 沈峘,李舜酩,毛建国,等. 数字图像复原技术综述[J]. 中国图象图形学报,2009,14(9):1764-1775.
SHEN Huan, LI Shunming, MAO Jianguo, et al. Overview of digital image restoration technology [J]. Chinese Journal of Image Graphics, 2009, 14 (9): 1764-1775.
[15] 范郭亮. 煤矿井下监控图像超分辨率复原关键技术研究[D].北京：中国矿业大学(北京),2012.
FAN Guoliang. Research on key technologies of super-resolution restoration of coal mine monitoring image [D]. Beijing: China University of Mining and Technology(Beijing),2012.
[16] 张琳. 基于暗通道的降质图像增强与复原算法研究[D].邯郸：河北工程大学,2018.
ZHANG Lin. Research on enhancement and restoration algorithm of degraded image based on dark channel [D]. Handan: Hebei University of Engineering, 2018.
[17] 刘晓文,仲亚丽,袁莎莎,等.基于暗原色先验的煤矿井下退化图像复原算法[J].煤炭科学技术,2012,40(6):77-80.
LIU Xianwen, ZHONG Yali, YUAN Shasha, et al. Restoration algorithms of degradation image in underground mine based on dark channel prior[J]. Coal Science and Technology, 2012,40(6):77-80.
[18] 张岩. MATLAB图像处理超级学习手册[M]. 北京:人民邮电出版社,2014.
ZHANG Yan.MATLAB image processing super learning manual[M].Beijing:People's Posts and Telecommunications Press,2014.
[19] 孙国玥. 基于Android系统的可视电话中的图像采集与传输[D].哈尔滨:哈尔滨工业大学,2014.
SUN Guoyue. Image acquisition and transmission in video phone based on Android system [D]. Harbin:Harbin Institute of Technology, 2014.
[20] 张宇. 基于RTSP的音视频传输系统研究与实现[D].广州：广东工业大学,2016.
ZHANG Yu. Research and implementation of audio and video transmission system based on RTSP [D]. Guangzhou:Guangdong University of Technology,2016.
[21] 秦鑫辉. 基于Raspberry Pi的语音传输及识别系统的设计与实现[D].太原：山西大学,2019.
QIN Xinhui. Design and implementation of speech transmission and recognition system based on Raspberry Pi[D]. Taiyuan: Shanxi University,2019.
[22] 邱立杰. Lucy-Richardson算法在天文图像中的运用及初步探讨[D].广州：暨南大学,2011.
QIU Lijie. Application and preliminary discussion of Lucy-Richardson algorithm in astronomical images [D].Guangzhou:Jinan University, 2011.
[23] 周箩鱼. 基于盲解卷积的图像盲复原技术研究[D].长春：中国科学院研究生院(长春光学精密机械与物理研究所),2013.
ZHOU Luoyu. Research on blind image restoration based on blind deconvolution [D]. Changchun ：Graduate School of Chinese Academy of Sciences (Changchun Institute of Optics, Precision Machinery and Physics), 2013.
[24] 胡良梅 ,高隽,何柯峰. 图像融合质量评价方法的研究[J]. 电子学报,2004,32(增刊1):218-221.
HU Liangmei, GAO Jun, HE Kefeng. Research on image fusion quality evaluation method [J]. Acta Electronica Sinica, 2004,32(S1): 218-221.