图1 煤矿视频联动地磅称重智能识别管理系统组成
Fig.1 Composition of video cooperated intelligent identification weighbridge management system for coal mine
科研成果
杨波1， 朱绪冉2， 孙彦景2， 卢楠楠2， 陈岩2， 吴天琦2
(1．霍州煤电集团有限责任公司 李雅庄煤矿， 山西 霍州 031400；2．中国矿业大学 信息与控制工程学院， 江苏 徐州 221116)
摘要：针对传统的煤矿企业地磅称重管理系统因人工采集信息导致工作效率低、质量差，以及因缺乏防作弊监控措施导致偷煤现象频发等问题，设计了一种煤矿视频联动地磅称重智能识别管理系统，详细介绍了该系统的组成、视频联动地磅称重智能识别原理、系统工作流程及软件功能。该系统由视频监控系统、车辆抓拍系统和数据采集系统组成，综合应用数字图像处理、卷积神经网络、计算机网络等技术，实现了基于车牌识别和多特征匹配的煤矿地磅业务智能监控功能。实际应用表明，该系统可靠性高，操作简便，有效减少了人员工作量，并能够防止作弊盗煤现象发生。
关键词：煤矿地磅称重； 视频联动； 智能监控； 车辆抓拍； 车牌识别； 多特征匹配； 边缘检测
传统的煤矿企业地磅称重管理系统中大部分信息采集工作由司磅员手动完成，很难保证工作效率及工作质量[1-3]。另外，系统缺乏有效的防作弊监控措施，导致大量偷煤现象，给企业造成巨大经济损失。常见的作弊手段包括模糊车牌、更换车牌、车辆不完全上磅称毛重或多辆车同时上磅称皮重、对地磅传感器加装遥控干扰装置等[4]。
本文综合运用数字图像处理、卷积神经网络(Convolutional Neural Network,CNN)和计算机网络等技术，设计了一种煤矿视频联动地磅称重智能识别管理系统。该系统能够自动检测车辆是否完全上磅，识别载煤车牌号并确保信息匹配，同时可自动采集、传输、存储和调取称重数据，实现对煤矿地磅业务的智能监控。实际应用表明，该系统减轻了工作人员的劳动强度，最大限度地防止了作弊行为的发生。
煤矿视频联动地磅称重智能识别管理系统主要由视频监控系统、车辆抓拍系统和数据采集系统组成，如图1所示。
图1 煤矿视频联动地磅称重智能识别管理系统组成
Fig.1 Composition of video cooperated intelligent identification weighbridge management system for coal mine
每台地磅进出口分别安装1台高清红外摄像机，进行全天候监控。为保证视频的清晰度，选用低照度彩色摄像机，配有室外防水护罩。
在视频监控系统中，管理人员能够直接在软件界面上观察整个计重过程，可重点观看称重车辆上磅情况、车牌号、车斗里有无其他物品。称重现场视频图像可被录制下来保存到硬盘上。视频监控系统可有效杜绝司磅员与司机沟通作弊等现象，确保称重数据的可靠性。
车辆抓拍系统由红外对射对位子系统和车牌识别子系统组成。2对红外对射器分别安装在磅台的前后部，时刻检测车辆位置。如果车辆未完全停在磅台上，红外对射器会自动感应到，不允许称重，直至车辆完全停在磅台上才允许称重。当车辆完全上磅后，图像采集设备受到地感线圈触发，控制摄像机获取当前时刻的图像并保存，然后由车牌识别子系统对图像中的车辆进行车牌识别，并输出车牌号、时间等信息。图像同时被压缩、打包，通过网络传输并存入数据库。
红外对射对位子系统可有效防止车辆不完全上磅称毛重作弊和多辆车同时上磅称皮重作弊，确保称重数据的准确性。车牌识别子系统可有效减少人工作业量，实现煤矿地磅车辆作业流水化，提高工作效率。
数据采集系统由采集、传输、存储和调取4个部分组成。系统自动采集称重仪上的数据，避免人工操作，有效防止人为因素作弊；根据RS232协议，将数据编译成固定的帧格式，接入到串口服务器并转换为以太网数据格式输入网络交换机，用于视频监控系统和车辆抓拍系统的信息匹配；将称重数据保存到数据服务器；在二次称重时，根据车牌号在数据库中调取一次称重时的数据，自动进行载煤量计算。数据发送方式为周期主动发送，每200 ms发送1次。数据一旦进入数据库，将永久保存，在未经许可的情况下无法修改或删除。数据采集系统可有效避免人为因素产生的数据录入错误，减少司磅员工作量。
煤矿视频联动地磅称重智能识别管理系统中，视频监控系统进行全天候监控。当有车辆进入磅台时，红外对射器时刻检测车辆位置，待车辆完全上磅后，摄像机对车辆进行图像抓拍，自动识别车牌号并将最终结果和压缩后的图像上传至数据库。同时称重仪对载煤车辆进行称重(皮重或毛重)并将数据上传至数据库。
车牌识别子系统是整个系统的重要组成部分，也是最复杂的部分，需要对捕捉的车辆监控图像自动进行车牌识别或多特征匹配。车牌识别率高低直接关系到系统性能指标。
车牌识别主要包括车牌定位与字符识别2个阶段[5-8]。在车牌定位阶段，综合应用2种定位方式对车牌进行初步定位检测，然后使用CNN模型对检测到的候选车牌进行判断[9-13]；在字符识别阶段，将分割出的字符输入到设计好的CNN模型中进行训练，得到的输出结果即为识别的车牌字符。
常见的车牌定位法有边缘检测定位法、颜色定位法、文字定位法。边缘检测定位法适用于非车牌区域垂直边缘较少的情况；颜色定位法适用于车身及背景中无蓝色和黄色干扰的情况；文字定位法在弱光条件下定位效果优于其他2种方法。针对煤矿常用运输车辆背景颜色较为复杂的情况，系统综合采用边缘检测定位法和文字定位法。
车牌定位算法步骤：① 对待识别图像进行高斯滤波，去除噪声；② 对滤波后的图像进行灰度化处理，为边缘检测做准备；③ 使用Sobel算子检测图像中的垂直边缘；④ 将Sobel算子生成的灰度图像转换为二值图像；⑤ 采用形态学闭操作将车牌字母连接成一个连通域，便于取轮廓；⑥ 截取各连通域轮廓，便于形成最小外接矩形；⑦ 根据车牌尺寸排除不可能是车牌的矩形；⑧ 通过角度判断进一步排除一部分车牌矩形；⑨ 旋转候选车牌矩形，使其水平；
归一化候选车牌矩形。
在夜晚、阴天等弱光线条件下，若边缘检测定位法失效，则采用文字定位法，具体步骤：① 使用最大稳定极值区域(Maximally Stable Extremal Regions，MSER)法提取文字；② 使用种子生长法将文字块连接起来，组合成候选车牌区域；③ 将候选车牌送入CNN车牌判别分类器进行车牌判别。
得到车牌图像后，将车牌上的字符分割出来进行字符识别，得到车牌号。具体步骤：① 将车牌图片转换为灰度图片；② 判断车牌颜色，对蓝色车牌使用正二值化，对于黄色车牌使用反二值化；③ 截取每个字符轮廓；④ 截取的字符图片归一化；⑤ 送入训练好的CNN字符判别分类器进行字符识别。
车牌识别流程如图2所示。
图2 车牌识别流程
Fig.2 License plate recognition flow
在识别训练阶段，采用Caffe深度学习框架，搭配CaffeNet网络模型进行训练。车牌判别与字符识别采用相同的识别网络，其训练过程基本一致，不同之处在于车牌判别是将输入图片分为车牌与非车牌2类，而字符识别是将输入图片分为65类，即31类中文字符、24类英文字符和10类数字字符。CaffeNet网络模型共有8层，前5层为卷积层，后3层为全连接层。针对车牌模糊的情况，在训练CNN车牌判别分类器与CNN字符判别分类器时，训练样本中加入模糊的车牌图片进行训练，以提高识别准确性和识别速度。
为防止车辆驶出时偷换车牌，采用车头多特征抽取匹配方法，对没有车牌建档的车辆进行关联识别[14]。具体步骤：① 利用车牌识别得到的车牌宽度和高度计算车头区域，将车头区域均分成10个子块；② 对车头图像进行归一化、锐化边缘和去除噪声等预处理；③ 计算每个子块的HSV(Hue, Saturation, Value，色调、饱和度、亮度)颜色空间，得到每个子块的颜色直方图；④ 计算每个子块若干关键点的纹理特征；⑤ 比对当前车头的特征序列和车辆档案中对应车牌号的车头特征序列，如果二者协方差距离小于0.3，则该车没有套牌，反之为套牌车辆。
系统车辆识别正确率可达到98%，识别结果如图3所示。
图3 车牌识别结果
Fig.3 License plate recognition result
在车牌识别的同时，称重仪对完全上磅的车辆进行称重，并将采集的数据传输至数据库。系统直接读取称重仪数据，读取数据时可设置读取条件，如当称重仪数据超过16 t(可根据现场情况调整)后，系统认为有车上磅，允许记录数据(作为车辆皮重参考值)，在一段时间内自动比较，记录最大值作为装车总重，存入数据库。称重数据通过RS232通信端口在联网情况下直接送达数据库，并通过服务器软件完成汇总和记录，这样避免人为干预，确保了数据的真实性。
煤矿视频联动地磅称重智能识别管理系统工作流程如图4所示。
图4 煤矿视频联动地磅称重智能识别管理系统工作流程
Fig.4 Working flow of video cooperated intelligent identification weighbridge management system for coal mine
(1) 视频录入：当车辆上磅后，前后摄像机进行视频录入、存储。
(2) 车辆检测：当有车上磅后，红外对射器时刻检测车辆位置，确保车辆完全停在磅台上。
(3) 车牌识别：当车辆完全上磅后，系统自动抓拍当前图像并识别车牌号。
(4) 车辆建档：根据一车一档原则，将车牌号、车辆图片等送入相应的数据库，建立车辆档案。
(5) 数据读取：在进行车牌识别的同时，系统直接读取称重仪数据，将皮重数据送入对应车辆档案，避免人为因素。
(6) 车辆匹配：车牌识别子系统再次对完全上磅的车辆进行自动抓拍车牌识别或多特征匹配车辆识别，根据识别结果从数据库中提取相应车辆档案。
(7) 二次称重：若匹配成功，系统读取毛重数据并录入对应车辆档案；若匹配不成功，系统不读取任何数据，关闭道闸，告知检测人员。
(8) 数据计算：系统自动计算净重，并将结果存入对应车辆档案，不予修改。
煤矿视频联动地磅称重智能识别管理系统软件功能主要包括：
(1) 显示功能：可显示地磅数据、COM口状态、车牌号、车辆皮/毛重、现场监控画面、车牌图像等。
(2) 多模式选择：具有内调、外运、矸石选择按钮，用户可根据实际需求选择运输模式。
(3) 查询功能：提供多种查询模式，如时间、运输方式、车辆信息、装车信息等，用户可根据需求查询数据。
(4) 车辆信息导入：用户可根据实际需求，定期导入最新车辆信息，确保数据实时、准确。
(5) 报表统计：可生成日报、月报、年报等，便于查询，并提供打印功能。
(6) 监管功能：当某一时间段内的运销量和实际销量存在较大出入时，可准确定位到嫌疑车辆，包括车牌、皮重、毛重、过磅时间等信息。
(7) 分类统计：可根据用户设置的运输模式分别统计运煤量。
煤矿视频联动地磅称重智能识别管理系统综合采用数字图像处理、CNN和计算机网络技术，可实现对煤矿地磅业务的智能监控功能。该系统已在霍州煤电集团有限责任公司得到实际应用，结果表明该系统可靠性高，操作简便，可有效防止作弊盗煤问题，取得了良好的经济效益。
致谢：感谢南京南瑞继保电气有限公司对本研究的资助!
参考文献(References)：
[1] 李萍,王彦文.煤炭在线动态称重系统研究[J].工矿自动化,2013,39(12):29-33.
LI Ping,WANG Yanwen.Research of online dynamic weighing system of coal[J].Industry and Mine Automation,2013,39(12):29-33.
[2] 折林芬.河湾煤矿磅房称重防作弊系统设计[D].西安：西安科技大学,2012.
[3] 高向阳,李伟.一种基于RFID的煤矿车辆智能称重管理装置:CN203930932U[P].2014-11-05.
[4] 程德强,何远清,安铎,等.煤矿智能视频监控与自动化系统的联动[J].煤矿安全,2012,43(4):73-75.
CHENG Deqiang,HE Yuanqing,AN Duo,et al. Linkage of coal mine intelligent video surveillance and automation system[J]. Safety in Coal Mines,2012,43(4):73-75.
[5] 李翠.基于车辆自动识别的智能计重监控系统的研究与设计[D].郑州:郑州大学,2010.
[6] 李佳.基于SVM的矿用地磅车牌识别系统的研究[D].西安:西安科技大学,2009.
[7] 王芳.一种自动识别套牌车辆的智能视频分析系统及方法:CN102426786A[P].2012-04-25.
[8] 曾飞.基于车牌识别的港口地磅管理系统[D].武汉:武汉理工大学,2007.
[9] 徐胜舟,周煜.基于CNN的车牌识别系统[J].中南民族大学学报(自然科学版),2017,36(3):25-30.
XU Shengzhou,ZHOU Yu.License plate recognition system based on CNN[J].Journal of South-Central University for Nationalities(Natural Science Edition),2017,36(3):25-30.
[10] 郭真真.基于分阶的BP和CNN车牌识别[D].昆明:昆明理工大学,2015.
[11] 董峻妃,郑伯川,杨泽静.基于卷积神经网络的车牌字符识别[J].计算机应用,2017,37(7):2014-2018.
DONG Junfei，ZHENG Bochuan，YANG Zejing.Character recognition of license plate based on convolution neural network[J].Journal of Computer Applications,2017,37(7):2014-2018.
[12] 张立,朱玉全,陈耿.基于卷积神经网络SLeNet_5的车牌识别方法[J].信息技术,2015,39(11):7-11.
ZHANG Li,ZHU Yuquan,CHEN Geng.License plate recognition method based on convolutional neural network SLeNet_5[J].Information Technology,2015,39(11):7-11.
[13] 李珊珊,李一民,郭真真.基于神经网络的分阶车牌字符识别算法研究[J].工业仪表与自动化装置,2016(2):7-10.
LI Shanshan,LI Yimin,GUO Zhenzhen.Research on a phased license plate character recognition algorithm based on neural network[J].Industrial Instrumentation and Automation, 2016(2):7-10.
[14] 尚凌辉,蒋宗杰,王弘玥,等.一种基于车辆特征匹配的套牌检测方法:CN103279739A[P].2013-09-04.
YANG Bo1， ZHU Xuran2， SUN Yanjing2， LU Nannan2， CHEN Yan2， WU Tianqi2
(1.Liyazhuang Coal Mine, Huozhou Coal Power Group Co., Ltd., Huozhou 031400, China; 2.School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China)
Abstract:For the problems of low working efficiency and poor quality caused by artificial information acquisition existed in traditional weighbridge weighing management systems of coal mine as well as frequent coal stealing phenomenon caused by lack of cheat-prevention measures, a video cooperated intelligent identification weighbridge management system for coal mine designed. The system composition, principle of video cooperated intelligent identification weighbridge, system working flow and software functions were introduced in details. The system is composed of video monitoring system, vehicle capture system and data acquisition system, and realizes intelligent monitoring for weighbridge business in coal mine based on license plate recognition and multi-feature matching by use of technologies of digital image processing, convolutional neural network and computer network. The application results show that the system has high reliability with simple operation, which decreases artificial workload effectively and prevents chat and coal stealing phenomenon.
Key words:coal mine weighbridge weighing; video cooperation; intelligent monitoring; vehicle capture; license plate recognition; multi-feature matching； edge detection
文章编号：1671-251X(2018)01-0035-05
DOI:10.13272/j.issn.1671-251x.17303
中图分类号：TD67
文献标志码：A 网络出版时间：2017-12-15 16:13
网络出版地址：http://kns.cnki.net/kcms/detail/32.1627.TP.20171214.1644.004.html
收稿日期：2017-11-01；
修回日期：2017-12-01；
责任编辑：李明。
基金项目：国家重点研发计划资助项目(2016YFC0801403)；国家自然科学基金青年基金资助项目(51504214,51504255)；国家自然科学基金面上项目(51274202)；江苏省重点研发计划资助项目(BE2015040)；江苏省自然科学基金青年基金资助项目(BK20150204)；江苏省自然科学基金面上项目(BK20130199,BK20131124)；江苏省产学研前瞻性联合研究项目(BY2014028-01)；江苏省科技成果转化项目(BA2012068)；中央高校基本科研业务费专项资金资助项目(2013RC11)；中国矿业大学重大项目培育专项项目(2014ZDPY16)。
作者简介：杨波(1979-)，男，山西长治人，主要从事煤矿机电技术及管理工作，E-mail:183908608@qq.com.
引用格式：杨波，朱绪冉，孙彦景，等.煤矿视频联动地磅称重智能识别管理系统[J].工矿自动化，2018,44(1)：35-39.
YANG Bo，ZHU Xuran，SUN Yanjing,et al.Video cooperated intelligent identification weighbridge management system for coal mine[J].Industry and Mine Automation，2018,44(1)：35-39.