用于输送带纵向撕裂检测的新型视觉传感器

(太原理工大学山西省测控技术与新型传感器工程技术研究中心，山西太原 030024)

摘要：针对现有输送带纵向撕裂视觉检测存在采集图像不清晰的问题，提出了一种基于红外与可见光图像融合的新型视觉传感器。该视觉传感器采用分光棱镜将从同一镜头入射的同轴光分别投射至红外CCD和可见光CCD，红外CCD和可见光CCD同时采集目标同一点的红外图像和可见光图像，利用像素级融合方法获得融合图像。实验结果表明，该视觉传感器所采集的融合图像具有清晰的撕裂信息和详细的背景信息，满足输送带图像高质量采集的要求。

关键词：输送带；纵向撕裂；视觉传感器；红外图像；可见光图像；图像融合

0 引言

输送带是煤炭开采的重要运输工具，其纵向撕裂会造成巨大经济损失，因此，采取合理可行的预防措施尤为重要。近年来，机器视觉被广泛应用于工业、农业检测等领域[1-3]。由于机器视觉技术能提高检测的准确性，其成为输送带纵向撕裂在线检测的重要方向。祁隽燕等[4]将LabVIEW和机器视觉相结合，提出了基于LabVIEW的输送带撕裂视觉检测方法，该方法采用面阵数字相机采集输送带图像，并利用图形化编程工具LabVIEW对撕裂图像进行处理和识别；杨彦利等[5]提出了基于机器视觉的输送带在线检测方法，该方法采用多个CCD(Charge Coupled Device，电荷耦合元件)相机采集输送带图像。上述输送带纵向撕裂视觉检测大多采用可见光，可见光图像虽然能提供详细的目标信息和清晰的纹理特征，但煤矿井下环境恶劣，煤尘较多，光线较暗，可见光相机很难采集到清晰的图像。红外成像在线检测技术是近年来非接触无损检测研究的热点[6-9]。红外辐射能穿透灰尘和烟雾，红外相机通过目标的热辐射成像，解决了可见光相机在微光或弱光条件下成像不理想的问题。鉴此，本文提出了一种基于红外与可见光图像融合的新型视觉传感器，可实现高质量输送带图像的采集。

1 新型视觉传感器工作原理

新型视觉传感器主要由图像采集模块、红外图像处理模块、可见光图像处理模块、图像融合模块和通信模块组成，如图1所示。图像采集模块采集红外图像和可见光图像；红外图像处理模块和可见光图像处理模块分别对采集的红外图像、可见光图像进行去噪、增强处理，使红外图像中目标更突出、可见光图像更清晰；图像融合模块采用像素级融合方法[10]对处理后的红外图像和可见光图像进行融合，得到红外与可见光融合图像；通信模块将红外与可见光融合图像传输至计算机，为后续输送带纵向撕裂检测做准备。图像采集模块和图像融合模块是该新型视觉传感器的重要模块，下面对其进行详细介绍。

图1 新型视觉传感器组成

图像采集模块包括镜头、分光棱镜、红外CCD和可见光CCD，如图2所示。红外光和可见光通过镜头聚焦进入分光棱镜，当光线经过a面时，由于a面镀有波长分光膜，使得红外光反射，可见光通过并被可见光CCD接收。b面也镀有波长分光膜，红外光经a面反射后经b面再次反射，被红外CCD接收。通过光电效应，红外CCD和可见光CCD分别接收的红外光和可见光被转换为电信号，电信号经放大、滤波处理后，再通过A/D转换器转换为数字信号，即可分别获得红外图像和可见光图像。

图2 红外图像和可见光图像采集原理

(1) 由于非下采样轮廓波变换[11-13](Non-subsampled Contourlet Transform，NSCT)可准确表征图像的边缘信号和纹理特征，首先对红外图像和可见光图像进行NSCT，分别得到红外图像和可见光图像的低频子带信号和高频子带信号。

(2) 在很大程度上，低频子带信号代表图像的轮廓信息，占据了图像的主要信息，图像质量受低频子带信号影响很大。红外图像中撕裂部分与背景部分有很明显的不同，目标信息较突出；可见光图像中背景区域较清晰。因此，低频子带信号的选择应主要来自红外图像。由于最大熵阈值分割法[14-15]可很好地保留图像的细节信息，本文采用最大熵阈值分割法对红外图像和可见光图像的低频子带信号进行融合。

(3) 高频子带信号主要包括图像的边缘和细节信息，相对于红外图像，可见光图像一般提供更多的场景信息和细节信息，因此，高频子带信号的选择主要来源于可见光图像。本文采用加权平均法[16]对红外图像和可见光图像的高频子带信号进行融合。

(4) 对融合处理后得到的低频、高频子带信号进行反NSCT，得到融合图像。

图3 红外图像和可见光图像融合过程

2 实验结果及分析

为测试基于红外与可见光图像融合的视觉传感器所采集图像质量，搭建输送带图像采集实验平台，如图4所示。带式输送机的长度和宽度分别为12，0.8 m，运行速度为6 m/s。视觉传感器使用SONY ICX-225(波长范围380～780 nm)和 FLIR Tau 336(波长范围7.5～13.5 μm)分别作为可见光CCD和红外CCD，并安装在输送带下方的机架上，朝向输送带的下表面。

图4 输送带图像采集实验平台

分别采用PointGrey CMLN-13S2M型可见光相机、FLIR Tau2-320型红外相机和本文提出的视觉传感器采集输送带纵向撕裂的可见光图像、红外图像和融合图像，如图5所示。从图中可看出，红外图像中输送带撕裂的轮廓信息更清晰，但图像缺乏细节信息；可见光图像背景信息更丰富，但图像不清晰；融合图像综合了红外图像和可见光图像的优点，具有清晰的撕裂目标信息和详细的背景信息，并且成像较为自然，适合人眼观看。

图5 输送带纵向撕裂图像

为了更客观地对融合结果进行评价，利用Matlab编程语言对图像从信息熵、平均梯度、均方根3个方面进行定量评价。

(1) 信息熵。信息熵代表图像信息丰富程度，其反映图像中包含的平均信息的数量，熵值越大，表示图像信息越丰富。根据香农的信息论原理，信息熵E定义为

式中：L为图像的灰度级数；pi为灰度级强度为i的像素数与图像总像素数之比。

(2) 平均梯度。平均梯度表示图像的相对清晰度，其反映图像对细节对比的表达能力，平均梯度越大，表示图像的清晰度越好。平均梯度G计算公式为

式中：M，N分别为图像的行数和列数；f(m，n)为图像中像素点(m，n)的灰度值。

(3) 均方根。均方根是图像灰度的平均值，其反映图像的亮度，均方根越大，表示图像越亮。均方根R计算公式为

图像定量评价结果见表1，可看出采用本文提出的视觉传感器采集的融合图像的平均梯度最大，信息熵高于可见光图像而略低于红外图像，均方根高于红外图像而略低于可见光图像，表明该融合图像综合了可见光图像和红外图像的特点，具有详细的目标信息和较高的亮度信息。

表1 图像定量评价结果

3 结语

为满足输送带纵向撕裂视觉检测过程中高质量图像采集的要求，提出了一种基于红外与可见光图像融合的视觉传感器，并搭建了输送带图像采集实验平台。实验结果表明，该视觉传感器采集的融合图像能够取得较好的视觉效果和较多的撕裂目标信息，相比输送带红外图像和可见光图像具有更高的质量。

[1] BAUDET N,MAIRE J L,PILLET M.The visual inspection of product surfaces[J].Food Quality and Preference,2013,27(2):153-160.

[2] 李小昱,陶海龙,高海龙,等.马铃薯缺陷透射和反射机器视觉检测方法分析[J].农业机械学报,2014,45(5):191-196.

[3] JIA B Z,LIU R,ZHU M.Real-time obstacle detection with motion features using monocular vision[J].The Visual Computer,2015,31(3):281-293.

[4] 祁隽燕,闫海峰,谭超,等.基于LabVIEW的胶带撕裂机器视觉检测系统研究[J].煤炭工程,2009，41(9):123-125.

[5] YANG Y L,MIAO C Y,LI X G,et al.On-line conveyor belts inspection based on machine vision[J].Optik-International Journal for Light and Electron Optics,2014,125(19):5803-5807.

[6] GIOVANNOZZI A M,PENNECCHI F,MULLER P,et al.An infrared spectroscopy method to detect ammonia in gastric juice[J].Analytical and Bioanalytical Chemistry,2015,407(28):8423-8431.

[7] COPPO P.Simulation of fire detection by infrared imagers from geostationary satellites[J].Remote Sensing of Environment,2015,162:84-98.

[8] LEE Y S,CHAN Y M,FU L C,et al.Near-infrared-based nighttime pedestrian detection using grouped part models[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1-12.

[9] 赵弼龙,乔铁柱.基于支持向量机红外图像分割的输送带纵向撕裂检测方法[J].工矿自动化,2014,40(5):30-33.

[10] 刘羽.像素级多源图像融合方法研究[D].合肥:中国科学技术大学,2016.

[11] ZHANG Q,MALDAGUE X.An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J].Infrared Physics & Technology,2016,74:11-20.

[12] ADU J,GAN J,WANG Y,et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J].Infrared Physics & Technology,2013,61:94-100.

[13] 周靖鸿,周璀,朱建军,等.基于非下采样轮廓波变换遥感影像超分辨重建方法[J].光学学报,2015，35(1):98-106.

[14] 李锋,阚建霞.基于Sobel算子的图像快速二维最大熵阈值分割算法[J].计算机科学,2015,42(增刊1):209-210.

[15] 王倩.基于边界梯度控制的最大熵阈值分割方法[J].计算机应用,2011,31(4):1030-1032.

[16] 权亚楠,卜丽静,武文波.改进的阈值加权平均HSV与小波变换图像融合[J].辽宁工程技术大学学报(自然科学版),2016(1):65-69.

A novel vision sensor for longitudinal tear detection of conveyor belt

(Engineering Research Center for Measuring and Controlling Technology and Advanced Transducers of Shanxi Province, Taiyuan University of Technology, Taiyuan 030024, China)

Abstract：In view of problem of unclear image of existing longitudinal tear detection of conveyor belt, a novel vision sensor based on infrared and visible image fusion was proposed. In the proposed sensor, coaxial light from the same lens is projected to infrared CCD and visible CCD respectively by use of beam splitter prism. Then, infrared image and visible image are collected by the infrared CCD and the visible CCD respectively at the same time. Finally, fusion image is obtained by use of pixel-level fusion method. The experimental results show that the fusion image collected by the proposed sensor can meet requirement of high-quality collection of conveyor belt image with clear tear information and detailed background information.

Key words：conveyor belt; longitudinal tear; vision sensor; infrared image; visible image; image fusion

作者简介：陈路路(1993-)，女，河南周口人，硕士研究生，主要研究方向为图像处理、机器视觉检测，E-mail:chenlulu0726@163.com。

网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20170122.1031.009.html

陈路路，庞宇松.用于输送带纵向撕裂检测的新型视觉传感器[J].工矿自动化，2017,43(2)：40-43.