图1 理想球面透视投影模型
王永1， 赵凯2， 程德强2， 寇旗旗2
(1.华晋焦煤有限责任公司， 山西 吕梁 033000；2.中国矿业大学 信息与电气工程学院， 江苏 徐州 221116)
摘要：针对煤矿井下视频监控系统中鱼眼图像的畸变问题，根据理想球面透视投影模型的保线性约束条件，提出一种面向内容的校正参数自动获取方法，即通过对鱼眼畸变图像进行数学形态学和随机霍夫变换预处理得到所需的图像边缘特征直线，然后统计水平和垂直线段在总线段中的比例，分析统计结果，获取最佳校正参数。为了减少图像信息过多对校正参数获取过程的影响，对理想球面透视投影模型进行了改进，提出一种改进的鱼眼畸变图像校正方法，实现了对图像中心的转移和部分区域的放大。实验验证了该方法对鱼眼畸变图像的校正效果较好。
关键词：煤矿监控图像； 鱼眼图像； 畸变图像校正； 球面透视投影模型； 校正参数自动获取
网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160705.1501.013.html
随着矿井工业以太网和电子、信息处理技术的发展，数字视频远程可视化实时监控技术在井下得到了大量应用。目前综采工作面监控系统采用的固定摄像机视场范围有限，无法覆盖整个区域，从而无法在远端调度室监测整个工作面的实时工况，不利于生产监控和现场故障发生后的远程辅助决策。与普通摄像机镜头相比，鱼眼镜头视角接近甚至超过180°，广泛用于全景安全监控、地铁走廊监控等长距离、大场地空间监控领域。但是鱼眼镜头拍摄的图像存在非常严重的几何畸变，影响了远程视频呈现质量。
在鱼眼畸变图像矫正研究方面，冯为嘉等[1]使用鱼眼镜头标定平台对鱼眼镜头内外参数进行标定，利用标定得到的鱼眼镜头参数，采用等距投影与支持向量机训练方法进行鱼眼畸变图像校正，得到较理想的校正图像，但该方法对鱼眼镜头标定的过程操作复杂，且需要特定平台;英向华等[2]基于球面透视投影约束的鱼眼镜头校正方法，实现了较好的鱼眼畸变图像校正，但需要人为选取若干空间物体直线投影在鱼眼畸变图像中的曲线来估计校正参数;R Carroll等[3]提出了一种基于内容的映射方法，通过优化算法保证用户自定义曲线在线性约束条件下的失真最小化，使得校正后的广角畸变图像更加自然，但校正参数的获取也需要人为参与。
本文根据理想球面透视投影模型的保线性约束条件，提出一种面向内容的鱼眼畸变图像校正参数自动获取方法。该方法可在鱼眼镜头内外参数均未知的情况下，根据拍摄图像中的物体边缘直线特征来获取最佳校正参数，使得校正后的图像更加自然。为了减少图像信息过多对校正参数获取过程的影响，对理想球面透视投影模型进行了修正，提出了一种改进的鱼眼畸变图像校正方法，实现了图像中心的转移和部分区域的放大。仿真结果表明，采用面向内容的校正参数自动获取方法和改进的鱼眼畸变图像校正方法，能够得到较满意的校正图像，且整个参数提取与图像校正的实现过程迅速，满足现场实时监控需求。
1.1 理想球面透视投影模型
理想球面透视投影模型如图1所示。空间中一点P与投影中心O的连线OP交球面于点m,球面点m非线性映射到XOY成像平面得到m′(X,Y)，即为鱼眼畸变图像点。球面点m与鱼眼畸变图像点m′保持一一映射关系，可由m′=T(m)表示，反之可通过m=T-1(m′)得到球面点m。依据球面透视投影模型理论和球面投影约束条件，空间中的一条直线在球面上表现为一个大圆，再转化到平面投影图像后依然是一条直线[4]。因此，在得到所有鱼眼畸变图像点对应的球面点后，由于球面点对应唯一一条过投影中心的射线[5]，所以将所有球面点映射为过投影中心的射线，然后将这些过投影中心的射线透视投影到一个平面上，得到一个平面投影图像，即为鱼眼校正图像。
图1 理想球面透视投影模型
图1中假设投影平面为过半球球面顶点O′与平面XOY平行的平面UO′V，射线OP与投影平面相交于点c(U,V),即为校正图像点。理想情况下，球面点到鱼眼畸变图像点的投影方式为向平面XOY垂直投影，则校正图像点c与鱼眼畸变图像点m′的对应关系为
(1)
式中
，r为球面透视投影模型的球面半径，与鱼眼畸变图像圆形区域半径相等。
1.2 鱼眼畸变图像校正算法
实际应用中，鱼眼畸变图像的校正算法如下[6-7]。
(1) 为了防止校正后的图像出现无对应映射像素的区域，需要从平面投影图像映射回鱼眼畸变图像[8]。首先将平面投影图像的原点线性映射到图像中心，实现将X0Y0Z坐标系下图像中心O0平移到XYZ坐标系的Z轴上，实现鱼眼畸变图像与校正模型的匹配。校正模型坐标转换如图2所示[9]。
图2 图像校正模型坐标转换
校正模型坐标转换公式为
(2)
式中：W，H分别为展开图像的宽度和高度，可由用户自定义[9]。
(2) 通过球面透视投影模型将空间点P非线性映射到投影平面。对式(1)进行调整，因为每一个鱼眼畸变图像点唯一地对应一个球面点，则每一个球面点也将唯一地对应于投影点，投影变换公式为
(3)
式中：C1，C2分别为垂直方向形变系数和水平方向形变系数。
(3) 得到鱼眼校正图像坐标后，将其线性映射到图像的左上角，与步骤(1)相对应，向图2相反的方向变换，实现图像中心的逆转移，坐标变换公式为
(4)
式中(U′,V′)为展开图像点坐标。
(4) 展开图像点与鱼眼畸变图像点一一映射，将鱼眼畸变图像点的RGB颜色值映射为展开图像的RGB颜色值。经过球面透视投影模型校正后的坐标点不一定为整数值，须采用插值算法根据邻近像素点信息计算得到该非整数点坐标。综合考虑计算复杂度、实时性要求等，选择效率最佳的双线性插值算法[10]。最后输出展开图像，即鱼眼校正图像。
2.1 面向内容的校正参数自动获取方法
传统的鱼眼畸变图像校正中需要获取校正参数C1，C2。对图像校正效果进行评价，通过迭代得到一对使图像校正效果最好的校正参数组合C1，C2。
在图像获取中，基于人眼视觉的特点，图像中垂直于地平线的物体保持竖直状态，即拍摄的竖直物体的竖直线条与照片的纵向边缘平行。如果图像中出现楼房、桌椅等含有大量横纵线条的物体，根据球面透视投影模型的保线性约束条件[10]，在鱼眼校正图像中大量的直线线段会出现在横纵方向。本文对图像内容进行分析，选取图像中横纵方向的线段占所有线段的比例最大时的校正参数C1，C2为最佳校正参数。
采用随机霍夫变换对鱼眼校正图像中的线段进行检测，分别用角度θ=(0°±5°)，θ=(90°±5°)表示线段横纵方向，统计当前鱼眼校正图像中检测到的角度θ=(90°±5°)和θ=(0°±5°)在所有线段中的比例：
(5)
式中：∑[θ=(90°±5°)]为θ=(90°±5°)的线段总数；∑[θ=(0°±5°)]为θ=(0°±5°)的线段总数；∑θ为所有线段总数。
通过寻找P最大值确定最佳校正参数。随机霍夫变换检测到的线段角度θ可通过式(6)求得：
(6)
式中：(sX,sY)和(eX,eY)为随机霍夫变换检测到的线段的2个端点坐标。
校正参数自动获取流程如图3所示。当第i(i=1，2，…，40)次C1取值C1(i)固定时，循环对C2取值，记为C2(j)，j=1,2,…，40，统计由当前C1(i)，C2(j)得到的鱼眼校正图像的P值P(i,j)。将本次C2(j)循环中的P最大值赋值给P(i)，并记录对应的C1(i)，C2(j)。重复以上步骤，直到C1(i)循环结束。将循环得到的P(i)最大值赋值给P最大值并记录对应的C1(i)，C2(j)值，此时的C1(i)，C2(j)即为最佳校正参数。
图3 校正参数自动获取流程
通过大量测试，C1、C2最佳值为0.85～1.20，本文取0.8～1.2，步进为0.02，分别迭代计算，使得校正后图像P最大，进而得到最佳校正参数。
2.2 改进的鱼眼畸变图像校正方法
因理想球面透视投影模型的投影特点，会出现鱼眼畸变图像边缘存在大量模糊及严重拉伸的现象，因此对理想球面透视投影模型进行优化。
为了能够对鱼眼畸变图像失真最严重的边缘信息进行校正，对式(2)进行优化，得
(7)
(t1，t2为平移系数)，用于将展开图像的原点线性映射到图像中心时，改变图像中心坐标，实现中心转移。图4为将鱼眼畸变图像中点O转换到新坐标系下点O′示意。
图4 点O转换到新坐标系下O′点示意
中心点转移后，校正只对中心点附近半径为r1的小圆区域实现校正。由于C1，C2只对半径r=r1的图像有校正效果，当半径r>r1时就会出现校正失真，且随着r增大，失真程度更加严重。为了提高图像校正效果，并最大化地利用鱼眼镜头大广角特性进行无死角监控，对式(3)进行优化，得
(8)
式中
。
增加局部放大系数M，可实现对目标区域的放大，M为经验值，本文取M=330。
首先对面向内容的校正参数自动获取方法进行仿真实验，选取校正参数C1，C2最佳值。实验设置C1从初始值0.8开始取值，步进为0.08。实验结果如图5所示。
图5 C1循环下的部分P(i)值变化曲线
从图5可看出，6条曲线都存在一个最高值点，所有的P(i)最大值点对应的C1和C2能够实现最佳校正效果。部分图像校正效果如图6所示，可见P值越高，校正效果越好，C1=1.12，C2=0.92时，P值最高，对应图像校正效果最好。
(a) C1=1.04,C2=0.84
(b) C1=1.04,C2=0.92
(c) C1=1.04,C2=1.00
(d) C1=1.12,C2=0.84
(e) C1=1.12,C2=0.92
(f) C1=1.12,C2=1.00
(g) C1=1.20,C2=0.84
(h) C1=1.20,C2=0.92
(i) C1=1.20,C2=1.00
图6 不同校正参数下的鱼眼畸变图像校正效果
图7为鱼眼畸变图像校正效果。其中图7(a)为采用理想球面透视投影模型得到的校正图像，由于没有进行中心点转移与放大，整幅校正图像的边缘出现大量模糊及严重拉伸现象；图7(b)中3幅图为采用改进的鱼眼畸变图像校正方法得到的校正图像，可看到不同中心点所在区域附近都得到了放大，校正效果较好。
图7 鱼眼畸变图像校正效果
针对煤矿监控系统中的鱼眼畸变图像，基于球面透视投影模型理论，通过分析小目标区域下的三维空间物体自有特征，提出了一种鱼眼畸变图像校正参数自动获取方法，并对经典球面透视投影模型进行优化，提出一种改进的鱼眼畸变图像校正方法，实现了目标区域的放大和校正中心的转移。但校正参数自动获取方法不适用于没有明显横纵方向线条的鱼眼畸变图像，如山体图像等，这将是下一步的研究重点。
参考文献：
[1] 冯为嘉,张宝峰,曹作良.基于鱼眼镜头的全方位视觉参数标定与畸变矫正[J].天津大学学报(自然科学与工程技术版),2011,44(5):417-424.
[2] 英向华,胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法[J].计算机学报,2003,26(12):1702-1708.
[3] CARROLL R, AQRAWAL M, AGARWALA A. Optimizing content-preserving projections for wide-angle images[J]. Acm Transactions on Graphics, 2009, 28(3):341-352.
[4] CAPPUCCIO F P, STRAZZULLO P, MANCINI M. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, 2001, 13(1):14-24.
[5] MAYBANK S. Theory of reconstruction from image motion[M]. New York:Springer,1993.
[6] DALOUKAS K, ANTONOPOULOS C D, BELLAS N, et al. Fisheye lens distortion correction on multicore and hardware accelerator platforms[C]// IEEE International Symposium on Parallel and Distributed Processing, Atlanta, 2010:1-10.
[7] 韩广良,宋建中.一种基于畸变等效曲面的图像畸变校正[J].光学技术,2005,31(1):122-124.
[8] BELLAS N, CHAI S M, DWYER M, et al. Real-time fisheye lens distortion correction using automatically generated streaming accelerators[C]//IEEE Symposium on Field Programmable Custom Computing Machines, Napa, 2009: 149-156.
[9] LIU Y G, PPENG P, FANG M, et al. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(8):1335-40.
[10] ZHANG G X, CHENG M M, HU S M, et al. A shape-preserving approach to image resizing[J]. Computer Graphics Forum, 2009, 28(7):1897-1906.
WANG Yong1, ZHAO Kai2, CHENG Deqiang2, KOU Qiqi2
(1.Huajin Coking Coal Co., Ltd., Lyuliang 033000, China; 2.School of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou 221116, China)
Abstract:For distortion problem of fisheye images collected by video monitoring system of coal mine, an automatic obtaining method of adjustment parameters was put forward based on image content according to line constrain of ideal spherical perspective projection model. The method detects image edge characteristic lines by preprocessing the fisheye distortion image using math morphologic and random Hough transform, then gets the optimal adjustment parameters through the statistic of horizontal and vertical lines proportion. In order to decrease effect of large image information on adjustment parameter obtaining, the ideal spherical perspective projection model was improved and an improved adjustment method of fisheye distortion images was proposed, which realized center transfer of the fisheye distortion image and magnifying of part regions. The experimental results show the method can get a better adjustment effect of fisheye distortion image.
Key words:monitoring image of coal mine; fisheye image; distortion image adjustment; spherical perspective projection model; automatic obtaining of adjustment parameter
文章编号：1671-251X(2016)07-0054-05
DOI:10.13272/j.issn.1671-251x.2016.07.013
收稿日期：2016-03-15；修回日期：2016-05-30；责任编辑：李明。
基金项目：国家自然科学基金资助项目(U1261105)；徐州市科技计划项目(KC14SM099)。
作者简介：王永(1962-)，男，山西大同人,高级工程师，硕士,主要从事煤矿机电技术研发和管理工作,E-mail:375219535@qq.com。
中图分类号：TD67
文献标志码：A 网络出版时间：2016-07-05 15:01
王永，赵凯，程德强，等.煤矿鱼眼畸变图像校正[J].工矿自动化，2016,42(7)：54-58.