图像拼接算法
五年级方程题100道-游戏蛮牛
2023年2月21日发(作者：会计专业技术资格考试)第43卷增刊1
2003年10月
大连理工大学学报
JournalofDalianUniversityofTechnology
Vol.43,S1
Oct
.2003
文章编号:1000-8608(2003)
S
1-
S
180-03
收稿日期:2002-06-02.
基金项目:国家自然科学基金资助项目(60275029).
作者简介:曹俊杰*(1977-),男,硕士生,
E
-
:
jingbofeng
@
sina
.
com
.
cn
.
全景图像拼接算法
曹俊杰*,封靖波,苏志勋
(大连理工大学应用数学系,辽宁大连116024)
摘要:提出了一种新的柱面图像拼接算法,即利用相邻2幅图像中的2组特征点,确定2幅图
像的位置关系.该算法可自动对照相机水平环拍的1组图像进行无缝拼接,得到1幅360°的
柱面全景图像.实验结果验证了算法的有效性.
关键词:全景图;柱面投影;梯度;中值滤波
中图分类号:
TP
391.41文献标识码:
A
0引言
全景图和超宽视角的图像在现实生活中有着
广泛的应用.在虚拟现实领域中,利用全景图像
表示实景可代替复杂的3-D场景建模和绘制[1、2].
在其他诸如视频压缩、传输[3]和医学[4]等领域,
全景图也有其不可替代的作用.利用广角镜头可
得到宽视角的图像,但得到360°的全景图往往比
较困难,而且,广角镜头的边缘会产生难以避免的
扭曲变形.随着计算机和图像处理技术的发展,
图像拼接技术为得到全景图提供了很好的解决方
案.它可将一系列有重叠边界的普通图像或视频
图像进行无缝拼接而得到全景图.
得到原始图像不同的方式,产生了不同的图
像拼接算法.大致可分为如下几类:
柱面/球面全景图[3、5]是应用最多的一类全
景图,它要求相机绕一垂直转轴(如三脚架)作水
平转动.本文的方法也是以这一类全景图为处理
对象.
基于仿射变换全景图[6]常被用来作为基于
透视变换全景图的一种近似.它可处理的相机运
动包括相机的平移、镜头的拉伸(焦距改变)和绕
光轴的旋转.在相机倾斜程度不大以及焦距足够
大的时候,基于仿射变换的方法可获得较好的匹
配结果.
基于透视变换全景图[7]对相机的运动没有
严格的限制,但它要求被拍摄的景物是一近似的
平面,以防止视差的出现.在实际拍摄中,景物距
离相机足够远即可把景物视为平面.
柱面和球面全景图因其360°全视角的优点
而有着最广泛的应用.本文即针对柱面全景图提
出了一种基于最大梯度的匹配方法,利用相邻两
幅图像中的两组特征点,确定两幅图像的位置关
系.
1柱面投影
相机采集到的反映360°全景的1组图像是相
机在不同角度下拍摄的,它们并不在同一投影平
面上,如果对重叠的图像直接进行无缝拼接,会破
坏实际景物的视觉一致性,如景物中的直线拼接
后会变成折线.为了保持实际景物的空间约束关
系,必须将得到的反映各自投影平面的图像映射
到一个标准投影——柱面投影上.进行柱面投
影后才能进行拼接得到视觉一致的全景图像.
利用文献[2]中的公式可得到图像的柱面投
影以及焦距的估计,结果如图1所示.
图1处理前后的图像
Fig.1Imagesbeforeandaftertreatment
2图像的拼接
一旦将图像投影到一统一的柱面上之后,全
景图的拼接问题就转化为在柱面上图像间的平移
问题,即确定一幅图像相对于上一幅图像的水平
和垂直偏移量.
2.1特征提取
将待拼接的左、右2幅图像分别记为Il、Ir.
宽和高分别为
Wl、Wr和Hl、Hr.取图像的左上角
作为图像坐标的原点.
本文提取这样的特征点:对于每幅图像,首先
利用Canny算子提取图像的边缘,在每一列的边
缘点中找出梯度值最大的一点,记录该点的纵坐
标.若此列不存在边缘点,则直接找出该列的梯
度值最大点.对于图像中任意一点(
i,j),梯度值
由下式给出:
Mag(i,j)=
I(i+1,j)-I(i-1,j)
2
2
+
I(i,j+1)-I(i,j-1)
2
2
1/2
I(i,j)是点(i,j)的灰度值.这样可得到2个长度
分别为Wl和Wr的数组Magl和Magr,数组中的
元素是图像中该列上梯度最大点的纵坐标.这2
个数组反映了2幅图像中按列最大梯度特征点分
布的情况.在确定每列梯度的最大点时,遵循以
下原则:
(1)当该列中梯度最大值的点有2个或2个
以上时,取距离图像水平中线距离最近的点作为
该列的特征点;
(2)当2个点距离图像水平中线相等时,取上
方的点作为该列的特征点.
2.2特征点的处理
在图像的采集过程中,相机不会在一个绝对
的水平面上运动,倾斜、抖动等现象不可避免.另
外,景物中物体的运动和光线的变化也时常发生.
这样会使某些列中梯度最大点在2幅图像中有很
大出入,数据的抖动性比较大.为消除这种干扰,
本文采用中值滤波的方法,过滤掉这样的点,使对
数组的判断更具可靠性.实验证明,中值滤波的
处理可大大减小误匹配的可能性,保证了算法的
可靠性.
利用长度为7的一维窗口对2个数组进行中
值滤波,滤波后图像特征点的分布情况如图2所
示.
2幅图像中有相似的部分,则上面的2个数组
中必有一部分,它们的差数组具有很好的稳定性,
即差数组的方差具有局部最小的性质,这样就可
以找到2幅图像的位置关系.
图2特征点的分布情况
Fig.2Layoutoffeaturepoints
2.3匹配策略
由于2幅图像的重叠部分一般不超过50%,
为减小计算量,只在左图像的右半部分和右图像
的左半部分中进行计算,下面来确定全局最小方
差的两段子数组.这两段的起始位置,也就是两
幅图像的最佳匹配点.
在代表左、右图像的两个数组中分别取一固
定长度
L的子数组,记为Sl和Sr.L的选取可视
图像的宽度而定,一般L取为图像宽度的1/10左
右会得到较好的效果.
Sl和Sr的相似程度
Simil(Sl,Sr)由Sl-Sr的方差来描述,即
Simil(Sl,Sr)=SE(Sl-Sr)
其中方差
SE(Sl-Sr)=∑L
i=1
[(Sl[i]-Sr[i])-
mean]2,mean=∑L
i=1
(Sl[i]-Sr[i])/L.
Simil(Sl,Sr)越小,说明Sl和Sr越相似.那
么,必然可以找到这样的
S0
l和S0
r,使得
Simil(S0
l,S0
r)=min
S
l
⊂Mag
l
S
r
⊂Mag
r
{Simil(Sl,Sr)}
2幅图像的最佳匹配位置就是S0
l和S0
r的起
始位置.由于
Magl和Magr的元素值是按列梯度
最大点的纵坐标取值,在确定了列的匹配位置时,
也同时确定了行的匹配位置.这样就可找到最佳
的匹配位置.2幅图像拼接的结果如图3所示,图
181S
增刊1曹俊杰等:全景图像拼接算法
4(a)、(b)是用本文的方法对多幅照片拼接得到
的360°全景图.
2.4灰度的融合
由于光照条件不尽相同,采集的图像在亮度
上会有较大的差别.这样,在图像的拼合处会产
生亮度的不连续现象,影响生成的全景图的效果.
目前已有很多方法来解决这一问题.本文采用
Szeliski[7]的方法,因它具有简单有效的特点.在
这个方法中,2幅图像重合部分中任意一点p的灰
度值为
g(p)=[ωt(x)ωt(y)gl(x,y)+
ωt(x′)ωt(y′)gr(x′,y′)]/[ωt(x)ωt(y)+
ωt(x′)ωt(y′)]
式中:
gl(x,y)、gr(x′,y′)是p在2幅图像中对应
点(
x,y)、(x′,y′)的灰度值.ωt是线性权重函数,
在图像的中心取值为1,边缘取值为0.
3结果与讨论
对大量照片实验的结果表明,本文算法行之
有效且有较强的鲁棒性.通过图4(b)可以看到,
虽然相机在一倾斜的平面上运动而且不同的图像
光线的差异很大,但利用本文的算法仍能给出很
好的拼接结果.这是由于利用了梯度信息而不直
接利用灰度信息来确定特征点,对两幅亮度差别
较大的图像仍可很好地找到匹配的位置.本文对
特征点数据作了中值滤波的处理,消除了个别点
的偏差带来的影响,这一处理是决定算法鲁棒性
的重要因素.
图3两幅照片拼接结果
Fig.3Mosaicimageconstructedfromtwoimages
图4多幅照片的拼接结果
Fig.4Panoramaconstructedfromacollectionof
images
参考文献:
[1]SZELISKIR,ngfullview
panoramicimagemosaicsandenvironmentmaps
[A].
ProceedingsofSIGGRAPH[C].Los
Angeles:[sn],1997.251-258.
[2]孙立峰,钟立,李云浩,等.虚拟实景空间的实时漫
游[J].中国图象图形学报,1999,4A(6):507-513.
[3]imeVR—animage-based
approachtovirtualenvironmentnavigation[A].
ProceedingsofACMComputerGraphics
(SIGGRAPH′95)[C].LosAngeles:[sn],1995.
29-38.
[4]CANA,STEWARTCV,
hierarchicalalgorithmforconstructingamosaic
fromimagesofthecurvedhumanretina[A].
ProceedingsoftheIEEEConferenceonComputer
VisionandPatternRecognition
[C].Colorado:[s
n],1999.286-292.
[5]MCMILLANL,ticmodeling:
Animage-basedrenderingsystem[A].
Proceedings
ofACMComputerGraphics(SIGGRAPH′95)[C].
LosAngeles:[sn],1995.39-46.
[6]osaicsforvirtual
environments[J].ComputGraphicsandAppl,
1996,16(2):22-30.
[7]SZELISKIR,methodsforvisual
scenereconstruction[A].
IEEEWorkshopon
PresentationofVisualScenes[C].[sl]:[sn],
1995.26-33.
Apanoramicimagemosaicalgorithm
CAOJun-jie*,FENGJing-bo,SUZhi-xun
(
Dept
.
ofAppl
.
Math
.,
DalianUniv
.
ofTechnol
.,
Dalian
116024,
China
)
Abstract
:Anewmosaicalgorithmisproposed,whichusestwosetsoffeaturepointsfromtwo
ultsprovethatthisalgorithmisableto
seamlesslystitchasetofimagesautomatically,togetapanoramicimagewith360°view.
Keywords:panorama;cylindricalprojection;magnitude;medianfilter
281S大连理工大学学报第43卷