基于SIFT特征点的无人机影像拼接方法研究_图文

第 38 卷第 2 期 2011 年 2 月

光电工程
Opto-Electronic Engineering

Vol.38, No.2 Feb, 2011

文章编号:1003-501X(2011)02-0122-05

基于 SIFT 特征点的无人机影像拼接方法研究
何 敬,李永树,鲁 恒,任志明
( 西南交通大学 地理信息工程中心,成都 610031 ) 摘要:针对无人机空中姿态不稳定,其拍摄影像存在倾斜、曝光不均匀等缺点,采用常规的影像匹配方法效果不 佳,甚至无法匹配,而 SIFT 算法对图像几何变形、分辨率差异、旋转等有较好适应性。利用 SIFT 算法对无人机 影像进行特征点的提取,并采用最小二乘算法对影像进行精匹配。同时,为了减少拼接过程中误差的传播,提出 了分块拼接方法。实验结果表明:SIFT 算法适用于无人机影像匹配,在精匹配过程中采用最小二乘算法能够有效 地剔除误匹配,并减小了时间复杂度和空间复杂度。 关键词:SIFT;影像匹配;图像拼接 中图分类号:TP391; TN911.73 文献标志码:A doi:10.3969/j.issn.1003-501X.2011.02.020

Research of UAV Aerial Image Mosaic Based on SIFT
HE Jing,LI Yong-shu,LU Heng,REN Zhi-ming
( GIS Engineering Center, Southwest Jiaotong University, Chengdu 610031, China ) Abstract: The matching effect of conventional methods is poor, sometimes even not matching due to the instability of Unmanned Aerial Vehicle (UAV) air gesture and the defects such as the existence of its tilted capture images, uneven exposure. SIFT algorithm has a good adaptability for image geometric distortion, resolution differences and rotation, etc. The SIFT algorithm is introduced to extract the feature points of UAV images, and the least-squares algorithm is used to match the images precisely. Moreover, the block splicing method is proposed to reduce the error spread in the process of stitching. The experimental results show that SIFT image matching algorithm has a good adaptability in matching UAV images. The matching error can be eliminated effectively to introduce the least-squares algorithm in the matching process. What is more, the time and space complexity can be obviously reduced. Key words: SIFT; image matching; image mosaic

0 引 言
由于无人机摄影测量系统具有机动、高效、低成本等特点,能有效改善多云雾地区高分辨率遥感数据 缺乏的现状,在土地和矿产资源管理、地质环境评估与灾害防治、空间信息快速采用及地形图局部更新等 领域有着广泛的应用前景。因此,以无人机为遥感平台、普通数码相机为主要遥感器的低空摄影测量成为 国内外遥感与摄影测量领域的研究热点。但是无人机航高一般较低,所获单幅影像覆盖范围较小。为了解 决影像视场范围与分辨率之间的矛盾,及时、准确地反映整个区域情况,需要将所获的影像进行拼接形成 全图。 在图像拼接方面的研究已较深入,2002 年刘金根等提出了一种基于特征区域分割的图像拼接算法[1], 2004 年赵向阳等提出了一种全自动稳健的图像拼接融合算法[2], 2009 年王勇等提出了一种感兴趣区域寻优 搜索的全自动图像拼接算法[3]等。但是,他们拼接的图像非遥感影像,特别是在无人机遥感影像方面,目
收稿日期:2010-12-02;收到修改稿日期:2011-01-03 基金项目:“十一五”国家科技支撑计划重大项目(2006BAJ05A13) 作者简介:何敬(1983-),男(汉族),河南光山人。博士研究生,主要从事“3S”技术与系统集成研究。E-mail: xiao00yao@163.com。

第 38 卷第 2 期



敬 等:基于 SIFT 特征点的无人机影像拼接方法研究

123

前还没有较成熟的拼接技术。本文利用 SIFT 算法对无人机影像进行了特征点提取,然后通过几何变换等 处理将所有影像投影到一张新的图像上,实现影像自动拼接。

1

基于 SIFT 的无人机影像拼接方案
根据实验所获得的无人机外方位元素
Input images Create image pair list Decide the size of block

结合无人机影像数据的特点,设计的拼接 方案流程如图 1 所示。 首先,根据无人机航拍时所提供的外 方位元素(线元素),将其按照一定的数据 格式制作成野外测量数据。在测量软件中 导入制作好的航线数据文件,绘制出无人 机拍摄的航线图(图 2)。 在图 2 中可以清晰 地看出各个相片的相邻影像, 即同名像对。 将这些相片名称按照航带图上的顺序制作 成像对表,并根据像对表文件,确定分块 大小。应注意每个影像块不易分的过大, 否则就起不到降低拼接误差的作用。经过 试验与分析, 本文采用 2×2 进行分块处理, 提取特征点后进行拼接的效果较好。将第 一次拼接后的影像再次进行分块拼接,直 至将所有影像拼接为一张全景影像。
图1
Image number <4 Precise matching, and stitching Panoramic image ≥4 Precise matching, and stitching Block 1 after stitching Precise matching, and stitching Block n after stitching Extract feature points from first block Extract feature points from nth block

分块拼接示意图

Fig.1 Schematic diagram of block splicing

2 拼接关键技术
2.1 分块特征点提取 Lowe D G 在 2004 年总结了现有的基于不变量技术的特征检测方法,并提出了一种基于尺度空间的对 图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子 SIFT(Scale Invariant Feature Transform) 该算法的核心思想是首先在尺度空间进行特征检测, 确定关键点(Key points) 算子, 即尺度不变特征变换[4-5]。 的位置和所处尺度, 然后使用邻域梯度的主方向作为该点的方向特征, 以实现算子对尺度和方向的无关性。 由于该算法是利用高斯差分函数来构造尺度空间函数的,所以其检测出的特征点,在图像上反映的不一定 是明显的地形或地物点,但是该点却是高斯差分函数的极值所在。同时 SIFT 算法未考虑图像的色彩信息, 因此在利用该算法对无人机影像提取特征之前,需要将影像做进一步处理将其变为全色影像。 根据像对表和分块大小,将分块后的影像利用 SIFT 算法提取匹配特征点对。图 3 是 SIFT 提取的特征 点,从图中可以看出所提取的特征点中有些并不是明显的地物点,这也验证了前面对 SIFT 算法的分析。

图2

航线图

图 3 SIFT 提取的特征点
Fig.3 Feature points extracted by SIFT

Fig.2 Chart of the flight trace

124

光电工程

2011 年 2 月

表 1 是 SIFT 算法提取特征点时所生成的图像屏幕坐标数据,它是后面计算变换矩阵的基础。
表 1 SIFT 提取特征点的屏幕坐标
Table 1 Screen coordinate of the feature points extracted by SIFT Point name 1 2 3 4 5 6 7 8 9 10 X 526.567 745 176.162 459 353.465 226 50.209 345 526.567 745 91.640 400 314.938 827 262.508 437 320.798 820 221.509 190 Y 267.463 574 447.165 308 262.368 464 358.524 543 267.463 574 449.711 049 407.873 945 270.539 297 283.053 765 257.746 745 Point name 11 12 13 14 15 16 17 18 19 20 X 140.525 752 262.508 437 52.569 689 30.252 852 304.055 044 50.209 345 180.253 990 342.136 174 531.959 758 526.969 350 Y 361.452 726 270.539 297 243.729 045 377.807 795 332.709 235 358.524 543 442.645 686 241.689 098 251.481 752 365.939 638

2.2 特征点精匹配 利用 SIFT 算法提取的特征点对中存在一些误匹配的点(也称作“外点”),如果不将这些“外点”去除, 将导致计算出的变换矩阵存在较大误差,降低图像的拼接效果。在精匹配过程中首先采用随机一致性检验 (RANSAC)算法[6],它对 50%的错误点能有效的剔除。在通过 RANSAC 算法剔除后的特征点对中再采用最 小二乘算法进一步检测剩余的匹配点对。其具体步骤如下: 1) 计算粗匹配中每对同名特征点的距离ν ,即

ν = dx 2 + dy 2,dx = x ? x′,dy = y ? y ′
式中: ( x, y ) 、 ( x′, y′) 为一对同名特征点; 2) 以 3σ 0 为限,如果一对同名点的ν 大于 3σ 0 ,则删除该对同名点, σ 0 为中误差,即

(1)

σ 0 = ν T Pν / n
式中:n 为粗匹配中同名点对总数,P 为单位矩阵。

(2)

图 4 为同名像对经过精匹配之后的特征点,从图中可以看出已经不存在“外点” 。准确的匹配是正确 解算变换矩阵的前提。

(a) 左影像 (a) Left image

(a) 右影像 (a) Right image

图4

匹配后的特征点

Fig.4 Feature points after matching

2.3 图像拼接 图像拼接就是将同一场景、相互间存在重叠部分的图像进行空间匹配对准,合成为一张大的宽视角图 像 。对于无人机获取的影像,由于是在同一视角、不同地点拍摄的,所以可以用仿射变换来描述相邻影 像的变换关系[8]。利用 SIFT 匹配时生成的数据,根据仿射变换方程和平差原理可以解算出变换矩阵,其一 般过程如下所述。
[7]

1) 根据间接平差原理及同名点坐标数据列出误差观测方程:

第 38 卷第 2 期



敬 等:基于 SIFT 特征点的无人机影像拼接方法研究

125

? x ? ?a ? ?cos θ ? y ? = ?b ? + k × ? sin θ ? ? ? ? ? 其线性形式是:

? sin θ ? ? x′ ? × cos θ ? ? y ′? ? ? ?

? x = a + k × ( x′ cos θ ? y ′ sin θ ) ? ? y = b + k × ( x′ sin θ + y ′ cos θ ) 式中:a、b 分别代表 x、y 方向的平移量;k 代表缩放系数; θ 代表旋转角度。

(3)

2) 由于式(3)是非线性,为了解算方便,通常要对方程进行线性化,线性化后的误差方程为
? Δa ? ? ? ? x ? ?a0 ? ?1 0 x′ cos θ ? y ′ sin θ ? x′k sin θ ? y ′k cos θ ? ? Δb ? × (4) =? ?+? ? ? y? b ? ? ? 0 ? ?0 1 x′ sin θ + y ′ cos θ x′k cos θ ? y ′k sin θ ? ? Δk ? ? ? ?Δθ ? n n 1 1 其中: a 0 = ∑ ( xi ? xi′ ) , b 0 = ∑ ( yi ? yi′ ) n i =1 n i =1 ′ 、 y ′ 为第二张相片的坐标, a0 、 b0 为 a、b 的初始值,n 为匹配的特 式中:x、y 为第一张相片的坐标, x

征点数目,k 的初始值设为 1, θ 的初始值设为 0, Δa 、 Δb 分别代表 x、y 方向的平移增量, Δk 为缩放比 例增量, Δθ 为旋转角度的增量。

3) 根据间接平差原理按下式解出平移和旋转角度参数:
x = ( B T B ) ?1 Bl

(5)

? Δa ? ? Δb ? ? x ? a0 ? ?1 0 x′ cos θ ? y ′ sin θ ? x′k sin θ ? y ′k cos θ ? 其中: x =? ?,B=? ? , l = ?y ? b ? ? Δk ? 0? ?0 1 x′ sin θ + y ′ cos θ x′k cos θ ? y ′k sin θ ? ? ? ? Δθ ? ? 由于未知数改正值是近似值,所以采用逐渐趋近法计算,反复迭代直至改正数小于某一阈值(一般为

10-6 或者更小)为止。

3

实验结果
为了验证本文提出的分块拼接方法能够有效地改善影像拼接效果, 减小拼接误差累积, C#平台下实 在

现了相关算法,并利用无人机影像进行检验。 图 5 是采用两种拼接方法获得的成果图。 5 (a)是未采用分块拼接方案得出的图像, 图 从图中可以看出, 道路的接边、河流的接边都存在明显的错位现象;图 5(b)是采用分块方案的拼接图,则不存在明显的接边 错位现象。

(a)

(b)

图5

两种方法拼接效果对比

Fig.5 The contrast of mosaic effect between the two methods

126

光电工程

2011 年 2 月

结束语
本文通过将测区的影像采用分块处理后进行特征点提取,减小了由地形起伏而造成的投影差影响,同 时也降低了变换矩阵的误差传播。在剔除“外点”时,采用了最小二乘算法并进行了实验分析,该算法相 对于传统算法降低了时间复杂度和空间复杂度,提高计算速度。从最终的实验结果来看,取得了比较满意 的拼接效果,验证了分块拼接方法的有效性。 参考文献:
[1] 刘金根,吴志鹏,刘上乾,等. 一种基于特征区域分割的图像拼接算法[J]. 西安电子科技大学学报:自然科学版,2002, 29(6):768-771. LIU Jin-gen,WU Zhi-peng,LIU Shang-qian,et al. A merging algorithm for images based on segmentation of feature regions [J]. Journal of Xidian University,2002,29(6):768-771. [2] 赵向阳,杜利民. 一种全自动稳健的图像拼接融合算法[J]. 中国图象图形学报,2004,9(4):417-422. ZHAO Xiang-yang, Li-min. An automatic and robust image mosaic algorithm [J]. Journal of Image and Graphics, DU 2004, 9(4):417-422. [3] 王勇, 何晓川, 刘清华, 一种感兴趣区域寻优搜索的全自动图像拼接算法[J]. 电子与信息学报, 等. 2009, 31(2): 261-264. WANG Yong, Xiao-chuan, HE LIU Qing-hua, al. An automatic mosic algorithm for region of interest search [J]. Journal of et Electronics & Information Technology,2009,31(2):261-264. [4] Lowe David G. Distinctive Image Features From Scale-Invariant keypoints [J]. International Journal of Computer Vision (S0920-5691),2004,60(2):91-110. [5] Lowe David G. Object recognition from local scale-invariant features[C]// Proceedings of the 1999 7th IEEE International Conference on Computer Vision(ICCV’99), Kerkyra, Greece, September 20-27, 1999. Piscataway: IEEE, 1999: 1150-1157. [6] Fischler Martin A, Bolles Robert C. Random sample consensus: paradigm for model fitting with application to image analysis A and automated cartography [J]. Communications of the ACM(S0001-0782),1981,24(6):381-395. [7] 解凯,郭恒业,张田文. 图像 Mosaics 技术综述[J]. 电子学报,2004,32(4):630-634. XIE Kai, GUO Heng-ye, ZHANG Tian-wen. A survey of image mosaics technology [J]. Acta Electronica Sinica, 2004, 32(4): 630-634. [8] 陈世哲,胡涛,刘国栋,等. 基于光栅的快速精确图像拼接[J]. 光学 精密工程,2006,14(2):242-246. CHEN Shi-zhe,HU Tao,LIU Guo-dong,et al. Fast and precision image mosaic based on grating [J]. Optics and Precision Engineering,2006,14(2):242-246.


相关文档

基于SIFT算法的无人机影像优化拼接研究
基于SIFT特征点的无缝图像拼接方法的研究
基于SIFT特征点的无人机影像拼接方法研究_何敬
无人机序列影像快速无缝拼接方法研究
一种基于改进的SIFT特征点算法的无人机影像快速匹配研究
基于SIFT特征的无人机航拍图像拼接
基于SIFT特征点的图像拼接技术研究
基于SIFT算法的无人机影像快速匹配
基于改进的SIFT特征点算法的无人机影像快速匹配研究
一种基于SIFT特征匹配的自动图像拼接方法
电脑版