无人机遥感影像拼接方法探讨_刘庆元_图文

2012 年

第5 期

刘庆元, 等: 无人机遥感影像拼接方法探讨 中图分类号: P237 文献标识码: B

53

0911 ( 2012 ) 05005303 文章编号: 0494-

无人机遥感影像拼接方法探讨
刘庆元, 刘 有, 邹 磊, 易柳城
( 中南大学 地球科学与信息物理学院 , 湖南 长沙 410083 )

Research on UAV Remote Sensing Image Mosaic Method
LIU Qingyuan,LIU You,ZOU Lei,YI Liucheng

摘要: 针对当前无人机低空遥感影像处理, 提出采用 ORB 描述符和网格自适应阈值调节的方法, 该方法先对影像进行分块特征点
提取, 然后剔除密集点, 再采用二进制描述符整体描述和匹配 。试验表明, 该方法速度快, 精度高, 匹配点分布均匀, 具有很好的实 用价值。

关键词: UAV 影像拼接; ORB 描述符; 网格自适应阈值调节

一、 引



特点。 但由于无人飞机自身重量较轻, 飞行姿态易受 风力影响, 因此其拍摄的影像几何畸变大、 旋转角 度大, 且影 像 自 身 也 具 有 纹 理 分 布 极 不 均 匀 等 特 使得传统的图像匹配算法难以实现, 甚至无法 点, 实现。本文从目前无人机影像处理中的一些实践 问题出发, 分析出现问题的原因, 并探讨一种高精 度、 高速度、 高适应性的无人机影像处理方法 。

近年来随着无人飞机设备技术的不断成熟 , 其 应用范围越来越广, 低空遥感已成为大家关注的热 点。影像匹配作为低空遥感数据处理的关键技术 , [12 ] 。 而且 其匹配质量直接影响到后续成果的优劣 对于地质勘查、 地质灾害、 危机处理, 以及抢险救灾 因此合 等均需要及时了解现场各种自然环境状况 , 理选择一种高精度、 高速度、 高适应性的无人机序 列影像匹配方法显得尤为重要。 目前在影像匹配中主要采用以下几种方法 : 1 ) 基于 SIFT ( scale invariant feature transform ) 特征算子的低空遥感影像匹配 。SIFT 算法主要 是通过高斯卷积核生成尺度空间, 并在尺度空间中
[1 , 3 ]

二、 问题探讨
1. 效率与性能问题 无人飞机作业时会对目标地区拍摄大量影像 , 且每张影像的数据量达到 6 MB 以上, 虽采用 SIFT 算法对其处理能够实现序列影像的自动拼接 , 但由 于 SIFT 算法采用 128 维向量描述特征点, 不仅自身 复杂度高, 计算非常耗时, 且内存占用相当多, 拼接 [67 ] , 。 SURF 效率低 下 难 以 满 足 实 时 要 求 算法对 SIFT 进行了一系列的改进, 在特征点检测速度上有 了明显提升, 但 SURF 依然采用高维向量描述特征 点, 其计 算 速 度 和 匹 配 速 度 依 然 偏 慢。 本 文 引 入 ORB[8]( oriented FAST and rotated BRIEF ) 特征描述 性能得到明显提升。 ORB 描 符对特征点进行描述, 述符是在 BRIEF( binary robust independent elementary features) [9]上进行改进且加入了旋转不变性, 它们 都没 像 PCA ( principal component analysis ) 和 LDA ( linear discriminant embedding ) 那样通过减少向量 的维数来加快计算速度和匹配速度, 而是通过采用 , 二进制位串来进行描述 每位都是通过比较点对的 强度大小来定义, 比较方式被定义为

得到特征点后采用 检测极值点并精炼特征点位置, 高维向量来描述每个点, 最后采用关键点特征向量 的欧氏距离作为两幅图像中关键点的相似性判定 度量。由于 SIFT 算子同传统匹配方法相比具有尺 度不变、 旋转不变 等特点, 因此在影像匹配中得 到了广泛的应用。 2 ) 基于 SURF( speeded up robust features ) 描述 [5 ] 子的影像配准 。 该描述子是在 SIFT 基础上进行 改进, 生成尺度空间时采用箱式滤波器近似代替二 阶高斯滤波, 利用 Haar 小波代替直方图计算特征点 主方向和生成特征向量, 并通过利用积分图像, 及 选取不同大小的箱式滤波器建立图像的尺度空间 , 同 SIFT 算法相比不再需要对图像重复采样 , 这将有 , 利于减少时间和内存占用 大大提高了特征点提取 速度。而且该算法同样具有尺度不变、 旋转不变等
[4 ]

1214 收稿日期: 20113S 集成。 作者简介: 刘庆元( 1958 —) 男, 甘肃兰州人, 教授, 主要研究方向为 GPS 数据处理、 无人机影像处理、

54 y) = τ( p; x,



绘 ( 1)





2012 年

第5 期

p ( x ) ≥p ( y ) p( x) 是点 x 处的强度值, 式中, 特征描述函数被定 0 义为 f n ( p) = 2 i -1 τ( p; x i , yi ) ∑ 1 ≤i≤n ( 2)

{

1

p( x) < p( y)

不过这将 况通过调节特征点检测阈值会有所改善 , 这在实 意味着特征点检测和匹配时间的大幅上升 , 时序列图像拼接中是难以容忍的 。

这种采用二进制位串的描述方式, 其匹配速度 大大超过了已有的描述方法, 因为描述符之间的相 似性是通过计算汉明距离 ( Hamming distance ) 来确 定的, 而汉明距离只需要通过异或运算或者位操作 即可完成。测试点对的分布类型有多种, 在 ORB 中 采用的是效果显著的沿图像块中心的高斯分布方 式( 如图 1 所示) , 且为了提高描述符的辨别性须在 为了让描述位 描述前对图像进行平滑处理。 同时, 串具有旋转不变性, 可以根据特征点的主方向, 建 立旋转矩阵, 并对 N 对测试点进行旋转操作, 公式 定义如下 Sθ = Rθ

图2

同名点匹配图

(

x1 , x2 , …, xn y1 , y2 , …, yn

)

( 3) ( 4)

g n ( p, y i ) ∈S θ θ) = f n ( p ) | ( x i ,

S θ 是旋转后的测试点对; g n 为新的计算描述 式中, 串函数。
图3 拼接效果图

本文采用网格自适应阈值调节方法, 可以有效 改善这种状况, 如图 4 、 图 5 所示。 网格自适应阈值 调节主要通过将图像划分成一定数目的格网 , 以单 个网格为单位进行特征点检测, 当网格特征点数目 不够时可以自动调节阈值增加特征点数目 , 这样并 没有影响总体的阈值调节, 从而一方面使得特征点
图1 图像块点对空间分布图

分布更为均匀; 另一方面也缩短了特征点检测的时 间。虽然像 SIFT 和 SURF 等算法在特征点检测时 都加入了非极大值抑制, 防止邻近点密集在一块, 不过这对于特征点丰富的无人机影像来说是远远 尤 其 是 采 用 RANSAC 算 法 剔 除 误 匹 配 点 不够的, 时, 如果精度设置稍高, 留下的就是整张图像中一 小块区域的局部最优匹配点。 所以本文通过对分 块检出的点再进行距离计算, 去掉一些距离太近的 点集( 留下值最优的, 以免立体像对图像去点不统 一, 影响后续匹配 ) , 这样有利于减少后续描述和匹 。 配的时间 3. 误差分析 无人机序列影像拼接时主要存在以下几种主 要误差: ① 系统设备误差; ② 由外方位元素变化引

2. 特征点分布问题 无人飞机拍摄的影像同一般图像相比, 具有分 相幅大、 航向窄、 纹理丰富但分布极不均匀 辨率高、 等特点, 在采用常用的匹配方法进行匹配时, 容易 出现局部最优的情况。如图 2 、 图 3 所示。 本试 验 是 将 每 幅 图 像 的 特 征 点 数 目 控 制 在 3000 以内进行的。由于影像纹理的分布极不均衡, 且一般的特征点检测方法都是在候选点集中选择 前端较优的点, 使得大部分特征点都密集在纹理丰 而影像平滑区域几乎没有匹配的点, 最后 富区域, 使得图像右下方拼接结果极不理想。 当然这种状

2012 年

第5 期

刘庆元, 等: 无人机遥感影像拼接方法探讨

55

度差、 特征点分布不均、 累积误差快等问题进行探 通过将具有计算速度和匹配速度优势的二进制 讨, 串描述符 ORB 应用到无人机影像拼接中, 基本可以 达到实时处理的要求。 且通过采用网格动态自适 不仅提高了特征点的 应阈值调节进行特征点提取, 分布质量, 而且还加快了计算速度。 下一步工作将 研究影像在纹理平滑区域的匹配 。

图4

网格自适应阈值同名点匹配图

图6

36 张 UAV 影像连续自动拼接效果图

参考文献:
[ 1] 柯涛, 张永军. SIFT 特征算子在低空遥感影像全自动 J] . 测绘科学, 2009 , 34 ( 4 ) : 2326. 匹配中的应用[ [ 2] 孙杰, J] . 林宗坚, 崔红霞. 无人机低空遥感监测系统[ 图5 改进后拼接效果图 2003 ( 1 ) : 4951. 遥感信息, [ 3] 王琳. 高精度、 高可靠的无人机影像全自动相对定向 . 北 京: 中 国 测 绘 科 学 研 究 及模型 连 接 的 研 究[D] 2011. 院, [ 4] DAVID G L. Distinctive Image Features from Scaleinvari. International Journal of Computer ant Key Points [J] Vision, 2004 , 60 ( 2 ) : 91110. [ 5] 林晓帆, 林立文, 邓涛. 基于 SURF 描述子的遥感影像 J] . 计算机工程, 2010 , 36 ( 12 ) : 216218. 配准[ [ 6] 高超, 张鑫, 王云丽, 等. 一种基于 SIFT 特征的航拍图 J] . 计算机应用, 2007 , 27 ( 11 ) : 像序列自动拼接方法[ 27892792. [ 7] 林武, 洪景新, 张昊. 快速有效的视频图像序列拼接方 J] . 计算机工程与应用, 2009 , 45 ( 24 ) : 173175. 法[ [ 8] ETHAN R,VINCENT R,KURT K,et al. ORB: an Efficient Alternative to SIFT or SURF[C]∥ 2011 IEEE International Conference on Computer Vision ( ICCV ) . Barcelona: [ s. n. ] , 2011. [ 9] MICHAEL C,VINCENT L,PASCAL S. Brief: Binary Robust Independent Elementary Features [J] . Lecture Notes in Computer Science, 2010 ( 6314 ) : 778792.

起的影像变形误差; ③ 地形起伏引起的影像变形误 差; ④ 城市高层建筑引起的投影差; ⑤ 变换矩阵连 乘引起的累积误差。 这些都将导致序列影像拼接 的累积误差迅速扩大, 所以应根据影像的内容, 采 取适当的方法进行拼接。 如果被拍摄地面比较平 坦, 此时投影误差较小, 影像可直接进行拼接; 对于 影像中存在大量高楼的情况, 由于高层建筑的投影 差较大, 是影响拼接的主要障碍, 所以拼接时应剔 除楼房顶端的投影误差较大的匹配点 。 序列影像 拼接试验叙述如下。 中国某地 2008 年实地航拍, 航高 600 m, 影像 尺寸 3888 像素 ? 2596 像素。由 GPS 和惯性导航系 统给出摄影外方位元素值, 角元素精度为 60' , 线元 GPS 更新率为 1 Hz。 地形为丘 素精度为 10 20 m, 陵地区, 大部分比较平坦, 靠近河流部分有些小山。 拼接效果如图 6 所示。

三、 结束语
本文针对无人机影像处理中存在的速度慢 、精


相关文档

无人机序列影像快速无缝拼接方法研究
基于SIFT特征点的无人机影像拼接方法研究
无人机低空遥感影像的自动拼接技术研究
无人机遥感影像获取及后续处理探讨
4种无人机遥感影像快速拼接方法的试验分析
无人机遥感影像快速拼接方法研究 城市勘测
无人机遥感影像快速拼接方法研究_张俊前
无人机海量遥感影像快速自动拼接算法研究
大重叠度无人机遥感影像的三维建模方法研究
遥感彩色影像镶嵌拼接缝的消除方法研究
电脑版