无人飞机(unmanned aerial vehicle, UAV)低空飞行航空摄影具备现势性强、分辨率高、收集方法灵便、感应器多元化等特点,近些年在应急测绘[1]、大城市三维重建[2]、山体滑坡地貌复建[3]、珍贵文物三维重建[4]等行业获得了愈来愈广泛应用。但是,因为低空飞行UAV一般配备非隧道检测照相机,且受服务平台多变性及感应器多元化等多种因素危害,获得的影像尺寸不一致,且信息量巨大,为影像匹配产生巨大考验。除此之外,近些年新型的仿地航行、围绕航行、接近航行等数据收集方法,更使传统影像匹配方式无法满足要求。

影像匹配做为三维全自动复建的前提阶段,其速率与盈余管理对复建结论起到关键作用。特别是在对于繁杂地貌情况下的三维重建,可以获得的高效匹配像对越大,影像联接成功的几率也就越高。大体上可以将其分成2个过程: ①获取匹配像对,也就是从大数据量的遥感技术影像中根据一定方式获取具备重叠区的一对影像; ②依照影像匹配优化算法对提取像对开展双像匹配获取匹配像对,获得同名点目录。近些年,对于多方位、大倾角的无人飞机影像,参考文献[5,6,7]在尺寸不会改变特点转换(scale-invariant feature transform,SIFT)[8]和仿射尺寸不会改变特点转换(affine-scale-invariant feature transform, ASIFT)[9]算法基础上给出了对应的匹配对策,与此同时依靠图像处理器(graphics processing unit, GPU)[10]并行处理计算,这一类方式都可迅速进行像对的同名点匹配。但是,怎样从很多影像中获取匹配像对的探索还处在较为低级的研究阶段。

在UAV影像匹配像对获取层面,参考文献[11,12]选用穷举法赋值对策,对影像集中化随意两组影像开展匹配。此类方式稳定性,但出现很多一味的失效计算,效率很低; 参考文献[13]利用影像原始所在位置信息,测算现阶段影像与其说邻近影像的空间距离,从而选用固定不动阀值范围之内像对开展匹配; 参考文献[14]也可通过动态性检索的办法明确阀值,提升了匹配的可靠性,但是当测区域内存有多层面、不同分辨率的UAV影像时,其获得的检索阀值难以保证为全局性值; 参考文献[7,15-16]则利用影像定位定向系统软件(positioning and orientation system, POS)观测数据、传感器结构结构参数及内位置原素、测区地貌信息等先验知识,测算每一张影像的足印图,从而利用足印图的拓扑关系,判断像对是否具备重叠区。因为此类方式运算量小,并且对基本数据收集方法具有较强的适应能力,因而是当前低空飞行UAV影像匹配像对提取关键方式。但是,从基本原理得知,此类方式相对高度依靠先验知识的精确性,因而,当测区地貌信息不确定性(如山体滑坡、峡谷、单独土地类型等)、或是传感器设计主要参数没法精确获知时(如多画面歪斜照相机、组成倾摆照相机),此类方式便没法精确算出像对相关性。参考文献[17]也从影像具体内容信息考虑,利用提取特点信息搭建视觉效果词袋(bag of visual words, BoW)实体模型,从而利用影像检索方法明确待匹配像对; 参考文献[18]在形成BoW实体模型环节中,测算海明嵌(hamming embedding, HE)来提高影像检索的精确度; 参考文献[19]则给出了一种霍夫网络投票优化算法加快影像检索全过程。因为这种方法一般面对的基本都是混乱、无自然地理信息的图像数据,其检索结论与影像是否具备重叠区未明确关联,且测算过多,无法直接用。

对于以上问题,文中明确提出一种考虑影像地理空间信息的BoW模型方法来决定待匹配像对,对地质条件、影像获取途径、传感器种类都无约束条件,从而降低影像匹配过程的多余测算,以缓解UAV影像匹配像对的、精确获取难题。

方式基本原理

文中所提出的UAV影像匹配像对提取方法步骤为: ①依照参考文献[8]和[10]上述方式,先后进行测区全部影像的SIFTsvm算法; ②为了保证影像检索高效率,对提取SIFT特点开展特征提取,减少形成视觉效果语汇树运算量; ③选用参考文献[20]方式,利用特征提取后矩阵的特征值搭建视觉效果语汇树; ④检索全部影像,并测算语汇树内词汇的检索权重值; ⑤在语汇树内,查看与现阶段影像最相近的影像目录,并测算它与查看目录内影像的空间距离指数值,综合性类似指数值与空间距离指数值对检索目录进行筛选,利用综合性指数计算查看深层阀值,将阀值以前的查看影像与现阶段影像组成产生匹配像对。具体做法步骤如下图1所显示。

试验和分析

1 测试数据与配置信息

为检验文中方式有多收集方法、多传感器种类、多地质条件下获取匹配像对的可行性分析、精度与高效率,共搜集了5组测试数据开展试验。数据的具体信息如表1所显示。

根据Windows10 64位电脑操作系统,选用VC++2015研发了大量UAV影像全自动空三图像处理软件MRI,用以检测文中方式的适应能力。硬件系统为Dell Precision 3630站,CPU i7-8700K 3.7 GHz,运行内存64 G DDR4,电脑硬盘512 G SSD,独立显卡为英伟达显卡 Titan XP 12 G。

2 结论和分析

为了能点评低维特点对影像检索高效率及精度带来的影响,对表1中5组影像提取初始128维矩阵的特征值开展特征提取,各自降到96维、64维、32维,并依据参考文献[19]方式对影像开展检索。检索环节中,形成语汇树聚类中心总数统一设为影像数量200倍,检索深层统一设为100,搭建语汇树影像从数据集中化任意获取,其总数设为数据影像数量20%,且影像总数不得超过500幅。点评检索方式精度时,最先选用穷举法进行5组影像匹配,随后因其匹配结论为依据,点评别的检索方式的查看精度。

点评影像查看精度一般采用查准率和查全率(图4)。查准率根据测算查看深层内正确查看影像与查询深入的比率组成,它体现了查看环节中恰当像对比例,查准率越小,代表着匹配阶段引进不正确匹配像对总数越大,对应的匹配用时也就越高。采收率也可通过测算查看深层内正确查看影像与穷举法匹配中获得的所有恰当影像总数比率组成,它体现了现阶段特点环境下,能获取过的匹配像对的完成度,采收率越小,代表着稀少复建后的稳定性越小,非常容易丢片。因而,查准率与采收率中间互相制衡,在采收率非常前提下,查准率越大,则算法的高效率越大。除开测算128维、96维、64维、32维特点的检索精度外,依照文中方式各自测算32维和64维的综合性检索因素检索精度,各自用32G和64G描述。从图4(a)中得知,大体上,影像查询查准率伴随着特征维度减少而下降,当特征维度降至32维时,其影像查准率显著降低。回过头看图4(b),这时的采收率却。主要原因通常是32维的影像特点丢了过多关键点信息,使特点间的可分性减少,在引进很多不正确匹配像对前提下,都将很多弱连接的像对引进匹配阶段。尽管提高了整体上的采收率,但后续匹配阶段效率很低。因而,充分考虑高效率与精度,将特点减少至64维开展影像检索是适宜的。