[发明专利]一种视频序列影像拼接方法及装置

说明书

本发明公开了一种视频序列影像拼接方法及装置，其中，所述方法通过获取第一影像和第二影像；对第一影像进行SIFT特征点的检测，获得多个第一特征点，对第二影像进行SIFT特征点的检测，获得多个第二特征点；基于第一特征点与第二特征点，确定第一影像与第二影像融合时的重叠区域；对重叠区域中的每个像素重叠位置的第一像素和第二像素分配权重，获得第一权重值和第二权重值；在每个像素重叠位置基于第一像素的像素值、第一权重值、第二像素的像素值以及第二权重值对第一影像和第二影像进行拼接，获得拼接影像。本发明避免产生鬼影、重影和错位等，同时还避免重叠区域融合后图像失真。

技术领域

本发明涉及数字图像处理与模式识别技术领域，尤其涉及一种视频序列影像拼接方法及装置。

背景技术

在视频监控、虚拟现实、测绘遥感、智能交通、机器人视觉等领域，需要通过扩大传感器的感受范围，这不仅提高了系统对于周围世界的感知能力，也增强系统的适用性。然而，单幅小场景的影像的视野受到限制，已经无法满足现代社区监控、虚拟体验、航空监测、自动控制等实际应用需求。鱼眼镜头、广角镜头、专用全景相机等虽然能够获得广角的大场景影像，但是这些设备价格昂贵、失真严重、使用复杂，无法较好的满足实际需求。

而数字图像拼接技术为解决大场景影像的采集问题，提供了很好的解决方案。图像拼接就是将两幅或者多幅有重叠区域的影像序列，通过影像投影、影像配准、影像融合等处理，最终拼接形成一幅具有更大视场的影像。由于其解决了视野与分辨率的矛盾问题，因而它已经成为了图像处理领域的一个热点问题。在图像拼接中，图像配准是整个拼接技术体系中的核心技术，按照图像配准方法的不同，可以将图像拼接技术分为基于特征的方法和基于光流的方法(非特征)两大类。与基于光流的方法相比，基于特征的方法是提取影像中的点、线、形状等特征进行后续计算，避免了全部影像像素参与计算，节约了存储空间和计算时间，具有较高的计算效率。但目前在无人机、机器视觉等领域中视频序列往往是多方向的，不规则的向不同方向的录制视频，这无疑增加了图像拼接的难度。

由以上的分析可以看出，基于视频序列的影像拼接为大场景数据的获取提供了较好的解决方案。然而，现有的图像拼接手段特征提取、影响融合等控制不够精确，容易导致拼接后生成的图像产生重影、错位以及图像失真等，难以适用到这类多方向的图像拼接中。

发明内容

鉴于上述问题，本发明提出了一种视频序列影像拼接方法，避免了图像拼接过程中产生鬼影、重影和错位，同时避免了重叠区域融合后的图像失真。

第一方面，本申请通过一实施例提供如下技术方案：

一种视频序列影像拼接方法，所述方法包括：

获取第一影像和第二影像；

对所述第一影像进行SIFT特征点的检测，获得多个第一特征点；对所述第二影像进行SIFT特征点的检测，获得多个第二特征点；

基于所述第一特征点与所述第二特征点，确定所述第一影像与所述第二影像融合时的重叠区域；

对所述重叠区域中的每个像素重叠位置的第一像素和第二像素分配权重，获得第一权重值和第二权重值；其中，所述第一权重值与所述第二权重值之和为1，所述第一像素和所述第一权重值对应于所述第一影像，所述第二像素和所述第二权重值对应于所述第二影像；

在每个所述像素重叠位置基于所述第一像素的像素值、所述第一权重值、所述第二像素的像素值以及所述第二权重值对所述第一影像和所述第二影像进行拼接，获得拼接影像。

优选地，所述基于所述第一特征点与所述第二特征点，确定所述第一影像与所述第二影像融合时的重叠区域，包括：

基于所述第一特征点对所述第一影像进行子空间划分，获得第一K-D树模型；

基于所述第一K-D树模型搜索所述第一特征点的近邻点，获得第一粗匹配点集；