[发明专利]视频拼接方法及装置

说明书

一种视频拼接方法及装置。该视频拼接方法用于拼接第一视频和第二视频，包括：对第一视频的第一目标帧和第二视频的第二目标帧进行特征提取、特征匹配和筛选，获得第一目标帧和第二目标帧的第一特征点对集；对第一目标帧和第二目标帧进行前向追踪，获得第一目标帧和第二目标帧的第二特征点对集；对第一目标帧和第二目标帧进行后向追踪，获得第一目标帧和第二目标帧的第三特征点对集；以及根据第一目标帧和第二目标帧的第一特征点对集、第二特征点对集以及第三特征点对集的并集，计算第一目标帧和第二目标帧之间的几何变换关系。该视频拼接方法结合特征匹配和双向特征追踪，提高了用于相机标定的特征点对的鲁棒性，改进了相机标定的连续性和稳定性。

技术领域

本公开的实施例涉及一种视频拼接方法及装置。

背景技术

视频拼接是计算机视觉领域中的一项重要的技术。视频拼接的过程是将多个摄像机采集到的具有重叠区域的视频图像拼接合成到同一视面上，形成一个分辨率更高、视角更广的全景视频。与具有广角镜头的全景摄像机相比，通过视频拼接技术获得全景视频的成本更低，实用性更高。在实际生活中，视频拼接技术已经运用到了安防监控、空中侦察、展示展览、视觉娱乐等各个领域。

发明内容

本公开至少一实施例提供一种视频拼接方法，用于拼接第一视频和第二视频，包括：对所述第一视频的第一目标帧和所述第二视频的第二目标帧分别进行特征提取，对从所述第一目标帧和所述第二目标帧中分别提取的特征进行特征匹配，并对匹配的特征进行筛选，获得所述第一目标帧和所述第二目标帧的第一特征点对集；将所述第一目标帧和所述第二目标帧的前向特征点对集前向追踪到所述第一目标帧和所述第二目标帧，获得所述第一目标帧和所述第二目标帧的第二特征点对集；将所述第一目标帧和所述第二目标帧的后向特征点对集后向追踪到所述第一目标帧和所述第二目标帧，获得所述第一目标帧和所述第二目标帧的第三特征点对集；以及根据所述第一目标帧和所述第二目标帧的所述第一特征点对集、所述第二特征点对集以及所述第三特征点对集的并集，计算所述第一目标帧和所述第二目标帧之间的几何变换关系。

例如，本公开一实施例提供的视频拼接方法，还包括：将所述第一目标帧和所述第二目标帧的所述第一特征点对集与所述第二特征点对集的并集作为所述第一视频的第一目标帧的后一帧和所述第二视频的第二目标帧的后一帧的前向特征点对集。

例如，本公开一实施例提供的视频拼接方法，还包括：若所述第一目标帧和所述第二目标帧为待拼接的初始帧，则不进行前向追踪，根据所述第一目标帧和所述第二目标帧的所述第一特征点对集与所述第三特征点对集的并集，计算所述第一目标帧和所述第二目标帧之间的几何变换关系，将所述第一目标帧和所述第二目标帧的第一特征点对集作为所述第一视频的第一目标帧的后一帧和所述第二视频的第二目标帧的后一帧的前向特征点对集。

例如，本公开一实施例提供的视频拼接方法，还包括：若所述第一目标帧和所述第二目标帧之后的待拼接的视频帧数小于后向追踪目标帧数，则将所述第一视频和所述第二视频的待拼接的最终帧作为后向追踪的起点帧。

例如，本公开一实施例提供的视频拼接方法，还包括：若所述第一目标帧和所述第二目标帧为所述第一视频和所述第二视频的待拼接的某一帧的后向追踪的起点帧，则将所述第一目标帧和所述第二目标帧的第一特征点对集作为所述第一视频的第一目标帧的前一帧和所述第二视频的第二目标帧的前一帧的后向特征点对集；若所述第一目标帧和所述第二目标帧为所述第一视频和所述第二视频的待拼接的某一帧的后向追踪的中间帧，则将所述第一目标帧和所述第二目标帧的所述第一特征点对集与所述第三特征点对集的并集作为所述第一视频的第一目标帧的前一帧和所述第二视频的第二目标帧的前一帧的后向特征点对集。

例如，本公开一实施例提供的视频拼接方法，还包括：若所述第一目标帧和所述第二目标帧为待拼接的最终帧，则不进行后向追踪，根据所述第一目标帧和所述第二目标帧的所述第一特征点对集与所述第二特征点对集的并集，计算所述第一目标帧和所述第二目标帧之间的几何变换关系。

例如，在本公开一实施例提供的视频拼接方法中，所述后向追踪目标帧数为1-20帧。