[发明专利]视频与三维场景融合的方法、装置、电子设备和存储介质

说明书

本发明提供一种视频与三维场景融合的方法和装置，其中方法包括：确定三维场景模型中每一顶点的纹理坐标；从多个待融合视频帧中获取每一纹理坐标对应的纹理值；基于每一纹理坐标的纹理值，对三维场景模型的每一顶点进行着色，得到融合后的三维场景模型；其中，两个待融合视频帧的重叠区域内的任一重叠纹理坐标对应的纹理值是基于每一待融合视频帧中任一重叠纹理坐标的纹理值以及纹理值权重确定得到的；任一待融合视频帧中任一重叠纹理坐标的纹理值权重是基于任一重叠纹理坐标与重叠区域边界的横向距离和纵向距离确定的。本发明提供的方法和装置，在待融合图像的重叠区域在纵向上纹理值存在较大差异时，可以减轻纵向拼接处的拼接缝隙。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视频与三维场景融合的方法、装置、电子设备和存储介质。

背景技术

基于视频融合的增强现实系统为人们迅速、直观地理解多路视频图像提供了很好的途径，在视频监控、城市的虚拟仿真、机器人的远程操控等领域应用广泛。虚实融合技术对于减少GIS虚拟场景和真实视频图片间的视觉差异，实现视觉感官虚实无缝结合，并提高真实沉浸式视觉体验具有重要作用。其中，基于视频投影的虚实融合方法因无须人工干预和离线融合、不需为被投影的纹理预先指定顶点纹理且场景还原真实度高等优势，成为三维场景虚拟融合中最常用的方法。

然而，当视频流之间存在重叠区域时，纹理映射之后会出现明显的拼缝现象，需要对投影后的视频纹理进行进一步的融合处理。目前，常用的几种视频图像融合方法包括平均值法，最大值法，最大分辨率法，渐入渐出法等。其中，渐入渐出法是最常用的融合方法。但渐入渐出法对于纵向坐标有较大差异的纹理图像进行融合时，在拼接处仍会有明显的拼缝现象。

发明内容

本发明提供一种视频与三维场景融合的方法、装置、电子设备和存储介质，用以解决现有技术中融合后的拼接处存在明显拼缝的缺陷。

本发明提供一种视频与三维场景融合的方法，包括：

确定三维场景模型中每一顶点的纹理坐标；

从多个待融合视频帧中获取每一纹理坐标对应的纹理值；

基于每一纹理坐标的纹理值，对所述三维场景模型的每一顶点进行着色，得到融合后的三维场景模型；

其中，两个待融合视频帧的重叠区域内的任一重叠纹理坐标对应的纹理值是基于每一待融合视频帧中所述任一重叠纹理坐标的纹理值以及纹理值权重确定得到的；任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重是基于所述任一重叠纹理坐标与重叠区域边界的横向距离和纵向距离确定的。

根据本发明提供的一种视频与三维场景融合的方法，任一待融合视频帧中的任一重叠纹理坐标的纹理值权重计算函数为非线性函数。

根据本发明提供的一种视频与三维场景融合的方法，每一待融合视频帧中的任一重叠纹理坐标的纹理值权重是基于如下步骤确定的：

基于所述任一重叠纹理坐标与所述重叠区域边界的横向距离和纵向距离，确定任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重；

将1与所述任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重之间的差值，作为另一待融合视频帧中所述任一重叠纹理坐标的纹理值权重。

根据本发明提供的一种视频与三维场景融合的方法，所述基于所述任一重叠纹理坐标与所述重叠区域边界的横向距离和纵向距离，确定任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重，具体包括：

基于所述任一重叠纹理坐标的横坐标，分别与所述重叠区域中的最大纹理横坐标和最小纹理横坐标之间的差值，确定横向权重；

基于所述任一重叠纹理坐标的纵坐标，分别与所述重叠区域中的最大纹理纵坐标和最小纹理纵坐标之间的差值，确定纵向权重；