[发明专利]视频与三维场景融合的方法、装置、电子设备和存储介质

权利要求书

1.一种视频与三维场景融合的方法，其特征在于，包括：

确定三维场景模型中每一顶点的纹理坐标；

从多个待融合视频帧中获取每一纹理坐标对应的纹理值；

基于每一纹理坐标的纹理值，对所述三维场景模型的每一顶点进行着色，得到融合后的三维场景模型；

其中，两个待融合视频帧的重叠区域内的任一重叠纹理坐标对应的纹理值是基于每一待融合视频帧中所述任一重叠纹理坐标的纹理值以及纹理值权重确定得到的；任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重是基于所述任一重叠纹理坐标与重叠区域边界的横向距离和纵向距离确定的。

2.根据权利要求1所述的视频与三维场景融合的方法，其特征在于，任一待融合视频帧中的任一重叠纹理坐标的纹理值权重计算函数为非线性函数。

3.根据权利要求1或2所述的视频与三维场景融合的方法，其特征在于，每一待融合视频帧中的任一重叠纹理坐标的纹理值权重是基于如下步骤确定的：

基于所述任一重叠纹理坐标与所述重叠区域边界的横向距离和纵向距离，确定任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重；

将1与所述任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重之间的差值，作为另一待融合视频帧中所述任一重叠纹理坐标的纹理值权重。

4.根据权利要求3所述的视频与三维场景融合的方法，其特征在于，所述基于所述任一重叠纹理坐标与所述重叠区域边界的横向距离和纵向距离，确定任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重，具体包括：

基于所述任一重叠纹理坐标的横坐标，分别与所述重叠区域中的最大纹理横坐标和最小纹理横坐标之间的差值，确定横向权重；

基于所述任一重叠纹理坐标的纵坐标，分别与所述重叠区域中的最大纹理纵坐标和最小纹理纵坐标之间的差值，确定纵向权重；

基于所述横向权重和所述纵向权重，确定所述任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重。

5.根据权利要求4所述的视频与三维场景融合的方法，其特征在于，任一待融合视频帧中的任一重叠纹理坐标的纹理值权重是采用如下公式计算得到的：

其中，d₂为纹理值权重，(x,y)为重叠纹理坐标，x_max和x_min为所述重叠区域中的最大纹理横坐标和最小纹理横坐标，y_max和y_min为所述重叠区域中的最大纹理纵坐标和最小纹理纵坐标。

6.根据权利要求1所述的视频与三维场景融合的方法，其特征在于，所述确定三维场景模型中每一顶点的纹理坐标，具体包括：

对所述三维场景模型进行投影纹理映射，得到所述三维场景模型中每一顶点的纹理坐标。

7.根据权利要求6所述的视频与三维场景融合的方法，其特征在于，所述对所述三维场景模型进行投影纹理映射，得到所述三维场景模型中每一顶点的纹理坐标，具体包括：

基于所述三维场景中每一顶点的模型坐标，以及投影机的位置和投影角度，确定所述三维场景模型中每一顶点的纹理坐标。

8.一种视频与三维场景融合的装置，其特征在于，包括：

纹理坐标计算单元，用于确定三维场景模型中每一顶点的纹理坐标；

纹理值查询单元，用于从多个待融合视频帧中获取每一纹理坐标对应的纹理值；

视频场景融合单元，用于基于每一纹理坐标的纹理值，对所述三维场景模型的每一顶点进行着色，得到融合后的三维场景模型；

其中，两个待融合视频帧的重叠区域内的任一重叠纹理坐标对应的纹理值是基于每一待融合视频帧中所述任一重叠纹理坐标的纹理值以及纹理值权重确定得到的；任一待融合视频帧中所述任一重叠纹理坐标的纹理值权重是基于所述任一重叠纹理坐标与重叠区域边界的横向距离和纵向距离确定的。