[发明专利]全景视频填补方法、装置、设备及存储介质

权利要求书

1.一种全景视频填补方法，其特征在于，包括：

获取多个待处理图像以及填补图像；

根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定，所述全景填补模板包括用于将所述填补图像投影到全景坐标系中待填补区域所在位置的全景参数。

2.根据权利要求1所述的方法，其特征在于，所述参考全景图像中的待填补区域通过以下方式确定：

根据用户在所述参考全景图像中选择的位置，确定所述待填补区域；

或者，对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。

3.根据权利要求1所述的方法，其特征在于，所述全景填补模板根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定。

4.根据权利要求3所述的方法，其特征在于，所述全景填补模板的数量有多个，不同的全景填补模板对应的参考填补图像的尺寸不同；

所述方法还包括：

根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板；

根据所述目标全景填补模板对应的参考填补图像的尺寸，对所述填补图像进行裁剪处理或者拉伸处理；

所述根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，包括：

根据目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处。

5.根据权利要求4所述的方法，其特征在于，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小。

6.根据权利要求1所述的方法，其特征在于，所述生成未填补的全景视频帧，包括：

根据所述全景拼接模板，确定所述多个待处理图像中的像素点在所述未填补的全景视频帧所在全景坐标系下对应的投影位置；

如果所述投影位置处于所述未填补的全景视频帧的待填补区域内，丢弃所述投影位置对应的像素点，否则，将所述投影位置对应的像素点投影至所述全景坐标系；其中，所述未填补的全景视频帧的待填补区域所在位置与所述参考全景图像中的待填补区域所在位置相同。

7.根据权利要求1所述的方法，其特征在于，所述填补图像包括以下至少一项：补地图像、补天图像或者空洞填补图像。

8.一种全景视频填补装置，其特征在于，包括：

图像获取模块，用于获取多个待处理图像以及填补图像；

图像拼接模块，用于根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

图像填补模块，用于根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定，所述全景填补模板包括用于将所述填补图像投影到全景坐标系中待填补区域所在位置的全景参数。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器执行所述可执行指令时，被配置为执行权利要求1至7任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至7任一所述方法的步骤。