[发明专利]全景视频填补方法、装置、设备及存储介质

说明书

本申请提供一种全景视频填补方法、装置、设备及存储介质，涉及互联网直播与视频处理领域；所述方法包括：获取多个待处理图像以及填补图像；根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。本实施例能够提高全景视频帧的生成效率，满足某些场景的实时性需求。

技术领域

本申请涉及互联网直播与视频处理领域，尤其涉及一种全景视频填补方法、装置、设备及存储介质。

背景技术

随着近眼显示设备的普及，全景视频被广泛应用到各种行业。在全景视频生成过程中，可通过全景照相机或全景摄像机来获得全景视频的每一帧。由于客观条件的存在，使得获取的全景视频帧中存在一个空洞区域，比如全景相机由于相机杆的存在，在朝地面的方向就无法在布置多一个相机，所以最终拼接出来的全景视频帧在朝向地面的方向存在空洞，如图1所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域；同理，在某些情况下，全景相机中并没有设置朝天空方向拍摄的相机，所以最终拼接出来的全景视频帧在朝向天空的方向存在空洞，如图2所示，体现在全景视频帧中会有一个边缘凹凸不平的黑色区域。

发明内容

有鉴于此，本申请提供一种全景视频填补方法、装置、设备及存储介质。

首先，本申请的第一方面提供了一种全景视频填补方法，包括：

获取多个待处理图像以及填补图像；

根据预存的全景拼接模板对所述多个待处理图像进行拼接处理，生成未填补的全景视频帧；其中，所述全景拼接模板基于将多个参考图像拼接成参考全景图像的过程中确定，且所述多个参考图像的拍摄方位与所述多个待处理图像的拍摄方位相同；

根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，生成已填补的全景视频帧；其中，所述全景填补模板根据所述参考全景图像中的待填补区域确定。

可选地，所述参考全景图像中的待填补区域通过以下方式确定：

根据用户在所述参考全景图像中选择的位置，确定所述待填补区域；

或者，对所述参考全景图像进行识别处理，基于识别结果确定所述待填补区域。

可选地，所述全景填补模板根据所述参考全景图像的尺寸、所述待填补区域在所述参考全景图像中的位置以及参考填补图像的尺寸确定。

可选地，所述全景填补模板的数量有多个，不同的全景填补模板对应的参考填补图像的尺寸不同；

所述方法还包括：

根据所述填补图像的尺寸，从多个所述全景填补模板中选择目标全景填补模板；

根据所述目标全景填补模板对应的参考填补图像的尺寸，对所述填补图像进行裁剪处理或者拉伸处理；

所述根据预存的全景填补模板将所述填补图像投影至所述未填补的全景图像帧中的待填补区域处，包括：

根据目标全景填补模板将处理后的填补图像投影至所述未填补的全景图像帧中的待填补区域处。

可选地，所述目标全景填补模板对应的参考填补图像的尺寸与所述填补图像的尺寸的差异最小。

可选地，所述生成未填补的全景视频帧，包括：

根据所述全景拼接模板，确定所述多个待处理图像中的像素点在所述未填补的全景视频帧所在全景坐标系下对应的投影位置；