[发明专利]图像合成方法、装置、终端设备以及可读存储介质

权利要求书

1.一种图像合成方法，其特征在于，应用于数据传输系统，所述数据传输系统包括：主播端、服务器以及播放端，所述服务器分别与所述主播端和所述播放端通信连接，所述方法包括：

在直播开始前，所述服务器获得各个真实视角下的背景图像数据，所述背景图像数据包括各个真实视角下的背景图像及各帧背景图像对应的深度信息，所述真实视角为可采集真实图像的视角；

在直播过程中，所述主播端获得各个真实视角下的前景图像数据，并将所述前景图像数据发送至所述服务器，所述前景图像数据包括各个真实视角下的前景图像及各帧前景图像对应的深度信息；

所述服务器在接收到所述播放端发送的直播观看请求时，确定所述播放端的待观看视角，向所述播放端发送一次与所述待观看视角匹配的背景图像数据，以及，在直播过程中实时向所述播放端发送与所述待观看视角匹配的前景图像数据；

所述播放端根据接收的所述背景图像数据和所述前景图像数据合成所述待观看视角下的虚拟视角图像，将所述虚拟视角图像作为从所述待观看视角处采集的直播图像并播放。

2.根据权利要求1所述的方法，其特征在于，所述服务器获得各个真实视角下的背景图像数据，包括：

所述服务器从所述主播端中获得各个真实视角下的背景图像数据；或者

所述服务器从所述主播端中获得各个真实视角下的背景图像，对各帧所述背景图像进行深度估计，得到深度信息，并将各帧所述背景图像及各帧所述背景图像对应的深度信息作为各个真实视角下的背景图像数据。

3.根据权利要求2所述的方法，其特征在于，所述主播端获得各个真实视角下的前景图像数据，包括：

所述主播端获得各个真实视角下的直播图像，对各帧所述直播图像进行图像分割，获得各个真实视角下的前景图像；

所述主播端对各个真实视角下的前景图像进行深度估计，得到各帧所述前景图像对应的深度信息；

将各帧所述前景图像及各帧所述前景图像对应的深度信息作为各个真实视角下的前景图像数据。

4.根据权利要求3所述的方法，其特征在于，对各帧所述背景图像进行深度估计，得到深度信息，包括：

通过第一深度估计模型对各帧所述背景图像进行深度估计，得到深度信息；

所述主播端对各个真实视角下的前景图像进行深度估计，得到各帧所述前景图像对应的深度信息，包括：

所述主播端通过第二深度估计模型对各个真实视角下的前景图像进行深度估计，得到各帧所述前景图像对应的深度信息，所述第二深度估计模型的精度低于所述第一深度估计模型的精度。

5.根据权利要求3所述的方法，其特征在于，对各帧所述直播图像进行图像分割，获得各个真实视角下的前景图像，包括：

通过前景分割模型获得各帧所述直播图像前景蒙版；

根据所述前景蒙版和所述直播图像获得各个真实视角下的前景图像。

6.根据权利要求1所述的方法，其特征在于，在所述服务器获得各个真实视角下的背景图像数据后，所述方法还包括：

所述服务器向所述主播端发送直播开始信号；

在直播过程中，所述主播端获得各个真实视角下的前景图像数据，包括：

所述主播端在接收到所述直播开始信号后，实时获得各个真实视角下的直播图像，并根据获得的直播图像获得各个真实视角下的前景图像数据。