[发明专利]图像合成方法、装置、终端设备以及可读存储介质

说明书

本申请提供了一种图像合成方法、装置、终端设备以及可读存储介质。该方法应用于一种数据传输系统，该数据传输系统包括：主播端、服务器以及播放端。该方法对直播场景中设备之间的数据传输方式进行了改进，由服务器在直播开始前获得各个真实视角下的背景图像数据，由主播端在直播过程中实时获得各个真实视角下的前景图像数据，由播放端根据背景图像数据和前景图像数据合成待观看视角下的虚拟视角图像。该方法将服务器原有的部分工作分配到主播端和播放端执行，一方面降低了服务器合成图像的工作量，提升了服务器的工作效率，另一方面由于多个播放端可以并行合成各自待播放的直播图像，因此进一步提升了图像合成效率，增强了用户的直播观看体验。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像合成方法、装置、终端设备以及可读存储介质。

背景技术

在视频拍摄场景中，为了更好地拍摄视频，通常会在拍摄点的周围布设多个摄像装备。然而，这种布设方式需要较多的摄像装备，增大了摄像装备的安装、校准、调试、数据传输同步等工作量。相关技术中采用一种自由视角合成算法，利用摄像装备采集的真实图像合成未安装摄像装备的视角的虚拟视角图像，从而降低摄像装备的布设数量。然而，如果直接将上述自由视角合成算法应用到网络直播场景中，即由主播端采集直播图像，由服务器根据直播图像合成未安装摄像装备的视角下的虚拟视角图像，由播放端播放合成的虚拟视角图像，图像合成效率并不高。因此，如何提升网络直播场景中图像合成的效率，成为亟待解决的问题。

发明内容

本申请实施例的目的在于提供一种图像合成方法、装置、终端设备以及可读存储介质，该方法从网络直播场景中各个设备之间的数据传输方式入手，对对各个设备的数据处理过程及相互之间的交互方式进行了改进，可有效提升网络直播场景中图像合成的效率。具体技术方案如下：

在本申请实施例的第一方面，首先提供了一种图像合成方法，应用于数据传输系统，所述数据传输系统包括：主播端、服务器以及播放端，所述服务器分别与所述主播端和所述播放端通信连接，所述方法包括：

在直播开始前，所述服务器获得各个真实视角下的背景图像数据，所述背景图像数据包括各个真实视角下的背景图像及各帧背景图像对应的深度信息，所述真实视角为可采集真实图像的视角；

在直播过程中，所述主播端获得各个真实视角下的前景图像数据，并将所述前景图像数据发送至所述服务器，所述前景图像数据包括各个真实视角下的前景图像及各帧前景图像对应的深度信息；

所述服务器在接收到所述播放端发送的直播观看请求时，确定所述播放端的待观看视角，向所述播放端发送一次与所述待观看视角匹配的背景图像数据，以及，在直播过程中实时向所述播放端发送与所述待观看视角匹配的前景图像数据；

所述播放端根据接收的所述背景图像数据和所述前景图像数据合成所述待观看视角下的虚拟视角图像，将所述虚拟视角图像作为从所述待观看视角处采集的直播图像并播放。

在本申请实施例的第二方面，首先提供了一种图像合成方法，应用于服务器，所述方法包括：

在直播开始前，获得各个真实视角下的背景图像数据，所述背景图像数据包括各个真实视角下的背景图像及各帧背景图像对应的深度信息，所述真实视角为可采集真实图像的视角；

在直播过程中，接收所述主播端发送的各个真实视角下的前景图像数据，所述前景图像数据包括各个真实视角下的前景图像及各帧前景图像对应的深度信息；

在接收到所述播放端发送的直播观看请求时，确定所述播放端的待观看视角，向所述播放端发送一次与所述待观看视角匹配的背景图像数据，以及，在直播过程中实时向所述播放端发送与所述待观看视角匹配的前景图像数据，以使所述播放端根据所述背景图像数据和所述前景图像数据合成所述待观看视角下的虚拟视角图像，将所述虚拟视角图像作为从所述待观看视角采集的直播图像并播放。