[发明专利]图像处理方法及装置、电子装置和计算机可读存储介质

权利要求书

1.一种图像处理方法，用于处理合并图像，所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成，所述预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到，其特征在于，所述图像处理方法包括：

判断连续两帧所述合并图像对应的两帧所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧所述合并图像包括前一帧合并图像和当前帧合并图像；和

在所述位置变化大于预定阈值时，判断所述位置变化的持续时间是否大于预定时间；和

在所述持续时间小于所述预定时间时，在所述持续时间内，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像，或直接显示所述预定三维背景图像；

在所述持续时间大于所述预定时间时，在所述预定时间内，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像，在所述预定时间后，以当前帧的预定前景图像与当前帧的预定三维背景图像融合以形成所述当前帧合并图像；其中，在所述当前帧的预定前景图像的场景图像中包含人物区域图像时，以所述当前帧的人物区域图像渲染对应帧的预定前景图像，并将渲染后的预定前景图像与对应的预定三维背景图像融合以形成当前帧合并图像，在所述当前帧的预定前景图像的场景图像中不包含人物区域图像时，直接以未渲染的预定前景图像与对应的预定三维背景图像融合以形成当前帧合并图像，或直接显示所述预定三维背景图像；

其中，所述预定三维背景图像中的预定融合区域或计算融合区域可以是一个或者多个，当预定融合区域为多个，在预定前景图像为三维图像时，在多个预定融合区域中寻找与所述预定前景图像的深度信息相匹配的预定融合区域作为融合位置进行融合；当计算融合区域为多个，在预定前景图像为三维图像时，在多个计算融合区域中寻找与所述预定前景图像的深度信息相匹配的计算融合区域作为融合位置进行融合；

根据所述动作信息渲染所述预定前景图像；和将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像；

其中，所述将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像的步骤包括：处理每帧所述预定三维背景图像以获取每帧所述预定三维背景图像的全场边缘图像；获取每帧所述预定三维背景图像的深度数据；根据每帧所述预定三维背景图像的全场边缘图像及所述深度数据以确定每帧所述预定三维背景图像的计算融合区域；根据与该帧所述预定三维背景图像对应的预定前景图像确定所述计算融合区域的待替换像素区域；将所述计算融合区域的待替换像素区域替换为与该帧所述预定三维背景图像对应的所述预定前景图像以得到所述合并图像；和处理多帧所述合并图像以输出视频图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

以预设频率采集多帧当前用户的场景图像；

以所述预设频率采集多帧所述当前用户的深度图像；

处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息；

根据所述动作信息渲染所述预定前景图像以使每帧所述预定前景图像跟随所述当前用户的动作；和

将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述以所述预设频率采集多帧所述当前用户的深度图像的步骤包括：

向所述当前用户投射结构光；

以所述预设频率拍摄多帧经所述当前用户调制的结构光图像；和

解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像的步骤包括：

解调每帧所述结构光图像中各个像素对应的相位信息；

将所述相位信息转化为深度信息；和

根据所述深度信息生成所述深度图像。