[发明专利]人物图像处理方法、装置、相应终端及存储介质

权利要求书

1.一种人物图像处理方法，其特征在于，应用于主讲终端，包括：

从摄像头捕获的当前实景图像帧中截取主讲人的当前人物图像帧；

根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，用三角剖分法确定用于卡通化显示所述主讲人的当前状态形变信息；所述当前状态形变信息包括主讲人当前的表情相对于主讲人在基准人物图像内表情的变化以及当前的动作相对于主讲人在基准人物图像内的动作变化；

将所述当前状态形变信息反馈给听讲终端，以使所述听讲终端根据所述当前状态形变信息确定所述主讲人对应的当前卡通图像帧并显示，其中，所述听讲终端与所述主讲终端保持云视频通信。

2.根据权利要求1所述的方法，其特征在于，所述根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：

检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列；

根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息。

3.根据权利要求2所述的方法，其特征在于，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：

对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点以及第二设定个数标识关键点的第一采集关键点序列；

对所述第一采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第一当前关键点序列。

4.根据权利要求3所述的方法，其特征在于，所述人物图像处理信息包括对所述基准人物图像基于第三设定个数关键点三角剖分形成的第一人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第三设定个数关键点三角剖分形成的第一卡通剖分数组，所述第三设定个数为所述第一设定个数与第二设定个数之和；

相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：

采用设定的三角剖分规则对所述第一当前关键点序列进行三角剖分，获得所述当前人物图像帧的第一当前剖分数组；

根据所述第一当前剖分数组，结合所述第一人物剖分数组以及第一卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第一目标剖分数组并作为所述主讲人的当前状态形变信息。

5.根据权利要求2所述的方法，其特征在于，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：

对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点的第二采集关键点序列；

对所述第二采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第二当前关键点序列。

6.根据权利要求5所述的方法，其特征在于，所述人物图像处理信息包括对所述基准人物图像基于第一设定个数关键点三角剖分形成的第二人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第一设定个数关键点三角剖分形成的第二卡通剖分数组；

相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：

根据所述第二当前关键点序列，确定所述主讲人的当前位姿估计信息；

采用设定的三角剖分规则对所述第二当前关键点序列进行三角剖分，获得所述当前人物图像帧的第二当前剖分数组；

根据所述第二当前剖分数组，结合所述第二人物剖分数组以及第二卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第二目标剖分数组；

将所述当前位姿估计信息以及所述第二目标剖分数组作为所述主讲人的当前状态形变信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基准人物图像为预先通过所述摄像头为所述主讲人采集的正脸图像；或者，所述基准人物图像为相对所述当前人物图像帧的前一人物图像帧。