[发明专利]基于自适应跟踪框分割的直播服饰装扮方法及装置

说明书

本发明公开了一种基于自适应跟踪框分割的直播服饰装扮方法及装置，该方法包括：基于与第t‑1帧图像对应的跟踪框得到与第t帧图像对应的跟踪框，并利用该跟踪框对第t帧图像进行场景分割；根据分割结果，确定第二前景图像，并确定肢体区域；根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像；将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。该方案能够根据由分割结果所得到的前景图像，准确地确定人物的肢体区域，从而精准地对人物的肢体区域添加服饰装扮效果，提高了直播服饰与人物的融合性，有助于提高视觉效果。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自适应跟踪框分割的直播服饰装扮方法、装置、计算设备及计算机存储介质。

背景技术

随着互联网技术的不断发展，人们日常的娱乐活动也越来越丰富，例如，越来越多的人喜欢通过直播平台在线观看主播提供的视频节目等。主播在直播过程中为了更好地与观看直播的观众进行互动，增加直播趣味性，经常需要更换虚拟的直播服饰。现有技术中的直播服饰装扮方式一般是将主播所选择的直播服饰添加在主播身上，以获得装扮效果，然而这种直播服饰装扮方式并没有很好地将直播服饰与主播的肢体区域进行切合，仅是简单地添加在主播身上，直播服饰与人物的融合性较差，影响视觉效果。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于自适应跟踪框分割的直播服饰装扮方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种基于自适应跟踪框分割的直播服饰装扮方法，该方法用于对视频中每隔n帧划分得到的各组帧图像进行处理，针对其中一组帧图像，该方法包括：

获取一组帧图像中包含有特定对象的第t帧图像以及与第t-1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；

依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果；

根据与第t帧图像对应的分割结果，确定第t帧图像的第二前景图像，并依据第二前景图像，确定第二前景图像中的肢体区域；

根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像；

将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据；

显示处理后的视频数据。

进一步地，根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像进一步包括：

根据用户选择的服饰装扮，确定与服饰装扮对应的基础服饰装扮效果贴图；

从肢体区域中提取出肢体区域的关键信息；

根据肢体区域的关键信息，对基础服饰装扮效果贴图进行处理，得到服饰装扮效果贴图；

根据肢体区域的关键信息，将服饰装扮效果贴图与第二前景图像进行融合处理，得到处理后的第t帧图像。

进一步地，关键信息为关键点信息；

根据肢体区域的关键信息，对基础服饰装扮效果贴图进行处理进一步包括：

根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；

依据位置信息中的距离信息，对基础服饰装扮效果贴图进行缩放处理；和/或，依据位置信息中的旋转角度信息，对基础服饰装扮效果贴图进行旋转处理。

进一步地，根据肢体区域的关键信息，将服饰装扮效果贴图与第二前景图像进行融合处理，得到处理后的第t帧图像进一步包括：