[发明专利]手部运动模糊自动抠图及在人体软分割和背景更换的应用

说明书

本发明属于图像识别、分割、抠图、虚拟数据生成领域，具体涉及了手部运动模糊自动抠图及在人体软分割和背景更换的应用，旨在解决运动模糊手部自动抠图效果不好及无法获得大量带标注运动模糊抠图训练数据的问题。本发明方法包括：采用手部运动模糊自动抠图网络对获取的运动模糊的手部图像进行自动抠图，获得手部抠图alpha结果图并输出；其中，手部运动模糊自动抠图网络的训练样本通过虚拟图像生成方法获得。本发明一方面在图像中人的手部存在严重运动模糊时，仍可以精确抠出人体并切换背景，带给用户极好的沉浸式体验；另一方面，虚拟运动模糊手部图片生成方法可以短时间内生成大量虚拟数据，有效解决训练样本不足、真值标注困难等问题。

技术领域

本发明属于图像识别、分割、抠图、虚拟数据生成领域，具体涉及了手部运动模糊自动抠图及在人体软分割和背景更换的应用。

背景技术

现如今，越来越多人喜欢使用视频来进行交流，比如：视频聊天、视频会议、在线课堂等等。人体分割技术可以帮助人们对视频中的背景进行更换，从而使视频交流更加生动有趣，也使用户具有更好的沉浸式体验。另外，精确的人体分割对于进一步进行人体行为分析也具有重要意义。然而，现有分割方法主要针对清晰图像，而人们在使用视频进行交流时，经常会使用手势语言，此时，手部运动迅速，进而造成运动模糊。精确的手部分割对于人体分割至关重要，因为人的手势语言是人体最频繁使用的肢体语言。不良的手部分割会大大降低人们在使用背景更换时的真实感，也会严重影响进一步的人体行为分析。

然而，经典的分割方法无法处理运动模糊的前景。若想将图像中运动模糊的前景分离出来，需要使用抠图方法。但是，现有绝大多数针对运动模糊的抠图方法需要与用户交互，并且需要用户具有一定专业操作知识，耗费大量人力处理数据。而基于深度学习的抠图算法中，目前没有针对运动模糊的图像进行抠图的相关算法。若使用通用深度学习抠图算法进行运动模糊图像的抠图则会因缺乏大量的相关训练数据而导致抠图效果较差。

发明内容

为了解决现有技术中的上述问题，即运动模糊手部抠图效果不好以及无法获得大量带标注训练数据的问题，本发明提供了一种手部运动模糊自动抠图方法，包括：

步骤S10，获取运动模糊的手部图像作为输入图像；

步骤S20，基于所述输入图像，通过手部运动模糊自动抠图网络，获取手部抠图alpha结果图；所述手部运动模糊自动抠图网络为基于卷积神经网络构建并训练的用于对手部运动模糊图像自动进行手部抠图的网络；

步骤S30，将获取的手部抠图alpha结果图输出；

其中，所述手部运动模糊自动抠图网络，其训练方法为：

步骤B10，获取手部运动模糊图像集及其对应的真值标注图像集作为训练图像集；

步骤B20，随机选取所述手部运动模糊图像集中一个图像，通过手部运动模糊自动抠图网络，获取运动模糊的手部抠图alpha结果图；

步骤B30，将所述手部抠图alpha结果图与其对应的真值标注图进行对比计算总损失函数值，并采用误差反传的方法更新所述手部运动模糊自动抠图网络的权重；

步骤B40，重复执行步骤B20-步骤B30，直至达到预设的训练结束条件，获得训练好的手部运动模糊自动抠图网络。

在一些优选的实施例中，步骤B10中“手部运动模糊图像集及其对应的真值标注图像集”采用虚拟图像生成方法获得，该方法为：

步骤B101，获取包含手和手臂的图像，生成对应的二值掩膜图；

步骤B102，基于所述二值掩膜图，使用与手部运动旋转关节边缘相切的圆圈标注所述手部运动旋转关节；

步骤B103，以标注手部运动旋转关节的圆圈为中心，将手和手臂相应部位旋转预设的角度N次，获得N幅虚拟手部图像以及N幅虚拟手部图像对应的掩膜图；