[发明专利]一种基于深度学习的虚拟美甲试戴方法

说明书

本发明涉及一种基于深度学习的虚拟美甲试戴方法，包括：获取包含指甲的单张图片或视频影像，采用深度学习的全卷积神经网络方法，实时分割和追踪指甲区域，并结合用户选定的指甲颜色和图案模板重新着色，实现虚拟美甲试戴的功能。与现有技术相比，本发明采用深度学习和虚拟现实技术，处理拍摄获得的包含有指甲的单张照片或连续视频影像，进行指甲的实时分割和追踪，并结合选定的指甲颜色/花纹等模板实现虚拟试戴美甲的功能。该方法可以通过手机APP的形式，让顾客不受场地和设备的限制，完成美甲试戴和选择，增强顾客的体验感。

技术领域

本发明涉及一种虚拟美甲方法，尤其是涉及一种基于深度学习的虚拟美甲试戴方法。

背景技术

随着生活水平的提高，人们正从物质生活需求更多地转向精神层面需求，美化指(趾)甲正是这方面的一个体现。美甲已经成为一种潮流，是根据个人手形、甲形、肤色、服装色彩和主观感受等，对个人指甲或趾甲(以下都仅以指甲为例来表述)重新着色或装饰，以形成各种标识个性的指甲纹理图案，满足个人对美丽形象的追求。

美甲是一个复杂的过程，包括方案选择，消毒、清洁、护理、保养和修饰美化等。其中，美甲方案的选择确定决定了后续工作的流程，显得尤为重要。为了帮助客户了解产品，掌握其真实需求，行业内一般采用美甲款式图册供顾客挑选，或者让顾客试戴预制的塑料美甲贴。这些方法方便实用，但所提供的款式相当有限，且存在个人使用卫生等问题，同时也不能直观地观察到选定的美甲方案与本人肤色和穿着等的实际匹配效果。

另外一种方式是采用数码美甲机，通过设置的摄像头获取用户指甲的图片，采用指甲分割算法进行指甲区域识别和提取，根据存储的大量美甲方案对指甲区域重新着色，并给顾客显示观看颜色方案切换后的效果。该方法解决了传统美甲方案选择的诸多问题，让顾客可以无限次地尝试不同美甲方案，方便客户挑选适合自己的方案。但这种方法只能在安装有美甲机的场所才能完成，且美甲机提供的照明光源与日常光照不尽相同，用户无法获得自己选择的美甲方案在真实环境中的展示效果。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种不受场地限制、体验感强的基于深度学习的虚拟美甲试戴方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的虚拟美甲试戴方法，包括：获取包含指甲的单张图片或视频影像，采用深度学习的全卷积神经网络方法，实时分割和追踪指甲区域，并结合用户选定的指甲颜色和图案模板重新着色，实现虚拟美甲试戴的功能。

深度全卷积神经网络接受包含有指甲的原始图像作为输入，经过神经网络的处理输出获得指甲区域的分割结果；利用获得的分割区域作为掩模，根据顾客喜欢的着色方案对输入图像的指甲区域进行颜色和纹理的重新填充，实现虚拟戴甲功能。

为了获得用于指甲区域分割的深度全卷积神经网络，首先需要采用大量的原始图像和分割标注结果，训练获得有效的神经网络，并保存该网络系统的结构和权重系数，作为虚拟戴甲系统的一个重要组成部分。为了训练形成可靠的指甲区域分割算法，可以通过下述步骤：

步骤1：收集包含指甲的数字图片，形成原始指甲图片数据库。对图片中的指甲区域进行手工分割标注，得到包含划定指甲/非指甲区域的训练目标图像，并由此形成对应的原始图片的分割目标数据库；

步骤2：对所述收集整理的原始图片数据库和分割目标数据库通过旋转和平移等技术进行扩增，增加训练数据库包含的图像数量；

步骤3：将扩增后的数据库分成训练和校验两组数据，利用训练组图像训练形成网络，利用校验组数据验证网络的运行精度；

步骤4：在深度全卷积神经网络训练完成后，保存该网络系统的权重系数，形成从原始图像直接抽取指甲区域的高效深度学习网络，作为虚拟戴甲系统的一部分，负责从图片中分割获得指甲区域。