[发明专利]虚拟图像的生成方法和装置

说明书

本公开涉及一种虚拟图像的生成方法和装置，涉及计算机技术领域。该方法包括：获取包含腿部和脚部的待处理图像中的腿部区域；根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像；根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分；根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。

技术领域

本公开涉及计算机技术领域，特别涉及一种虚拟图像的生成方法、虚拟图像的生成装置和非易失性计算机可读存储介质。

背景技术

随着VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)技术的进步，通过虚拟试穿方式形成导购转化的功能越来越受到大众欢迎。通过AR增强现实技术与智能手机相机的结合实现的虚拟试鞋技术，可以帮助用户看到鞋款穿在自己脚上的效果。

为了实现人脚穿鞋视觉效果，虚拟试鞋技术需对三维鞋模型进行虚拟遮挡，以替换人脚的真实鞋子。

在相关技术中，在三维鞋模型的鞋口区域外建模一条虚拟的腿部模型，将虚拟的腿部模型和三维鞋模型渲染到屏幕上以生成人脚穿鞋的虚拟图像。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：仅通过近似建模生成人脚穿鞋的虚拟图像，缺乏真实的三维构造信息，导致生成虚拟图像的效果差。

鉴于此，本公开提出了一种虚拟图像的生成技术方案，能够利用真实的腿部图像与三维鞋模型合成虚拟图像，提高虚拟图像的效果。

根据本公开的一些实施例，提供了一种虚拟图像的生成方法，包括：获取包含腿部和脚部的待处理图像中的腿部区域；根据待处理图像中脚部的姿态参数和相机的内部参数，将三维鞋模型渲染为与待处理图像对应的二维鞋图像；根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分；根据被腿部遮挡的部分，渲染待处理图像和二维鞋图像的合成图像，生成具有腿部遮挡效果的虚拟图像。

在一些实施例中，根据腿部区域与二维鞋图像中鞋区域的重叠部分，确定鞋区域中被腿部遮挡的部分包括：根据二维鞋图像中鞋体区域的位置确定鞋的外轮廓，根据二维图像中鞋口区域的位置确定鞋的内轮廓；根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分。

在一些实施例中，根据腿部区域的轮廓与外轮廓的交点和内轮廓，确定鞋区域中被腿部遮挡的部分包括：在内轮廓上，确定与交点距离最近的点；根据交点、距离最近的点，确定鞋区域中被腿部遮挡的部分。

在一些实施例中，将三维鞋模型渲染为与待处理图像对应的二维鞋图像包括：对三维鞋模型中的鞋口区域进行透明化处理；将透明化处理后的三维鞋模型，渲染为二维鞋图像；根据二维鞋图像的二值图像，确定鞋体区域和鞋口区域。

在一些实施例中，对三维鞋模型中的鞋口区域进行透明化处理包括：检测三维鞋模型的鞋口区域，并利用封闭网格覆盖鞋口区域；对封闭网格覆盖部分进行透明化处理。

在一些实施例中，获取包含腿部和脚部的待处理图像中的腿部区域包括：将待处理图像输入机器学习模型，确定待处理图像中的腿部区域。

在一些实施例中，机器学习模型包括依次连接的卷积神经网络模块和空间金字塔池化模块。

在一些实施例中，卷积神经网络模块根据Fast-SCNN(Fast SegmentationConvolutional Neural Network，快速分割卷积神经网络)模型设置。

在一些实施例中，待处理图像为视频中的各帧图像；生成方法还包括：根据生成的各帧图像对应的虚拟图像，生成具有腿部遮效果的视频。