[发明专利]基于微信小程序的鞋子虚拟试穿方法及装置

权利要求书

1.一种基于微信小程序的鞋子虚拟试穿方法，其特征是，所述方法包括以下步骤：

图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；

加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；

将调整后模型投影至图像中，渲染生成试穿图像。

2.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，图像输入轻量化卷积神经网络的步骤，包括：

实时采集视频数据，将视频数据逐帧转化为图像；

若轻量化卷积神经网络和全连接网络处于空闲状态，则抽取当前帧的图像输入轻量化卷积神经网络；

若轻量化卷积神经网络处于运算状态中，则直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。

3.根据权利要求2所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述图像为RGB格式的二维图像。

4.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，本方法在将调整后模型投影至图像中，渲染生成试穿图像的步骤之后，还包括：将各帧图像对应的试穿图像，在应用中逐帧播放。

5.根据权利要求1或2或3或4所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述全连接网络是使用tensorflow.js创建的拟合pnp算法的全连接神经网络。

6.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，所述调整参数包括旋转参数、平移参数和缩放比例。

7.根据权利要求1所述的基于微信小程序的鞋子虚拟试穿方法，其特征是，将调整后模型投影至图像中，渲染生成试穿图像的步骤，包括：

所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型；

将调整后模型投影至图像中，同时切除鞋体模型此时被虚拟脚踝模型遮挡的部分。

8.一种基于微信小程序的鞋子虚拟试穿装置，其特征是，所述装置包括：

目标识别模块，用于将图像输入轻量化卷积神经网络，识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；

模型调整模块，用于加载试穿鞋子的3D模型，根据所述位姿信息，通过拟合pnp算法的全连接网络计算所述3D模型投影至图像中的预定义目标所需的调整参数，根据所述调整参数将3D模型调整后获得调整后模型；

投影渲染模块，用于将调整后模型投影至图像中，渲染生成试穿图像。

9.根据权利要求8所述的基于微信小程序的鞋子虚拟试穿装置，其特征是，所述目标识别模块，进一步包括：

图像采集单元，用于实时采集视频数据，将视频数据逐帧转化为图像；

轻量化卷积神经网络，用于识别图像中的预定义目标以及预定义目标的位姿信息，所述预定义目标为左右脚；

图像输入单元，用于在轻量化卷积神经网络和全连接网络处于空闲状态时，抽取当前帧的图像输入轻量化卷积神经网络；

或在轻量化卷积神经网络处于运算状态时，将当前帧图像输入投影渲染模块，所述投影渲染模块直接将对应最接近一帧图像的调整后模型投影至当前帧图像中并渲染，生成对应当前帧图像的试穿图像。

10.根据权利要求8所述的基于微信小程序的鞋子虚拟试穿装置，其特征是，所述装置还包括：

播放模块，用于将各帧图像对应的试穿图像，在应用中逐帧播放；

所述试穿鞋子的3D模型包括相互配对的鞋体模型和虚拟脚踝模型，所述投影渲染模块，进一步包括：

遮挡处理单元，用于切除鞋体模型此时被虚拟脚踝模型遮挡的部分。