[发明专利]一种眼镜试戴系统

权利要求书

1.一种眼镜试戴系统，包括：面部眼镜识别模块、判断模块、眼镜摘除模块和眼镜佩戴模块，其中所述面部眼镜识别模块用于：接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频以及为用户提供眼镜模型供用户选择并获取指定眼镜模型；所述判断模块用于判断视频中的面部是否已经佩戴了眼镜；所述眼镜摘除模块用于当所述判断模块判断出面部已经佩戴了眼镜，则先为视频中的面部摘除原有眼镜再佩戴指定眼镜再调用所述眼镜佩戴模块；所述眼镜佩戴模块用于当所述判断模块判断出面部未佩戴眼镜，则为视频中的面部佩戴指定眼镜并输出佩戴了指定眼镜的面部视频；

所述眼镜摘除模块是基于变分编码器的循环模式下的生成对抗网络实现的，构建所述生成对抗网络的过程包括：首先，采集用户面部图像作为输入图像集，包括第一输入图像集---佩戴眼镜的输入图像集和第二输入图像集---未佩戴眼镜的输入图像集，此两种输入图像集的区别在于面部是否佩戴眼镜，其中所述第一输入图像集包含佩戴眼镜的面部不同方位的用户面部图像，所述第二输入图像集包含未佩戴眼镜的面部不同方位的用户面部图像，并且所述第一输入图像集和第二输入图像集之间可以是配对关系也可以是非配对关系；其次，建立一种基于变分编码器的循环模式下的生成对抗网络，其中所述生成对抗网络是基于传统GAN网络的G生成器、F生成器与D判别器的结构，在所述D判别器的基础上加入局部判别器并且在输出结果处添加了损失函数，所述局部判别器用于增强在生成的图像集中眼部区域的判别能力，所述损失函数包括改进损失函数和严格损失函数，用于防止所述生成器和所述判别器之间的过度拟合，且其中所述生成对抗网络包括上下两个镜像对称的神经网络：一种网络的输入图像集为所述第一输入图像集，另一种网络的输入图像集为所述第二输入图像集；然后，根据所述输入图像集对所述生成对抗网络进行训练以便得到眼镜摘除模型。

2.根据权利要求1的眼镜试戴系统，其中所述面部眼镜识别模块是基于二分类模式下的卷积神经网络实现的，并且构建所述卷积神经网络的过程包括：首先，采集用户面部图像，所述用户面部图像包括输入图像集和输出结果集，所述输入图像集包含佩戴眼镜的和未佩戴眼镜的面部不同方位的配对的或非配对的用户面部图像，所述输出结果集包含与所述输入图像集一一对应的分类标签-包括“戴眼镜”和“未佩戴眼镜”两类；其次，建立二分类模式下的卷积神经网络，其中所述卷积神经网络采用双层卷积神经网络结构，包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层及输出层，所述池化层夹在连续的卷积层中间并且用于压缩图像；然后，根据所述采集的输入图像集和输出结果集训练并得到所述双层卷积神经网络。

3.根据权利要求1的眼镜试戴系统，其中所述眼镜佩戴模块的实现过程包括：第一步，输入未佩戴眼镜的面部图像、标定面部特征点及估计面部的初始姿态得到位态参数信息；第二步，载入眼镜的3D模型并返回所述3D模型载入后的坐标信息、将载入的眼镜的3D模型调整到与所述面部的位态参数信息相匹配的旋转角度之后再将所述眼镜的3D模型映射到2D图像中；第三步，将生成的2D眼镜图像添加至输入的2D面部图像中以实现面部的眼镜佩戴效果。

4.根据权利要求3的眼镜试戴系统，其中所述的面部特征点包括3个标准点，所述3个标准点是通过dlib算法对用户输入的视频流进行面部检测得到相关特征点再通过标定得出的，其中所述3个标准点的分别位于左脸最外部-对应dlib标注0、鼻根-对应dilb标注27、右脸最外部-对应dlib标注16；所述面部的位态参数包括旋转向量和平移向量，其中所述旋转向量表示面部相对于初始坐标轴旋转的程度，所述旋转向量表示面部位置坐标相对于初始坐标轴原点的位置变换。

5.根据权利要求3的眼镜试戴系统，其中所述的将生成的2D眼镜图像添加至输入的2D面部图像中时，首先经由所述3个标准点标定后获得所述面部图像中眼镜应佩戴的位置，再在对应位置上将所述2D眼镜图像添加至输入的2D面部图像中。