[发明专利]一种基于多头注意力目标检测的智能化妆镜系统

权利要求书

1.一种基于多头注意力目标检测的智能化妆镜系统，其特征在于包括：图像采集单元，目标检测单元，控制单元；所述图像采集单元通过外置摄像头，在控制单元的控制下采集用户的人脸图像；所述目标检测单元在控制单元的控制下，对于采集到的人脸图像，利用残差网络进行人脸特征提取，提取到的人脸特征分别输入到基于多头注意力机制的编码神经网络，及生成对抗网络的生成器中；将人脸特征图和人脸图像中的人脸不同区域的编码信息进行哈达玛积,将哈达玛积结果输入到序列嵌入层,将结果输入到多头注意力编码神经网络中；通过不同的全连接层预测出人脸不同部位的预测框,将最终的预测框信息输入到控制单元,控制单元在化妆镜上根据不同的预测框标记人脸的不同部位,并捕获不同部位的妆容信息,传输到云服务器进行妆容效果评定，所述生成器的输入是残差网络最终输出的特征图,输出一幅预测人脸化妆之后的效果图；判别器的输入是生成器输出的化妆效果图,当判别器计算生成器生成的化妆效果图的可信度大于阈值时,输出此化妆效果图到控制单元,控制单元会将化妆效果图显示在化妆镜上,否则,判别器会将此化妆效果图重新输入到生成器中,要求生成器重新生成化妆效果图,直到其生成的化妆效果图可信度大于阈值；通过控制单元的控制，将目标检测单元的结果显示在化妆镜上，呈现给用户；控制单元包含无线通讯模块，语音输入模块，语音输出模块，时钟模块，存储模块，算术逻辑运算模块，微程序转换模块。

2.根据权利要求1所述的一种基于多头注意力目标检测的智能化妆镜系统，其特征在于：所述目标检测单元的残差网络包含3个第一个残差模块，4个第二个残差模块，6个第三个残差模块，3个第四个残差模块，各个残差模块之间进行残差连接；其中第一个残差模块包含一个1*1*64的卷积层，一个3*3*64的卷积层，一个1*1*256的卷积层；第二个残差模块包含一个1*1*128的卷积层，一个3*3*128的卷积层，一个1*1*512的卷积层；第三个残差模块包含一个1*1*256的卷积层，一个3*3*256的卷积层，一个1*1*1024的卷积层；第四个残差模块包含一个1*1*512的卷积层，一个3*3*512的卷积层，一个1*1*2048的卷积层；最终残差网络输出7*7*2048的特征图。

3.根据权利要求1所述的一种基于多头注意力目标检测的智能化妆镜系统，其特征在于：所述目标检测单元的基于多头注意力机制的编码神经网络包含一个序列嵌入层，一个多头注意力层，一个对于多头注意力层的输出进行正则化的网络层，一个前馈神经网络层，一个对于前馈神经网络的输出进行正则化的网络层；基于多头注意力机制的编码神经网络的输入是残差网络最终输出的7*7*2048的特征图，特征图经序列嵌入层转换为49个1*2048的序列型数据输入到多头注意力层，多头注意力层捕获序列数据中的人脸区域特征，经正则化层输入到前馈神经网络中，经正则化后，得到最终的关于人脸区域特征的序列数据。

4.根据权利要求1所述的一种基于多头注意力目标检测的智能化妆镜系统，其特征在于：所述目标检测单元的生成对抗网络包含一个从随机输入数据输出指定类型数据的生成器，一个根据真实数据对生成器的输出数据进行判定的判别器；所述生成器的输入是残差网络最终输出的7*7*2048特征图，输出一幅预测人脸化妆之后的效果图；所述判别器的输入是生成器输出的化妆效果图，当判别器计算生成器生成的化妆效果图的可信度大于阈值时，输出此化妆效果图到控制单元，控制单元会将化妆效果图显示在化妆镜上，否则，判别器会将此化妆效果图重新输入到生成器中，要求生成器重新生成化妆效果图，直到其生成的化妆效果图可信度大于阈值。

5.根据权利要求1所述的一种基于多头注意力目标检测的智能化妆镜系统，其特征在于：所述控制单元包含的无线通讯模块用于建立控制单元和云端服务器，移动终端，移动网络间的连接，实现控制单元和相应部分的数据交互和控制交互。

6.根据权利要求1所述的一种基于多头注意力目标检测的智能化妆镜系统，其特征在于：所述控制单元包含的语音输入模块接收用户的语音控制命令，完成相应命令的执行和响应。