[发明专利]基于网络推理与电机驱动的表情识别与模拟系统

权利要求书

1.一种基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，包括视觉模块、控制模块、推理模块和驱动模块，所述视觉模块采集人脸信息，并将所述人脸信息传输给所述控制模块，所述控制模块控制所述推理模块对所述人脸信息进行识别，获得对应的微表情特征，所述控制模块根据所述微表情特征控制所述驱动模块进行模拟表情的变换；

所述推理模块为基于U-Net网络的深度学习模型；

所述驱动模块包括设于机器人头部的至少8个控制组，各所述控制组分别控制所述机器人头部的左眉、右眉、左眼、右眼、左嘴角、右嘴角、嘴巴和脖颈。

2.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述视觉模块包括相机，所述控制模块为中央cpu单元。

3.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述机器人头部的左眉、右眉、左嘴角、右嘴角和嘴巴处的所述控制组均由一个舵机控制进行模拟表情的变换，所述机器人头部的左眼和右眼处的所述控制组均由两个舵机控制进行模拟表情的变换，所述机器人头部的脖颈处的所述控制组由三个舵机控制进行模拟表情的变换。

4.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述深度学习模型对所述人脸信息的识别的执行流程依次为：获取人脸全局特征、获取微表情局部特征、获取微表情区域特征和识别人脸微表情特征。

5.根据权利要求1所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述深度学习模型的构建方法，包括以下步骤：

A1：建立人脸表情的标准数据库；

A2：构建深度卷积神经网络模型；

A3：利用所述标准数据库在所述网络模型内进行识别训练，生成的人脸表情识别模型即为所述深度学习模型。

6.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述标准数据库至少包括皱眉、睁眼、闭眼、张嘴、闭嘴、翘嘴角、瘪嘴角、点头、歪头和摇头的表情数据。

7.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述控制模块通过所述深度学习模型对所述人脸信息进行识别，并通过所述驱动模块进行模拟表情的变换，包括以下步骤：

B1：所述深度学习模型将所述人脸信息的图像进行调节处理；

B2：处理后的图像通过所述U-Net网络提取图像特征，生成多尺度的特征图像，即获得不同尺寸的所述特征图像；

B3：所述特征图像通过Keypoint match进行人脸关键点的匹配；

B4：所述特征图像通过Offset calculation进行偏移量计算，并根据所述标准数据库的人脸信息，对所述人脸关键点的信息进行对齐矫正，获得识别后的表情信息；

B5：所述控制模块根据识别后的所述表情信息，向所述驱动模块发出对应的驱动信号，驱动各所述控制组对应进行模拟表情的变换，完成表情模仿。

8.根据权利要求5所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，将识别训练后的所述人脸表情识别模型进行压缩处理，再通过TensorRT加速对所述人脸表情识别模型进行推理加速，获得可使用的所述深度学习模型。

9.根据权利要求8所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，将所述深度学习模型部署在边缘设备上，再将所述边缘设备安装至巡检机器人上，所述巡检机器人快速对所述深度学习模型完成垃圾溢满的检测处理。

10.根据权利要求8所述的基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，所述人脸表情识别模型进行识别训练的步骤如下：

Step1：初始化分类器网络Backbone、多尺度特征提取网络Neck、网络参数w和网络参数b；

Step2：将所述人脸信息的图像输入所述分类器网络Backbone，再传递给所述多尺度特征提取网络Neck进行图像特征的提取，提取所述图像中的人脸表情信息，获得特征图像；

Step3：图像经所述多尺度特征提取网络Neck处理后，将通过下采样与多尺度融合的所述特征图像的数据传入Prediction Head；

Step4：所述Prediction Head对输入的所述特征图像进行通道与空间的计算，获得anchor的位置和置信率作为人脸关键点的信息；

Step5：Offset calculation对所述特征图像进行偏移量计算，并根据所述人脸关键点的信息与所述标准数据库的比对，进行对齐矫正操作；

Step6：将所述Prediction Head和Offset calculation的计算结果进行后期处理，通过NMS非极大值抑制，从得到的预测框中选取置信率最大的作为识别结果，从而获得人脸预测表情结果；

Step7：所述Prediction Head和Offset calculation通过反向传递loss值,利用梯度下降法，计算网络参数w和网络参数b，并利用加权损失值更新网络权重；

Step8：依次重复Step2、Step3、Step4、Step5、Step6和Step7，直至所述loss趋于平稳，不再下降，则生成的所述人脸表情识别模型收敛。