[发明专利]基于网络推理与电机驱动的表情识别与模拟系统

说明书

本发明提出基于网络推理与电机驱动的表情识别与模拟系统，包括视觉模块、控制模块、推理模块和驱动模块，视觉模块采集人脸信息，并将人脸信息传输给控制模块，控制模块控制推理模块对人脸信息进行识别，获得对应的微表情特征，控制模块根据微表情特征控制驱动模块进行模拟表情的变换；推理模块为基于U‑Net网络的深度学习模型；驱动模块包括设于机器人头部的至少8个控制组。在本申请中,通过表情识别与模拟系统使机器人赋予人的动态特征，让机器人跟人交流更加自然，交流体验更好。基于U‑Net网络的构建深度学习模型，并不依赖于传统的传感器，图像处理等方法，在利用构建的深度学习模型进行人脸表情模仿的情况下，能极大的减少了对硬件系统的依赖。

技术领域

本发明涉及智能仿生机器人基础研究领域，尤其涉及一种基于网络推理与电机驱动的表情识别与模拟系统。

背景技术

随着人口老龄化趋势的加剧和工业机器人技术的日趋成熟与完善，机器人开始逐步走入医疗、保健、家庭、体育和服务性行业，对机器人的要求也从简单重复的机械动作提升为研制具有高度智能型、自主性以及与其他智能体交互的仿人机器人。表情机器人就是典型的仿人机器人，它具有和人类相似的头部特征，可以模仿人类的表情，为人和机器人的深入研究提供了一个平台。

不同于传统的机器人，人们希望表情机器人具有真实的情感，能同人类进行自然的交流。这就要求表情机器人具有识别并理解人类情感，并对自身情感进行表达的能力。人类之间进行交流时，情感的表达主要通过语言，声音和面部表情这三种方式，而大多数的情感信息都由面部表情传达。因此，对人类面部表情的识别，是机器人理解人类感情的重要防守。在识别并理解了人类的感情后，机器人也需要通过控制表情对自身的情感进行表达。人脸表情识别的研究，可以赋予机器人识别情感的能力，对表情机器人头部运动的研究，可以赋予机器人表达情感的能力。具有上述两种能力的机器人，即可像人类一样同他人进行交流，才能在情感层面上实现真正的仿人。

现有技术中对于人脸微表情的识别，都是基于‘设计的局部规则区域’提取人脸局部特征。或者直接使用‘人脸的全局特征’进行识别人脸微表情，没有考虑到人脸微表情之间由于肌肉的运动会产生‘强相关’或者‘负相关’关系，同时，也没有考虑每个人脸微表情的激活区域是不规则的区域、并且可能是非连续区域等情况。此外，现有的人脸模型部署在硬件上时，由于受硬件算力限制，存在实时性等问题。

发明内容

本发明的目的是为了提供一种基于网络推理与电机驱动的表情识别与模拟系统，能基于U-Net的深度学习模型对人脸各部位的局部特征进行提取识别。

为了实现上述目的，本发明提出一种基于网络推理与电机驱动的表情识别与模拟系统，包括视觉模块、控制模块、推理模块和驱动模块，所述视觉模块采集人脸信息，并将所述人脸信息传输给所述控制模块，所述控制模块控制所述推理模块对所述人脸信息进行识别，获得对应的微表情特征，所述控制模块根据所述微表情特征控制所述驱动模块进行模拟表情的变换；

所述推理模块为基于U-Net网络的深度学习模型；

所述驱动模块包括设于机器人头部的至少8个控制组，各所述控制组分别控制所述机器人头部的左眉、右眉、左眼、右眼、左嘴角、右嘴角、嘴巴和脖颈。

进一步地，所述视觉模块包括相机，所述控制模块为中央cpu单元。

进一步地，所述机器人头部的左眉、右眉、左嘴角、右嘴角和嘴巴处的所述控制组均由一个舵机控制进行模拟表情的变换，所述机器人头部的左眼和右眼处的所述控制组均由两个舵机控制进行模拟表情的变换，所述机器人头部的脖颈处的所述控制组由三个舵机控制进行模拟表情的变换。

进一步地，所述深度学习模型对所述人脸信息的识别的执行流程依次为：获取人脸全局特征、获取微表情局部特征、获取微表情区域特征和识别人脸微表情特征。

进一步地，所述深度学习模型的构建方法，包括以下步骤：

A1：建立人脸表情的标准数据库；