[发明专利]基于深度强化学习的仿人机器人面部表情模仿方法

说明书

本发明公开了一种基于深度强化学习的仿人机器人面部表情模仿方法，包括：步骤1，获取待模仿目标人脸面部图片，由仿人机器人实体运行的深度强化学习算法对面部图片进行面部动作单元向量预测，得出对应的面部动作单元向量和电机动作向量；步骤2，将电机动作向量作用于实体的仿人机器人，并捕获仿人机器人的对应面部表情；步骤3，将对应面部表情作为初始状态，由运行于仿人机器人的深度强化学习算法根据该初始状态，控制仿人机器人的面部动作对目标人脸面部表情进行模仿，直至仿人机器人完成对目标人脸面部的表情模仿。该方法减少了在仿人机器人实体上训练出次数，避免影响仿人机器人硬件的寿命，而且能保证对目标人脸表情的准确模仿。

技术领域

本发明涉及机器人面部表情模仿领域，尤其涉及一种基于深度强化学习的仿人机器人面部表情模仿方法。

背景技术

在人类面对面的交流中，有超过55％以上的信息是通过面部进行传递的。由于仿人机器人具有类人的面容，在进行人机交互时，仿人机器人面部表情同样占据着非常重要的作用，如表达情感等。为了能够使仿人机器人产生人类可识别的面部表情，一个研究内容就是让仿人机器人能够模仿人类的面部表情，并通过头部刚性运动结构与面部柔性材料的联动作用呈现出来。

目前仿人机器人面部表情的模拟方法，有人工预设的方法、特征点映射的方法和端到端网络训练的方法等几种。其中，人工预设的方法由于需要事先编排一系列与仿人机器人刚性运动结构紧密相关的“高兴”、“悲伤”等基本表情所对应的电机动作向量，存在仿人机器人能够模仿的表情数量有限且固定，且人脸要呈现的面部表情类别也必须在实现编排好的表情类别范围内，在很大程度上限制了仿人机器人表情模仿的能力的缺点。特征点映射的方法尽管利用动作捕捉系统实现了仿人机器人面部表情的实时模仿，但是此类方法需要在人以及仿人机器人面部粘贴标记点，从而实现两者面部对应特征点位置变化的线性映射关系，或者进而利用机器学习方法学习到面部特征点与电机值之间的映射关系，但机器学习方法需要在仿人机器人的实体上进行训练方才能得到该映射关系，然而在真实人机交互过程中在仿人机器人面部粘贴特殊标记点是不切实际的，因此该方法在实际应用场景中使用的便利性较差。端到端网络训练的方法通过人工编排与仿人机器人实体相关的大量真实样本数据集并构建网络模型，在此基础上实现端到端的训练。从而得到面部动作单元或人脸特征点与电机值之间的映射关系。与人工预设和特征点映射的方法相比，端到端网络训练的方法能够提升仿人机器人面部表情模仿生成的丰富度，但是该方法需要人工编排大量的与仿人机器人相关的真实样本数据集并且整个训练过程也都将在机器人实体上执行，面对新的仿人机器人时必须重新编排，而且还要再次通过机器学习的方法构建模型进行端到端的训练，由于硬件与软件系统不同，会受到多重因素影响，存在使用寿命的限制，这种将整个训练过程作用于机器人实体训练的方式，会对硬件产生不可逆的磨损，甚至是损坏。并且仿人机器人用于驱动刚性运动结构的电机输出值为连续值，若将每个电机的输出值进行离散化处理，那么人工可编排的电机动作向量数量将呈指数化增加(如，有N个电机，每个电机转动范围离散化为M个，此时可编排的电机动作向量数量为：M^N个)，而且还需要考虑所编排的电机动作向量是否能够产生对应的真实面部表情，也造成编排数据集的大量时间消耗。

因此，如何提供一种避免人工编排，也减少在仿人机器人实体上训练次数，减少其硬件寿命消耗的仿人机器人面部表情模仿方法是需要解决的问题。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种基于深度强化学习的仿人机器人面部表情模仿方法，能解决现有仿人机器人模拟面部表情的端到端网络训练方法，所存在的需要人工编排数据集，耗时长以及在仿人机器人实体上训练次数多，造成硬件寿命消耗的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种基于深度强化学习的仿人机器人面部表情模仿方法，包括：