[发明专利]一种基于多模态强化学习的人机协同框架

权利要求书

1.一种基于多模态强化学习的人机协同框架，其特征在于，包括多模态强化学习意图理解模块和任务分配模块，所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯，包括以下三个阶段：

（一）用户多模态特征的提取，传感器得到的数据会先经过三个子分类器得到分类结果m₁、m₂、m₃，最终的用户特征s=[m₁,m₂,m₃]；

（二）将提取到的用户特征s分类结果作为状态输入拟合出每一种意图结果下的得分v；

（三）根据优化目标通过公式（1）计算用户意图I，并找到用户意图I所对应的机器人最优操作，再使用NLP技术分析用户的语言反馈，得到用户满意度S_a，将S_a作为奖励的一部分进行迭代学习；

（1）

s_t为t时刻用户的特征，为t时刻最佳意图，为Q_eval神经网络的参数，I表示意图空间；

所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列；

在第（一）阶段中用户多模态特征的提取采用三种传感器来实现用户包括语音、体势和手势三种模态的输入；

在第（三）阶段中，使用snownlp模块对麦克风收集到的语音反馈进行语音情感分析，NLP的结果在0到1之间，设置公式（2）作为奖励函数得出奖励值，

（2）

其中，1表示语音反馈是正面的或未做反馈，0表示语音反馈是负面的；

多模态强化学习意图理解算法为两个具有相同结构的神经网络Q_eval和Q_target，所述神经网络Q_eval和Q_target均有两层全连接层l1和l2组成，其中l1由50个神经元组成；

所述神经网络Q_eval的输入为用户特征即三个子分类器的结果，Q_eval首先使用随机权重对用户特征s进行拟合，得出每一种意图结果下的得分，选取得分最高的用户意图I作为最佳结果进行输出，待用户给出反馈后，根据奖励函数公式（2）得出奖励值R，再根据公式（3）计算得分最高的用户意图I的当前奖励R及预期未来奖励之和,

（3）

公式（3）中，γ为未来奖励的衰减因子，为Q_eval神经网络的参数，为Q_target的参数，为当前奖励，s’为下一次意图理解时的多模态输入；

由于Q_target和Q_eval的更新频率不同，利用时间差分的原理根据损失函数公式（4）使得Q_target和Q_eval两个网络的参数在拟合结果上越来越接近真实值，

（4）

在公式（4）中s为本次意图理解的多模态输入。

2.根据权利要求1所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述的任务分配模块采用自顶向下、逐步细化的动态任务分配方法构建了意图与子任务数据库M1和子任务与动作数据库M2，M1中包含了用户意图I与子任务subtask的对应关系，M2中存储每一个子任务subtask与对应细分动作Motion的对应关系，M1、M2实现了从最终任务逐步细化到所有待完成的动作序列的过程。