[发明专利]面向机器人的多模态情感数据交互方法及装置

权利要求书

1.一种面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：

接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和用户情绪参量；

结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量，以利用所述语音情感参量来改变语音发声特征，所述上下文交互数据来自于前几轮人机对话的结果，其代表了用户当前所处场景的状态；

根据所述文本回复信息及语音情感参量合成语音信息并进行输出，其中，所述语音情感参量包括，

所述文本回复信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量；

结合用户情绪参量来生成当前交互的情绪参量；

基于上下文交互数据来生成对当前用户的情感参量，所述当前用户的情感参量表示机器人与该特定用户的亲疏关系；

通过获取所述文本回复信息的重点词汇生成所述文本回复信息的语义参量，所述语义参量用以调整语音发声时的音调，所述句式参量根据所述当前交互的情绪参量以及当前用户的情感参量进行调整，用以调节语音发声时的语调和机器人说话风格。

2.如权利要求1所述的面向智能机器人的多模态情感交互方法，其特征在于，所述方法包括：

在接收多模态交互输入信息并进行解析的步骤中，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。

3.一种面向智能机器人的多模态情感数据交互装置，其特征在于，所述装置包括：

接收解析单元，其用以接收多模态交互输入信息并进行解析，以获取用户输入的意图参量和情绪参量；

文本回复生成单元，其用以结合所述意图参量和所述情绪参量生成对应于多模态交互输入信息的文本回复信息，并结合所述文本回复信息、上下文交互数据及用户情绪参量生成语音情感参量，以利用所述语音情感参量来改变语音发声特征，所述上下文交互数据来自于前几轮人机对话的结果，其代表了用户当前所处场景的状态；

情感输出合成单元，其用以根据所述文本回复信息及语音情感参量合成语音信息并进行输出，其中，在情感输出合成单元中，所述语音情感参量包括，

所述文本回复信息的语义参量、句式参量、当前交互的情绪参量以及对当前用户的情感参量，在所述装置的文本回复生成单元中，还包括以下单元：

用以结合用户情绪参量来生成当前交互的情绪参量的单元；

用以基于上下文交互数据来生成对当前用户的情感参量的单元，所述当前用户的情感参量表示机器人与该特定用户的亲疏关系；

用以通过获取所述文本回复信息的重点词汇生成所述文本回复信息的语义参量的单元，所述语义参量用以调整语音发声时的音调，所述句式参量根据所述当前交互的情绪参量以及当前用户的情感参量进行调整，用以调节语音发声时的语调和机器人说话风格。

4.如权利要求3所述的面向智能机器人的多模态情感数据交互装置，其特征在于，在所述装置的接收解析单元中，当接收多模态交互输入信息并进行解析时，通过采用情感词典、情感归类、机器学习的情感计算方式来生成用户输入的情绪参量。