[发明专利]应用于视频直播平台的虚拟机器人多模态交互方法和系统

权利要求书

1.一种应用于视频直播平台的虚拟机器人多模态交互方法，其特征在于，所述视频直播平台的应用配置有辅助直播的虚拟机器人，所述虚拟机器人具备多模态交互能力，所述虚拟机器人多模态交互方法包括以下步骤：

信息采集步骤，采集当前特定直播间的直播的舆情信息，所述舆情信息包括：观看的文本反馈信息和摄像头所采集的直播图像信息；

舆情监测步骤，调用文本语义理解能力并生成针对该特定直播间的舆情监测结果，以及对所述直播图像信息进行人脸追踪和/或人体检测，调用视觉语义理解能力，确定当前特定直播间的主播状态；

情景事件响应步骤，判断所述舆情监测结果表征的事件以及特定直播间的主播状态，调用多模态交互能力并通过所述虚拟机器人输出多模态响应数据。

2.根据权利要求1所述的方法，其特征在于，在所述情景事件响应步骤中，进一步，

若判断出所述特定直播间的主播处于离开状态，调用多模态交互能力并通过所述虚拟机器人输出直播表演，直至监测到主播处于直播状态。

3.根据权利要求1所述的方法，其特征在于，在所述舆情监测步骤中，进一步，

对所述文本反馈信息进行情绪解析识别，确定观看视频的用户的情绪反应。

4.根据权利要求3所述的方法，其特征在于，在所述情景事件响应步骤中，进一步，

当所述用户的情绪为负面情绪时，则判断所述舆情监测结果表征的事件为直播偏离事件，调用多模态交互能力通过并所述虚拟机器人向主播输出直播偏离信息。

5.一种应用于视频直播平台的虚拟机器人多模态交互系统，其特征在于，所述虚拟机器人辅助直播且具备多模态交互能力，所述系统包括以下模块：

信息采集模块，其采集当前特定直播间的直播的舆情信息，所述舆情信息包括：观看的文本反馈信息和摄像头所采集的直播图像信息；

舆情监测模块，其调用文本语义理解能力并生成针对该特定直播间的舆情监测结果，以及对所述直播图像信息进行人脸追踪和/或人体检测，调用视觉语义理解能力，确定当前特定直播间的主播状态；

情景事件响应模块，其判断所述舆情监测结果表征的事件以及特定直播间的主播状态，调用多模态交互能力并通过所述虚拟机器人输出多模态响应数据。

6.根据权利要求5所述的虚拟机器人多模态交互系统，其特征在于，所述情景事件响应模块，其进一步，

若判断出所述特定直播间的主播处于离开状态，调用多模态交互能力并通过所述虚拟机器人输出直播表演，直至监测到主播处于直播状态。

7.根据权利要求5所述的虚拟机器人多模态交互系统，其特征在于，在所述舆情监测模块，其进一步对所述文本反馈信息进行情绪解析识别，确定观看视频的用户的情绪反应。

8.根据权利要求7所述的虚拟机器人多模态交互系统，其特征在于，所述情景事件响应模块，其进一步当所述用户的情绪为负面情绪时，则判断所述舆情监测结果表征的事件为直播偏离事件，调用多模态交互能力通过并所述虚拟机器人向主播输出直播偏离信息。