[发明专利]应用于视频直播平台的虚拟机器人多模态交互方法和系统

说明书

本发明公开了一种应用于视频直播平台的虚拟机器人多模态交互方法及系统，所述视频直播平台的应用配置有辅助直播的虚拟机器人，所述虚拟机器人具备多模态交互能力，所述舆情监测方法包括以下步骤：信息采集步骤，采集当前特定直播间的直播的舆情信息，所述舆情信息包括：观看的文本反馈信息；舆情监测步骤，调用文本语义理解能力并生成针对该特定直播间的舆情监测结果；情景事件响应步骤，判断所述舆情监测结果表征的事件，调用多模态交互能力并通过所述虚拟机器人输出多模态响应数据。本发明能够对观众的观看反馈信息进行实时监测和提示，利用虚拟机器人辅助视频直播操作，时刻保持和用户的粘性，改善了用户体验。

技术领域

本发明涉及互联网直播平台技术领域，尤其涉及一种应用于视频直播平台的虚拟机器人多模态交互方法和系统。

背景技术

随着网络直播行业的发展，用户可以通过在网络直播平台上观看、做活动等方式领取虚拟奖品，并将获得的虚拟奖品赠送给自己喜欢的主播，进行互动，从而培养用户的观看习惯和平台粘性。然而现有的网络直播平台的舆情监测技术还不完善，给用户带来的体验感不佳，因此提高直播平台的智能性，是现在急需解决的重要技术问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台的应用配置有辅助直播的虚拟机器人，所述虚拟机器人具备多模态交互能力，所述舆情监测方法包括以下步骤：信息采集步骤，采集当前特定直播间的直播的舆情信息，所述舆情信息包括：观看的文本反馈信息；舆情监测步骤，调用文本语义理解能力并生成针对该特定直播间的舆情监测结果；情景事件响应步骤，判断所述舆情监测结果表征的事件，调用多模态交互能力并通过所述虚拟机器人输出多模态响应数据。

优选地，在所述信息采集步骤中，所述舆情信息还包括：摄像头所采集的直播图像信息。

优选地，在所述舆情监测步骤中，进一步，对所述直播图像信息进行人脸追踪和/或人体检测；调用视觉语义理解能力，确定当前特定直播间的主播状态。

优选地，在所述情景事件响应步骤中，进一步，若判断出所述特定直播间的主播处于离开状态，调用多模态交互能力并通过所述虚拟机器人输出直播表演，直至监测到主播处于直播状态。

优选地，在所述舆情监测步骤中，进一步，对所述文本反馈信息进行情绪解析识别，确定观看视频的用户的情绪反应。

优选地，在所述情景事件响应步骤中，进一步，当所述用户的情绪为负面情绪时，则判断所述舆情监测结果表征的事件为直播偏离事件，调用多模态交互能力通过并所述虚拟机器人向主播输出直播偏离信息。

为了解决上述技术问题，本申请的实施例还提供了一种应用于视频直播平台的虚拟机器人多模态交互系统，所述虚拟机器人辅助直播且具备多模态交互能力，所述系统包括以下模块：信息采集模块，其采集当前特定直播间的直播的舆情信息，所述舆情信息包括：观看的文本反馈信息；舆情监测模块，其调用文本语义理解能力并生成针对该特定直播间的舆情监测结果；情景事件响应模块，其判断所述舆情监测结果表征的事件，调用多模态交互能力并通过所述虚拟机器人输出多模态响应数据。

优选地，所述舆情信息还包括：摄像头所采集的直播图像信息。

优选地，所述舆情监测模块，其进一步对所述直播图像信息进行人脸追踪和/或人体检测；调用视觉语义理解能力，确定当前特定直播间的主播状态。

优选地，所述情景事件响应模块，其进一步，若判断出所述特定直播间的主播处于离开状态，调用多模态交互能力并通过所述虚拟机器人输出直播表演，直至监测到主播处于直播状态。

优选地，所述舆情监测模块，其进一步对所述文本反馈信息进行情绪解析识别，确定观看视频的用户的情绪反应。