[发明专利]多模态虚拟机器人的内容生成的方法和系统

说明书

本发明提供一种多模态虚拟机器人的内容生成的方法，方法包括以下步骤：进入生成日记内容模式，并以多模态形式输出内容引导数据；内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；通过调用机器人能力接口，对应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；对日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出日记内容。本发明采用的多模态虚拟机器人的内容生成方法生成的日记的内容更加生动，更加丰富也更加有趣。另外，本发明具备内容引导功能以及自动生成日记内容的功能，因此使得没有自主创造日记能力的用户具备了创造生动日记的能力。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种多模态虚拟机器人的内容生成的方法和系统。

背景技术

小学生或者初高中生，有通过写日记来表达、记录内心故事的需求和习惯。目前在人工智能技术结合日记写作的各种方案中，大多数只是简单地通过语音交互来进入/退出日记功能，而日记内容本身，全靠用户自己的语音输入。

所以，目前急需一种能够利用多模态交互(含语音问答交互)的方式，帮助用户方便的创造生动有趣的日记内容的多模态虚拟机器人的内容生成方法和系统。

发明内容

为解决上述问题，本发明提供了一种多模态虚拟机器人的内容生成的方法，所述方法包括以下步骤：

进入生成日记内容模式，并以多模态形式输出内容引导数据；

所述内容引导数据通过一轮或多轮输出，并接收用户针对各引导数据所提供的应答数据；

通过调用机器人能力接口，对所述应答数据进行语义理解和多模态解析，并对某轮引导数据的应答数据进行筛选以获得较优日记素材；

对所述日记素材按照日记逻辑融合生成日记内容，并以单模态和/或多模态形式输出所述日记内容。

根据本发明的一个实施例，所述应答数据包括以下一种或几种的组合：

应答音频；

或，应答文本；

或，图片文件；以及

或，视频文件。

根据本发明的一个实施例，所述内容引导数据通过一轮或多轮输出，包括：

所述多轮对话模式中，所述方法还包括以下步骤：

调用云端问题库从中获取所述提问引导数据并进行输出，其中各个提问引导数据与一个交互话题相关联或者与所述一个交互话题相关的多个子话题相关联；

基于针对某轮应答数据的文本语义进行筛选，在应答数据的语义结果不佳时，更新引导下一轮引导数据的话题选择。

根据本发明的一个实施例，多模态虚拟机器人的内容生成的方法还包括：

获取与日记关联的数据，作为所述日记素材，包括：

实时记录用户音频数据；

或，捕捉用户在场所中的图像；

或，检测用户存储至相册中的图片。

根据本发明的一个实施例，所述调用请求包含：

当前用户发送的本地调用请求；和/或

通过网络发送的远程调用请求。

根据本发明的一个实施例，以单模态和/或多模态形式输出所述日记内容包括：

本地输出所述日记内容数据；和/或

通过互联网分发给其他用户。