[发明专利]在会话中提供多媒体文档的摘要

说明书

本公开内容提出了用于在会话中提供多媒体文档的摘要的方法和装置。在一些实现中，可以在会话中从用户接收消息，该会话在用户和电子会话代理之间。可以至少基于该消息来获得该多媒体文档。可以提取多媒体文档中的情绪信息。可以至少基于该消息和所提取的情绪信息来生成多媒体文档的摘要。可以将包括所生成的多媒体文档的摘要的响应提供给用户。

背景技术

人工智能(AI)聊天机器人变得越来越流行，并且正在越来越多的场景中得到应用。聊天机器人被设计用于模拟人类的对话，并且可以通过文本、语音、图像等与用户聊天。通常，聊天机器人可以扫描用户输入的消息中的关键词，或者对该消息应用自然语言处理，并向用户提供匹配最多的关键词或者最相似的措辞模式的响应。

发明内容

提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

本公开内容的实施例提出了用于在会话中提供多媒体文档的摘要的方法和装置。在一些实现中，可以在会话中从用户接收消息，该会话在用户和电子会话代理之间。可以至少基于该消息来获得该多媒体文档。可以提取多媒体文档中的情绪信息。可以至少基于该消息和所提取的情绪信息，来生成多媒体文档的摘要。可以将包括所生成的多媒体文档的摘要的响应提供给用户。

应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以其中使用各个方面的原理的多种方式，并且本公开内容旨在包括所有这些方面和其等同变换。

附图说明

以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。

图1示出了根据实施例的聊天机器人的示例性应用场景。

图2示出了根据实施例的示例性聊天机器人系统。

图3示出了根据实施例的示例性用户界面。

图4A-图4D示出了根据实施例的示例性聊天窗口。

图5示出了根据实施例的示例性基于概念的知识图(CKG)。

图6示出了根据实施例的示例性依赖关系解析。

图7示出了根据实施例的示例性情绪轮。

图8根据实施例，示出了用于获得训练数据集以进行情绪分析的示例性过程。

图9根据实施例，示出了用于文本到情绪分类器的示例性神经网络结构。

图10根据实施例，示出了用于将对话会话中的话题的生命周期进行分类的示例性结构。

图11A示出了根据实施例的示例性神经网络语言模型。

图11B示出了根据实施例的示例性基于注意的编码器。

图12根据实施例，示出了用于图像编码的示例性残余学习块。

图13根据实施例，示出了用于图像到情绪分类器的示例性神经网络结构。

图14根据实施例，示出了用于对图像的感兴趣区域(ROI)执行情绪分析的示例性过程。

图15根据实施例，示出了用于从图像中生成文本的示例性神经网络。

图16根据实施例，示出了用于语音到情绪分类器的示例性神经网络结构。

图17根据实施例，示出了用于生成语音摘要的示例性过程。

图18根据实施例，示出了用于视频到情绪分类的示例性过程。

图19根据实施例，示出了一种示例性聊天窗口。