[发明专利]在会话中提供多媒体文档的摘要

权利要求书

1.一种用于在会话中提供多媒体文档的摘要的方法，包括：

在所述会话中从用户接收消息，其中所述会话在所述用户和电子会话代理之间；

至少基于所述消息来获得所述多媒体文档；

提取所述多媒体文档中的情绪信息；

至少基于所述消息和所提取的情绪信息，生成所述多媒体文档的所述摘要，其中所述摘要包括所述多媒体文档中的重要信息或感兴趣的信息；以及

将包括所生成的多媒体文档的摘要的响应提供给所述用户。

2.根据权利要求1所述的方法，其中，生成所述摘要还基于所述多媒体文档的上下文信息，其中所述上下文信息是从用户日志和知识图中的至少一个获得的。

3.根据权利要求1所述的方法，其中，所述多媒体文档包括与所述会话相关联的文本文档，所述文本文档包括所述会话中的多个话题，每个话题附加有指示所述话题的当前状态的生命周期标志。

4.根据权利要求3所述的方法，其中，至少基于针对所述会话中的每个话题的情绪信息的改变，确定针对所述话题的所述生命周期标志。

5.根据权利要求1所述的方法，其中，所述多媒体文档包括图像文档，以及其中，生成所述图像文档的所述摘要还包括：

识别所述图像文档中的至少一个感兴趣区域(RoI)；

确定每个RoI的情绪信息；

根据所述消息来确定用户意图；以及

至少基于每个RoI的所述情绪信息和所述用户意图，生成所述图像文档的所述摘要。

6.根据权利要求5所述的方法，其中，生成所述图像文档的所述摘要还基于每个RoI的事实信息。

7.根据权利要求1所述的方法，其中，所述多媒体文档包括语音文档，生成所述语音文档的所述摘要还包括：

识别所述语音文档中的至少一个语音片段；

确定每个语音片段的情绪信息；

根据所述消息来确定用户意图；以及

至少基于每个语音片段的所述情绪信息和所述用户意图，生成所述语音文档的所述摘要。

8.根据权利要求7所述的方法，其中，生成所述语音文档的所述摘要还基于每个语音片段的事实信息。

9.根据权利要求1所述的方法，其中，所述多媒体文档包括视频文档，生成所述视频文档的所述摘要还包括：

识别所述视频文档中的至少一个视频剪辑；

确定每个视频剪辑的情绪信息；

根据所述消息来确定用户意图；以及

至少基于每个视频剪辑的所述情绪信息和所述用户意图，生成所述视频文档的所述摘要。

10.根据权利要求9所述的方法，其中，每个视频剪辑包括图像部分和语音部分中的至少一个，其中确定每个视频剪辑的情绪信息还包括：确定所述视频剪辑中的所述图像部分和所述语音部分中的至少一个的情绪信息。

11.根据权利要求10所述的方法，其中，确定所述视频剪辑中的所述图像部分的所述情绪信息还包括：识别所述图像部分中的至少一个感兴趣区域(RoI)，确定每个RoI的情绪信息，以及通过组合所述图像部分中的每个RoI的所述情绪信息来获得所述图像部分的所述情绪信息，以及

其中，确定所述视频剪辑中的所述语音部分的所述情绪信息还包括：识别所述语音部分中的至少一个语音片段，确定每个语音片段的情绪信息，以及通过组合所述语音部分中的每个语音片段的所述情绪信息来获得所述语音部分的所述情绪信息。

12.根据权利要求10所述的方法，还包括：

至少基于所述用户意图、所述视频文档中的至少一个对象的当前状态以及当前视频剪辑的图像部分中的感兴趣区域(RoI)之间的关系，预测所述至少一个对象的下一个状态。