[发明专利]纪要生成方法、装置及电子设备

说明书

本申请提供了一种纪要生成方法、装置及电子设备，在电子设备输出多媒体文件的过程中，检测到当前输出的多媒体文件满足纪要生成条件，将获得该多媒体文件的内容图像(如截图)和音频文本信息，再对内容图像和音频文本信息进行图文匹配处理，得到图文匹配结果，从而基于该图文匹配结果，生成该多媒体文件的图文纪要，不仅丰富了纪要内容，且经过图文匹配处理，能够过滤冗余信息，也无需生成不满足纪要生成条件的多媒体文件的纪要，进一步减少纪要内容中的冗余信息，降低对计算和存储等资源消耗，也便于后续从图文纪要中快速且精准查看所需信息，提高用户体验。

技术领域

本申请主要涉及计算机技术领域，更具体地说是涉及一种纪要生成方法、装置及电子设备。

背景技术

随着互联网通信技术的发展，以会议、论坛等不同形式的多方交互场景的应用越来越普遍，这给位于不同地理区域的参与者提供了在线交流的便利。

其中，在多方交互过程中，可以采用视频记录、语音转写、交互内容共享等方式，获得多方交互内容的内容纪要，以便后续据此对本次多方交互内容进行回顾和复盘。

发明内容

有鉴于此，本申请提供了一种纪要生成方法，所述方法包括：

输出多媒体文件；

检测到所述多媒体文件满足纪要生成条件，获得所述多媒体文件的内容图像和音频文本信息；

对所述内容图像和所述音频文本信息进行图文匹配处理，得到图文匹配结果；

基于所述图文匹配结果，生成所述多媒体文件的图文纪要。

可选的，所述获得所述多媒体文件的内容图像和音频文本信息，包括：

响应针对所述多媒体文件的截图指令，得到针对所述多媒体文件的当前输出内容的内容图像；

提取所述多媒体文件内容对应的音频数据；

对所述音频数据进行文本转换处理，得到文本信息；

提取所述文本信息的文本摘要，构成所述多媒体文件的音频文本信息。

可选的，所述对所述内容图像和所述音频文本信息进行图文匹配处理，得到图文匹配结果，包括：

确定所述内容图像包含的至少一个待识别对象的对象信息；

按照所述待识别对象的对象类型对应的图文匹配方式，对所述对象信息与所述音频文本信息进行图文匹配处理，得到相应的所述待识别对象的图片匹配结果。

可选的，所述对所述内容图像和所述音频文本信息进行图文匹配处理，得到图文匹配结果，包括：

对所述内容图像包含的文本对象进行关键词提取，得到所述内容图像的文本关键词；

获取所述文本关键词与所述音频文本信息之间的语义重合度；

和/或，

对所述内容图像包含的图片对象进行分析，生成所述图片对象的图片描述性文本；

获取所述图片描述性文本与所述音频文本信息之间的文本关联度；

和/或，

确定所述内容图像包含的图表对象的图表信息，将所述图表信息与所述音频文本信息进行匹配分析，获得所述音频文本信息中的图表解释性文本。

可选的，所述基于所述图文匹配结果，生成所述多媒体文件的图文纪要，包括：

确定所述图文匹配结果满足纪要配图条件，依据所述内容图像，获得所述多媒体文件的纪要配图；

利用所述图片匹配结果，对所述音频文本信息进行处理，得到所述多媒体文件的纪要文本；