[发明专利]一种直播视频的多模态信息的融合方法和装置

说明书

本申请提供了一种直播视频的多模态信息的融合方法和装置，通过对直播视频分别实时进行第一和第二模态信息检测，并将检测到的第一模态信息结果和第二模态信息结果分别写入第一结果序列和第二结果序列，然后根据第一模态信息结果构造融合结果序列的基本单元，一个该基本单元包括一个第一模态信息结果以及模态信息序列。最后以基本单元中的第一模态信息结果为融合基础，并将与第一模态信息结果存在帧交叠的第二模态信息结果写入到融合结果序列的基本单元的模态信息序列中，以实现第一模态信息和第二模态信息的融合。因此，通过该方法将直播视频的多个模态信息的分析结果信息在较短时间内进行统一融合，实现直播视频的内容分析打下了关键基础。

技术领域

本申请涉及多媒体数据处理技术领域，尤其涉及一种直播视频的多模态信息的融合方法和装置。

背景技术

新闻视频中蕴含着大量的最新资讯信息，对于视频网站和新闻类的应用来说有着重要的价值。视频网站或者新闻类的应用需要对每日播出的整条新闻进行拆分、上线，供用户对于其中感兴趣的每条新闻进行点击观看。

由于全国的电视台数量众多，除卫视台外还存在各类地方台，如果需要对所有的新闻进行分割的话，需要耗费大量的人力进行切分。同时由于新闻的时效性，对于新闻视频的分割速度要求也是十分严格的，所以给人工分割带来更大的压力，新闻都是在某个时间(如中午12点)大量播出，为了保证时效性，需要在规定的时间内尽快将整个的新闻节目切割成独立新闻条目，而不能采用积压任务后期处理的方式进行生产。因此，一种自动的新闻视频拆分技术就成为解决这一问题的关键。

为了实现新闻视频的自动拆分，需要对视频内容进行分析，以找到新闻条目的拆分点。而视频内容的分析一般要结合多个模态信息对视频内容进行分析，例如结合视频中的音频信息和新闻视频中的标题信息对视频内容进行分析。

一般情况下，结合多个模态信息对视频内容进行分析时需要对于视频不同的模态利用不同的算法分别进行处理，得到各个模态信息的结果序列，然后通过对各个模态信息的结果序列的综合分析，得到视频的最终分析结果。这类方法适用于已经获得了完整视频的离线分析方式，该离线分析方式针对获得的完整视频，通过调用不同分析方法或是分析服务得到独立的分析结果，然后对于各个独立的分析结果进行综合分析得到最终的结果。这种分析方式对视频的处理时间要求不是很严格，每种模态信息的分析结果之间反馈的逻辑关联性也并不是很强。

反观对于直播视频进行分析不能采用此种离线分析方式进行分析，这是因为在分析直播视频时不能获得完整视频，视频是一帧一帧分发过来，需要对于每一帧进行实时分析，同时需要快速分析出来对应的结果以供后续算法使用。另一方面，视频分析技术种类较多，不同类型的结果需要相互进行融合才能进行最终的分析。如何将这些不同结果信息在较短时间内进行统一的融合，是实现直播视频的视频内容分析的关键。

发明内容

有鉴于此，本申请实施例提供了一种直播视频的多模态信息的融合方法和装置，以将直播视频的多个模态信息的分析结果信息在较短时间内进行统一融合。

为了达到上述发明目的，本申请采用了如下技术方案：

一种直播视频的多模态信息的融合方法，包括：

对直播视频分别实时进行第一模态信息检测和第二模态信息检测，并将检测到的第一模态信息结果和第二模态信息结果分别写入第一结果序列和第二结果序列；

实时监听第一结果序列，当监听到第一结果序列中存在第一模态信息结果时，根据所述第一模态信息结果构造融合结果序列的基本单元；一个所述基本单元包括一个第一模态信息结果以及模态信息序列，其中，所述基本单元中的模态信息序列的初始值为空；

对于所述融合结果序列中的每个基本单元中的第一模态信息结果，分别监听所述第二结果序列中的第二模态信息结果，并分别判断所述第二结果序列中的第二模态信息结果与第一模态信息结果是否存在帧交叠，如果是，将存在帧交叠的第二模态信息结果写入所述基本单元的模态信息序列中。