[发明专利]一种直播视频的多模态信息的融合方法和装置

摘要

本申请提供了一种直播视频的多模态信息的融合方法和装置，通过对直播视频分别实时进行第一和第二模态信息检测，并将检测到的第一模态信息结果和第二模态信息结果分别写入第一结果序列和第二结果序列，然后根据第一模态信息结果构造融合结果序列的基本单元，一个该基本单元包括一个第一模态信息结果以及模态信息序列。最后以基本单元中的第一模态信息结果为融合基础，并将与第一模态信息结果存在帧交叠的第二模态信息结果写入到融合结果序列的基本单元的模态信息序列中，以实现第一模态信息和第二模态信息的融合。因此，通过该方法将直播视频的多个模态信息的分析结果信息在较短时间内进行统一融合，实现直播视频的内容分析打下了关键基础。

主权项

1.一种直播视频的多模态信息的融合方法，其特征在于，包括：对直播视频分别实时进行第一模态信息检测和第二模态信息检测，并将检测到的第一模态信息结果和第二模态信息结果分别写入第一结果序列和第二结果序列；实时监听第一结果序列，当监听到第一结果序列中存在第一模态信息结果时，根据所述第一模态信息结果构造融合结果序列的基本单元；一个所述基本单元包括一个第一模态信息结果以及模态信息序列，其中，所述基本单元中的模态信息序列的初始值为空；对于所述融合结果序列中的每个基本单元中的第一模态信息结果，分别监听所述第二结果序列中的第二模态信息结果，并分别判断所述第二结果序列中的第二模态信息结果与第一模态信息结果是否存在帧交叠，如果是，将存在帧交叠的第二模态信息结果写入所述基本单元的模态信息序列中。