[发明专利]一种直播视频的多模态信息的融合方法和装置

权利要求书

1.一种直播视频的多模态信息的融合方法，其特征在于，包括：

对直播视频分别实时进行第一模态信息检测和第二模态信息检测，并将检测到的第一模态信息结果和第二模态信息结果分别写入第一结果序列和第二结果序列；其中，所述第二模态信息包括第一子模态信息、第二子模态信息和第三子模态信息，所述第一子模态信息为在时间上连续的信息，所述第二子模态信息为在时间上不连续的信息，所述第三子模态信息为通过网络服务才能获得的信息；

实时监听第一结果序列，当监听到第一结果序列中存在第一模态信息结果时，根据所述第一模态信息结果构造融合结果序列的基本单元；一个所述基本单元包括一个第一模态信息结果以及模态信息序列，其中，所述基本单元中的模态信息序列的初始值为空；

对于所述融合结果序列中的每个基本单元中的第一模态信息结果，分别监听所述第二结果序列中的第二模态信息结果，并分别判断所述第二结果序列中的第二模态信息结果与第一模态信息结果是否存在帧交叠，如果是，将存在帧交叠的第二模态信息结果写入所述基本单元的模态信息序列中。

2.根据权利要求1所述的方法，其特征在于，所述将存在帧交叠的第二模态信息结果写入所述基本单元的模态信息序列中之后，还包括：

判断与所述第一模态信息结果存在帧交叠的第二模态信息结果的结束帧对应的时间是否小于第一模态信息结果的结束帧对应的时间，如果是，将该与所述第一模态信息结果存在帧交叠的第二模态信息结果从所述第二结果序列中删除。

3.根据权利要求1所述的方法，其特征在于，一个所述基本单元还包括所述模态信息序列中的模态信息是否完全处理的标志位，所述模态信息是否完全处理的标志位的初始值为假；

所述将存在帧交叠的第二模态信息结果写入所述基本单元的模态信息序列中之后，还包括：

判断与所述第一模态信息结果存在帧交叠的第二模态信息结果的起始帧对应的时间是否大于第一模态信息结果的起始帧对应的时间，如果是，将所述基本单元中的模态信息是否完全处理的标志位置为真。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述第二模态信息包括第一子模态信息、第二子模态信息和第三子模态信息；

所述第二结果序列包括与所述第一子模态信息相对应的第一子结果序列、与所述第二子模态信息相对应的第二子结果序列、与所述第三子模态信息相对应的第三子结果序列；所述第一子结果序列中的各个第一子模态信息结果在时间上连续；所述第二子结果序列中的各个第二子模态信息结果在时间上不连续；所述第三子结果序列中的各个第三子模态信息结果是通过请求网络服务获得的结果；

所述基本单元中的模态信息序列包括与所述第一子模态信息相对应的第一子模态信息序列、与所述第二子模态信息相对应的第二子模态信息序列和与所述第三子模态信息相对应的第三子模态信息序列。