[发明专利]时序动作提名的生成方法、装置、设备及存储介质

说明书

本申请公开了一种时序动作提名的生成方法、装置、设备及存储介质，方法包括：获取视频中的多个视频帧；调用时序动作提名生成模型对多个视频帧进行预测处理，得到视频对应的时序边界置信图和动作完整度概率图，将时序边界置信图和动作完整度概率图进行融合，得到融合特征图；根据融合特征图输出视频的时序动作提名。由于基于稠密边界的两个时序边界置信图和动作完整度概率图是基于全局的提名级别信息(L*L维度)来对时序动作提名的边界进行预测，而非类似于BMN仅基于局部信息对时序动作提名的边界进行预测，因此在时序动作提名的生成任务中能够预测出较为准确的边界。

技术领域

本申请涉及机器学习领域，特别涉及一种时序动作提名的生成方法、装置、设备及存储介质。

背景技术

时序动作提名的生成任务是指：给未裁剪的长视频生成一定数量的时序动作提名，一个时序动作提名即是一个可能包含动作片段的时序区间(从开始边界到结束边界)。高质量的时序动作提名应该具备几点特质：(1)灵活的时序长度；(2)精确的时序边界；(3)可靠的置信度分数。时序动作提名是动作检测、视频分析等各种任务的关键步骤。

相关技术中采用基于边界的方法(boundary-basedmethods)来完成该生成任务。典型的基于边界的方法包括：用于时序动作提名生成的边界敏感网络(Boundary-Sensitive Network，BSN)和边界匹配网络(Boundary-Matching Network，BMN)。BSN包括两个处理阶段：(1)定位时序边界，通过组合边界生成动作提名；(2)构造时序动作提名的特征，根据该特征预测对应时序动作提名的置信度。BMN将BSN改进为端到端(end-to-end)的方法。主要通过边界匹配层改进BSN的第二步，对所有的动作提名预测置信度。

但是上述BMN仍然难以预测较高精度的边界。特别地，对视频中存在复杂动作、杂乱背景、边界模糊和时序跨度较大的动作的情况，BMN预测的边界精度较差。

发明内容

本申请实施例提供了一种时序动作提名的生成方法、装置、设备及存储介质，可以解决相关技术中的BMN在某些场景下预测的边界精度较差的问题。所述技术方案如下：

根据本申请的一个方面，提供了一种时序动作提名的生成方法，所述方法包括：

获取视频中的多个视频帧；

调用时序动作提名生成模型对所述多个视频帧进行预测处理，得到所述视频对应的时序边界置信图和动作完整度概率图，所述时序边界置信图用于预测时序动作提名的开始边界和结束边界，所述动作完整度概率图用于表征同一个时序动作提名的开始边界和结束边界的动作完整度概率；

将所述时序边界置信图和所述动作完整度概率图进行融合，得到融合特征图；

根据所述融合特征图输出所述视频的时序动作提名。

根据本申请的一个方面，提供了一种时序动作提名的生成装置，所述装置包括：

获取模块，用于获取视频中的多个视频帧；

调用模块，用于调用时序动作提名生成模型对所述多个视频帧进行预测处理，得到所述视频对应的时序边界置信图和动作完整度概率图；所述时序边界置信图用于预测时序动作提名的开始边界和结束边界，所述动作完整度概率图用于表征同一个时序动作提名的开始边界和结束边界的动作完整度概率；

融合模块，用于将所述时序边界置信图和所述动作完整度概率图进行融合，得到融合特征图；

输出模块，用于根据所述融合特征图输出所述视频的时序动作提名。

根据本申请的一个方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的时序动作提名的生成方法。