[发明专利]一种基于跨模态注意力机制的双流视频分类方法和装置

摘要

本发明涉及一种基于跨模态注意力机制的双流视频分类方法和装置。与传统的双流方法不同，本发明在预测结果之前就将两个模态(甚至更多模态)的信息进行了融合，因此能够更加高效充分，同时，由于在较早阶段就进行了信息交互，单个分支在后阶段已经具有了另一分支的重要信息，单分支的精度已经与传统双流方法持平甚至超过，单分支的参数量要比传统双流方法少很多；相比非局部神经网络，本发明设计的注意力模块能够跨模态，而不仅仅只在单模态内部使用注意力机制，本发明提出的方法在两个模态相同的情况下其效果等价于非局部神经网络。

主权项

1.一种基于跨模态注意力机制的双流视频分类方法，其特征在于，包括以下步骤：1)建立RGB分支与光流分支的神经网络结构，其中包含跨模态注意力模块；2)根据待分类视频得到RGB与光流，将其分别输入RGB分支与光流分支的神经网络结构中；3)对于输入的RGB与光流，RGB分支与光流分支的神经网络结构通过跨模态注意力模块进行信息交互，实现跨模态的信息融合；4)根据RGB分支与光流分支的神经网络结构得到的信息融合后的结果进行视频分类。