[发明专利]基于音视频融合的地震幸存者识别方法及装置

权利要求书

1.一种基于音视频融合的地震幸存者识别方法，其特征在于，包括：

确定目标视频，所述目标视频包括N个视频片段，N为正整数；

提取所述N个视频片段中各个视频片段对应的音频特征和视觉特征；

基于自注意力机制和跨模态注意力机制，融合所述各个视频片段对应的音频特征和视觉特征的同模态特征和跨模态特征，确定各个视频片段对应的时序音频特征和时序视觉特征；

基于所述时序音频特征和时序视觉特征，确定所述目标视频的地震幸存者识别结果。

2.根据权利要求1所述的基于音视频融合的地震幸存者识别方法，其特征在于，所述提取所述N个视频片段中各个视频片段对应的音频特征和视觉特征，包括：

确定所述N个视频片段中各个视频片段对应的音频信息和视觉信息；

提取所述音频信息和视觉信息的骨干特征，所述骨干特征包括音频骨干特征、视觉二维骨干特征和视觉三维骨干特征；

将所述骨干特征映射为所述各个视频片段对应的音频特征和视觉特征。

3.根据权利要求1所述的基于音视频融合的地震幸存者识别方法，其特征在于，所述基于自注意力机制和跨模态注意力机制，融合所述各个视频片段对应的音频特征和视觉特征的同模态特征和跨模态特征，确定各个视频片段对应的时序音频特征和时序视觉特征，包括：

基于所述各个视频片段对应的音频特征和视觉特征，确定每个所述音频特征对应的同模态时序音频特征、每个所述音频特征对应的跨模态时序视觉特征、每个所述视觉特征对应的同模态时序视觉特征以及每个所述视觉特征对应的跨模态时序视觉特征；

基于所述每个视频片段的音频特征、所述同模态时序音频特征和所述跨模态时序视觉特征，确定所述每个视频片段的时序音频特征，并基于所述每个视频片段的视觉特征、所述同模态时序视觉特征和所述跨模态时序音频特征，确定所述每个视频片段的时序音频特征。

4.根据权利要求3所述的基于音视频融合的地震幸存者识别方法，其特征在于，所述基于所述各个视频片段对应的音频特征和视觉特征，确定每个所述音频特征对应的同模态时序音频特征、每个所述音频特征对应的跨模态时序视觉特征、每个所述视觉特征对应的同模态时序视觉特征以及每个所述视觉特征对应的跨模态时序视觉特征，包括：

确定每个视频片段的音频特征与所述N个视频片段的音频特征之间的音频与音频相似度，并基于所述音频与音频相似度，确定每个所述音频特征对应的同模态时序音频特征；

确定每个视频片段的音频特征与所述N个视频片段的视觉特征之间的音频视觉相似度，并基于所述音频视觉相似度，确定每个所述音频特征对应的跨模态时序视觉特征；

确定每个视频片段的视觉特征与所述N个视频片段的视觉特征之间的视觉与视觉相似度，并基于所述视觉与视觉相似度，确定每个所述视觉特征对应的同模态时序视觉特征；

确定每个视频片段的视觉特征与所述N个视频片段的音频特征之间的视觉音频相似度，并基于所述视觉音频相似度，确定每个所述视觉特征对应的跨模态时序音频特征。