[发明专利]一种模拟陈述性记忆过程的动作识别方法

摘要

本发明公开一种模拟陈述性记忆过程的动作识别方法，属于计算机视觉领域。本发明首先模拟视觉通路使用深度学习方法从视频序列中分别提取形状和运动特征，然后以视觉编码和语义编码的形式用树形结构将这些特征组织起来，模拟人脑的陈述性记忆，在识别阶段，通过检索陈述性记忆中的特征后投票得到视频中动作的语义标签，从而得到识别结果。本方法的优点在于，可以直接从数据学习得到特征，无需手工设计的特征；可以从新的视频数据集进行学习，能适应动作类别的不断增长，满足增量学习的要求。

主权项

一种模拟陈述性记忆过程的动作识别方法，其特征在于，包括以下步骤：第一步：模拟腹侧通路，用深度学习方法提取不同层次的形状特征；同时，模拟背侧通路，用深度学习方法提取不同层次的运动特征；所述形状特征的提取，首先在视频序列中的随机帧的随机位置选取小块，然后使用ISA来学习不同层次的形状特征；所述运动特征的提取，首先计算视频序列的基于亮度梯度的稠密光流，在光流图像中的随机位置上选取小块，使用ISA来学习不同层次的运动特征；第二步：在模型的训练阶段，训练集合中全部视频序列通过视觉通路进入长时记忆；模型的训练，即构建树模型的过程，对于一个训练视频，通过第一步，分别得到该视频的高级运动特征和高级形状特征，根据训练集合中全部视频的两种特征构建两棵SR树：运动SR树和形状SR树；第三步：在识别阶段，通过检索长时记忆中的特征后投票得到视频中动作的语义标签；在识别阶段，对于一个查询视频，通过视觉通路分别得到其运动特征和形状特征，根据这两种特征分别查询运动SR树和形状SR树，然后进行投票得到视频中动作的语义标签，从而得到识别结果。