[发明专利]基于中心凹检测和上下文过滤的神经形态视觉活动分类系统和方法

权利要求书

1.一种用于视觉活动分类的系统，所述系统包括：

存储器以及一个或更多个处理器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得当执行所述指令时，所述一个或更多个处理器执行以下操作：

检测视频数据中的关注对象集合，并且确定所述关注对象集合中的各个对象的对象分类，所述集合包括至少一个关注对象；

通过跨多个帧对所述关注对象集合中的各个对象进行跟踪，形成各个对象的对应的活动轨迹；

针对各个关注对象并且使用特征提取器，通过基于所述对应的活动轨迹执行特征提取来确定所述视频数据中的对应特征；

针对各个关注对象，基于所述特征提取器的输出，确定各个关注对象的对应的初始活动分类；

通过中心凹来检测各个活动轨迹中的一个或更多个关注对象；

将初始对象检测和中心凹对象检测附加到新的检测对象列表中；以及

使用所述新的检测对象列表，对各个活动轨迹的最终活动进行分类，并使用上下文逻辑对所述初始活动分类的结果进行过滤。

2.根据权利要求1所述的系统，所述系统还包括基于最终活动分类对设备进行控制的操作。

3.根据权利要求2所述的系统，其中，对设备进行控制包括：使移动平台基于所述最终活动分类来执行物理操纵。

4.根据权利要求2所述的系统，其中，对所述设备进行控制包括：使用机器来发送有关所述活动分类的视觉警告、音频警告或电子警告中的至少一者。

5.根据权利要求1所述的系统，其中，所述特征提取器包括卷积神经网络并且还包括递归神经网络，并且所述一个或更多个处理器还执行以下操作：

针对各个关注对象并且使用所述递归神经网络，基于所述对应的活动轨迹和所述对应特征中的至少一者来提取对应的时间序列特征。

6.根据权利要求1所述的系统，其中，所述特征提取器包括卷积神经网络，所述卷积神经网络包括至少五个卷积-纠正-池化层。

7.根据权利要求1所述的系统，其中，所述关注对象集合包括多个关注对象，并且所述卷积神经网络、所述递归神经网络以及所述活动分类器针对多个对应的活动轨迹并行地工作。

8.一种用于视觉活动分类的计算机程序产品，所述计算机程序产品包括：

编码有可执行指令的非暂时性计算机可读介质，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：

检测视频数据中的关注对象集合并且确定所述关注对象集合中的各个对象的对象分类，所述集合包括至少一个关注对象；

通过跨多个帧对所述关注对象集合中的各个对象进行跟踪，形成各个对象的对应的活动轨迹；

针对各个关注对象并且使用特征提取器，通过基于所述对应的活动轨迹执行特征提取来确定所述视频数据中的对应特征；

针对各个关注对象，基于所述特征提取器的输出，确定各个关注对象的对应的初始活动分类；

通过中心凹来检测各个活动轨迹中的一个或更多个关注对象；

将初始对象检测和中心凹对象检测附加到新的检测对象列表中；以及

使用所述新的检测对象列表对各个活动轨迹的最终活动进行分类，并使用上下文逻辑对所述初始活动分类的结果进行过滤。

9.根据权利要求8所述的计算机程序产品，所述计算机程序产品还包括基于最终活动分类对设备进行控制的操作。

10.根据权利要求9所述的计算机程序产品，其中，对设备进行控制包括：使移动平台基于所述最终活动分类来执行物理操纵。

11.根据权利要求9所述的计算机程序产品，其中，对所述设备进行控制包括：使用机器来发送有关所述活动分类的视觉警告、音频警告或电子警告中的至少一者。