[发明专利]用于由相机所捕获的视频序列中的动作识别的方法和系统

说明书

本公开涉及视频序列中的动作识别。在视频序列中的动作识别的系统和方法中，该系统包括被配置为捕获视频序列的相机和被配置为执行动作识别的服务器。相机包括被配置为识别视频序列的目标图像帧中的兴趣目标的目标识别器；被配置为对目标图像帧应用第一动作识别算法并由此检测候选动作的存在的候选动作识别器；被配置为通过从视频序列提取与多个图像帧有关的视频数据来产生动作视频序列的动作图像帧的视频提取器，其中，提取出视频数据的多个图像帧的一个或多个图像帧包括兴趣目标；以及被配置为传输动作视频序列至服务器的网络接口。服务器包括被配置为对动作视频序列应用第二动作识别算法并由此验证或否决候选动作是动作的动作验证器。

技术领域

本发明涉及视频序列中的动作识别。

背景技术

视频序列中的动作识别是检测视频序列中的特定预定义动作的任务。待检测的动作的示例可以例如是人员打斗、奔跑、进食、玩运动游戏。动作识别通常要求过多的处理能力，这使其不适用于在捕获视频序列的数字摄像机上执行。替代的通常由具有所需处理能力的服务器执行动作识别。然而，在数字网络之上发送大量视频需要大量带宽。

因此，需要改进的视频序列中的动作识别。

发明内容

考虑到以上，本发明的目标在于提供改进的视频序列中的动作识别。

根据第一特征方面提供了一种用于在由相机所捕获的视频序列中的动作识别的方法。方法包括：由相机的电路：识别在视频序列的目标图像帧中的兴趣目标；对目标图像帧应用第一动作识别算法并由此检测候选动作的存在；通过从视频序列提取与多个图像帧有关的视频数据来产生动作视频序列的动作图像帧，其中，提取出视频数据的多个图像帧的一个或多个图像帧包括兴趣目标；并且将动作视频序列传输至被配置为执行动作识别的服务器；由服务器的电路：对动作视频序列应用第二动作识别算法并由此验证或否决候选动作是预定类型的动作。

本发明的动作识别的方案是有利的，这是因为其允许对动作识别所需的处理能力分布在两个不同装置之上而没有在相机与服务器之间的通信中占据太多带宽的问题。另外，本发明的动作识别的方案使其能够执行处理器增强的动作识别而并不加载太多相机的处理器，并且同时不必不断地将整个视频序列流发送至服务器。因此，本发明的方案允许使用要求在相机本地进行的第一类型动作识别算法的较少的处理以及要求在服务器上进行的第二类型动作识别算法的较多的处理。通过提取并仅发送动作视频序列而不是连续的视频流，可以节省带宽。根据本发明的动作识别的方案可以在相机处检测候选动作。候选动作触发动作视频序列传输至服务器，在该服务器中执行更高级的动作识别分析。因此相机上的动作识别的目的是用于触发候选动作的检测。候选动作的检测触发将动作视频序列传输至服务器以用于进一步分析、验证、或否决候选动作为真实的动作。

第一动作识别算法可以主要基于使用目标图像帧中的情景和/或空间信息的情景和/或空间动作识别算法。情景和/或空间动作识别算法通常不要求太多处理能力。因此，使用该类型算法的动作识别更易于在相机上本地地可。

第二动作识别算法可以主要基于使用动作视频序列的多个图像帧的时域信息的时域动作识别算法。时域动作识别算法通常在识别动作方面更准确。因此，可以执行更准确的动作识别。

产生动作图像帧的动作可以包括裁剪视频序列的多个图像帧，以使得包括兴趣目标的动作图像帧包括该兴趣目标的至少一部分。这可以节省相机与服务器之间的带宽。

产生动作图像帧的动作可以包括裁剪视频序列的多个图像帧，以使得包括兴趣目标的动作图像帧包括至少部分地围绕兴趣目标的背景的一部分。通过合并至少部分地围绕兴趣目标的背景，不仅可以执行动作视频序列的时域分析而且还可以执行动作视频序列的情景和/或空间分析。

传输动作视频序列的动作可以包括将动作视频序列内的坐标传输至兴趣目标。坐标可以涉及哪个或哪些图像帧包括兴趣目标，和/或兴趣目标位于相应的图像帧中的何处。