[发明专利]用于实时对象检测和跟踪的分布式计算

说明书

描述了用于分布式对象检测和跟踪的技术。在示例方法中，来自一系列帧的第一当前帧被发送给第一节点，以用于检测第一对象。在作为回应接收到针对第一对象的对象检测信息之后，选择第二节点，并且第二当前帧被发送给第二节点，以用于更新的对象检测。另外，在等待更新的对象检测的结果的同时，第二当前帧之后的两个或更多个帧被发送给各相应的跟踪节点。从先前接收到的对象检测信息导出的、指示一个或多个对象的位置和/或类别的对象建模信息也被发送给各相应的跟踪节点中的每个。从各相应的跟踪节点中的每个接收针对第一对象的跟踪信息。

技术领域

本公开涉及视频数据中的对象检测和跟踪。

背景技术

视频数据中的对象检测和跟踪是用于许多当代应用和服务的技术基准的一部分，这些当代应用和服务包括自动驾驶、远程机器人手术、人口计数、产品识别、异常检测等。在典型设置中，这种技术可以被部署为例如在诸如交通工具之类的设备内的嵌入式解决方案，或者被部署为例如具有客户端的客户端-服务器应用，该客户端诸如是向随后执行对象检测的云数据中心发送原始数据(例如，视频帧的图像)的移动设备。用于对象检测的最佳执行的解决方案基于计算密集型的卷积神经网络(CNN)。

最快的基于CNN的视觉对象检测平台(例如，Darknet、TensorFlow)可以在一些硬件系统(例如，具有诸如NVIDIA Titan X图形处理单元(GPU)之类的强大处理器的台式计算机)上实时运行大小合理的通用CNN(例如，Yolo、Faster R-CNN)。然而，尽管移动设备的能力持续并快速改进，但是在智能电话、平板电脑或嵌入在网络边缘处的设备中(例如，机器人、无人机、传感器中)的其他小型计算机中执行对象检测仍然是非常困难的任务。

实际上，在可预见的未来，在电池供电的设备上运行具有现代视觉对象检测器的复杂度的算法可能仍将是一个挑战，特别是对于不包含强大的GPU、中央处理器(CPU)或张量处理单元(TPU)但是替代地基于相对便宜的、标准的、具有节能意识的CPU或现成的微控制器的设备而言。

发明内容

本文所描述的技术、设备和系统中的若干种通过利用用于执行对象检测和/或对象跟踪的分布式计算来解决该问题，其中，检测和/或跟踪由若干个节点(例如，ad hoc网络中的若干个节点)执行。计算的这种分布是随机的、自组织的(ad-hoc)，并且可以考虑到特定设备的计算能力。

这些技术在资源受限的环境中可能特别有意义，在资源受限的环境中，设备形成了动态的ad-hoc网络，并且在电池电量和/或计算能力方面具有资源约束。在这种情况下，所公开的技术允许在多个设备之间分布用于对象检测和跟踪功能所消耗的电量。

下面详细说明用于分布式对象检测和跟踪的特定技术。根据这些技术中的若干种，来自一系列帧的第一当前帧被发送给第一节点，以检测第一对象。在作为回应接收到对第一当前帧中的第一对象进行分类和/或定位的对象检测信息之后，选择第二节点，并且第二当前帧被发送给第二节点，以用于更新的对象检测。另外，在等待更新的对象检测的结果的同时，第二当前帧之后的两个或更多个帧被发送给各相应的跟踪节点。从先前接收到的对象检测信息导出的、指示一个或多个对象的位置和/或类别的对象建模信息也被发送给各相应的跟踪节点中的每个。从各相应的跟踪节点中的每个接收针对第一对象的跟踪信息。