[发明专利]用于分析工作区域的系统和方法

说明书

本文示出的是用于分析工作区域的系统和方法。提供用于活动分析、安全监控或两者的基于视觉的对象感知系统的实施例。感知子系统的实施例实时检测多类对象(例如，建筑机器和人类)，同时估计检测到的对象的姿势和动作。安全监控实施例和对象活动分析实施例可以基于感知结果。为了评估实施例的性能，收集了包括具有人类注释的不同照明条件下的多类对象的数据集。实验结果表明，提出的动作识别方法在第一准确性上优于现有方法约5.18％。

技术领域

本公开总体上涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更特别地，本公开涉及用于基于视觉的安全监控和对象活动分析的系统和方法。

背景技术

过去几年与自主车辆相关的研究和发展急剧增加。自主车辆已被研究用于多种用途，包括自主汽车、自主卡车、自主机器人、自主无人机和自主建筑车辆。研究和发展自主车辆的理由因应用而异。例如，自主驾驶汽车可以帮助通勤者和司机。自主驾驶卡车降低了与运输货物相关的成本。自主重型设备有助于降低成本和减少人类在危险情况下工作的需要。

由于极端条件，在现实世界环境中操作车辆，如挖掘机可能具有挑战性。操作重型设备的复杂性与危险环境相结合，导致每年发生多起伤亡事故。安全是建筑工地的主要要求之一。随着深度学习和计算机视觉技术的进步，自主车辆系统得到了研究并取得了实质的进展。然而，用于安全操作重型设备并监控其性能的系统和方法仍然无法捕捉这些任务的复杂性。

因此，需要用于对象检测(例如，诸如自主车辆、人类等的设备)监控和分析的系统和方法。

发明内容

本文呈现的是系统、方法和计算机可读介质，包括用于用于活动分析、用于安全监控或用于活动分析和安全监控两者的基于视觉的对象感知的实施例的指令。感知系统的实施例能够在估计姿势和动作的同时实时检测多类对象(例如，建筑机器和人类)。还提出了基于感知结果的新型安全监控和对象活动分析子系统的实施例。为了评估一些实施例的性能，使用自主挖掘机系统(Autonomous Excavator System，AES)收集数据集，包括人类在不同照明条件下的多类对象。实施例的评估结果表明，对象检测模型提高了推理速度和精确度，同时减小了模型大小。虽然使用挖掘机作为说明，但实时安全监控系统和实时活动/生产力分析系统的实施例不仅限于该设备或该环境(例如，固体废物场景)。实施例可以应用于其他场景。

在一个或多个实施例中，用于分析工作区域的系统可以包括一个或多个处理器，以及包括一个或多个指令集的一个或多个非暂时性计算机可读介质，这些指令在由一个或多个处理器的至少一个执行时导致执行步骤。在一个或多个实施例中，步骤可以包括：使用工作区域分割神经网络子系统将工作区域分割成一个或多个定义的区域，工作区域分割神经网络子系统从至少一个相机接收图像数据并将工作区域分割成一个或多个定义的子区域；使用来自至少一个相机的图像数据和接收图像数据的对象检测神经网络子系统检测工作区域中的一个或多个对象，以对于来自图像数据的一组一个或多个检测到的对象的每个检测到的对象，产生检测到的对象的分类和检测到的对象的边界区域数据；以及使用安全监控子系统检测安全问题，其可以被实时检测。在一个或多个实施例中，安全监控子系统可以从工作区域分割神经网络子系统接收工作区域的一个或多个定义的子区域，并且对于来自一组一个或多个检测到的对象的每个检测到的对象，从对象检测神经网络子系统接收其边界区域数据，基于来自对象检测神经网络子系统的工作区域的一个或多个定义的子区域和边界区域数据以及一个或多个模型，确定是否存在安全问题，并且对存在的安全问题做出相应，导致发出警报。

应当注意，检测到的对象可以是设备(可以是自主的)并且可以是其他对象，诸如人。

在一个或多个实施例中，对于检测到的设备，系统可以使用动作识别子系统识别设备的一组一个或多个动作状态，动作识别子系统基于来自一个或多个相机中的至少一个的图像数据，使用一个或多个模型来识别设备在图像数据持续时间期间的一组一个或多个动作状态。在一个或多个实施例中，动作识别子系统可以包括基于规则的模型、基于深度学习的模型或两者。