[发明专利]具有动态完整性评分的基于视觉的多摄像头工厂监测

说明书

本发明公开了一种具有动态完整性评分的基于视觉的多摄像头工厂监测。人监视系统包括视觉处理器和多个摄像头。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且确定用于每一个相应图像帧的完整性评分。处理器可以随后将前景部分从两个或更多视图分离，确定用于每一个相应前景部分的主本体轴线，且根据各主本体轴线中的加权的最小二乘函数确定位置点。

技术领域

本发明总体涉及用于追踪人的视觉监视系统。

背景技术

在许多组装环境下使用工厂自动化。为了实现更灵活的制造过程，需要能允许机器人和人自然地且有效地协作，以执行不必重复的任务的系统。人-机器人互动需要新的机器认知水平，其超越了其中所有部件在已知位置开始的通常的记录/回放式的控制。以这种方式，机器人控制系统必须理解人的位置和行为，且随后必须基于人的动作调整机器人的行为。

发明内容

一种人监视系统，包括多个摄像头和视觉处理器。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，该视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。

视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且从使用在输入图像上执行的模式匹配而从多个图像帧中的至少一个检测人的存在。用于模式匹配的输入图像是图像帧的滑动窗部分，其与校正坐标系对准，从而工作空间区域中的垂直轴线与输入图像的垂直轴线对准。

如果检测到人靠近自动可动设备，则系统可以提供警告和/或改变自动可动设备的行为。在一种构造中，系统/系统处理器可以配置为构造位于工作空间中的物体/人的概率图示。

在工作空间中构造物体位置的概率图示的方法可包括获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取。系统可以确定用于每一个摄像头的完整性评分，所述评分与图像的视觉清楚性相关。更具体地，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关。

在多个2D图像的至少两个内识别前景部分。系统可以确定用于每一个识别前景部分的主本体轴线。主本体轴线是相应前景部分的平均中线且与图像的消失点对准。一旦被确定，则系统可以将每一个被检测的主本体轴线映射到地面平面，所述地面平面与工作空间的地面重合。在各种映射的主本体轴线的位置处观察，系统可以确定地面平面中的代表物体的位置的位置点。如果线不以单个位置相交，则该位置点可以被选择以使得每一个映射主本体轴线中的加权最小二乘函数最小化。加权可以根据用于一视图的完整性评分进行，每一个相应主本体轴线从所述视图映射。

在又一种构造中，每一个前景部分被投影到多个平行间隔开的平面的每一个。多个平面中的每一个内识别一区域，多个投影前景部分在该区域中重叠。这些识别区域被组合以形成物体的3D边界包络。

系统可以执行控制动作，如果边界包络重叠预定体积空间。控制动作可以例如包括修改邻近机器人的行为，调整自动机械的性能，或通过声音或光照发出警报。

在一种构造中，处理器可以使用边界包络以验证确定的位置点。例如，如果位置点在边界包络中，则系统可以记录该位置点的坐标。

系统可以进一步配置为组合运动轨迹，所述运动轨迹代表一段时间段上位置点的位置。在该运动轨迹中，系统可以进一步识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。在位置点静止的该一部分时间段期间，系统可以配置为确定物体执行的动作。