[发明专利]用于确定对象厚度的图像处理

说明书

描述了处理图像数据以预测图像数据内存在的对象的厚度的示例。在一个示例中，获得场景的图像数据，所述场景以一组对象为特征。分解图像数据以生成用于预测模型的输入数据。确定所述图像数据的与所述场景中的所述一组对象相对应的部分，其中每个部分对应于不同的对象。使用预测模型为这些部分预测横截面厚度测量值。然后合成图像数据的各部分的所预测的横截面厚度测量值以生成包括场景中的所述一组对象的厚度数据的输出图像数据。

技术领域

本发明涉及图像处理技术。具体地，本发明涉及处理图像数据以估计一组所观察对象的厚度数据。本发明可用于机器人和自主系统领域。

背景技术

尽管机器人技术在过去几年取得了进步，但机器人装置仍然难以应对人类和灵长类动物自然而然的任务。例如，虽然多层神经网络架构在图像分类任务上表现出接近人类的准确度水平，但许多机器人装置无法在正常环境中重复伸手去抓简单的对象。

使机器人装置能够在真实世界中操作的一种方法是从所有角度仔细扫描和映射环境。在这种情况下，可以生成环境的复杂三维模型，例如以表示环境的内容的三维“密集”点云的形式。然而，这些方法是繁重的，并且可能并不总是能够在环境中导航以提供许多视图来构建空间的准确模型。这些方法还经常表现出一致性问题，例如，在不同视频帧中观察到的共同对象的不同部分可能并不总是被认为是同一对象的一部分。

Newcombe等人在作为2011年第十届IEEE混合和增强现实国际研讨会(the201110th IEEE International Symposium on Mixed and Augmented Reality)的一部分(见第127-136页)发表的论文“Kinectfusion：Real-time dense surface mapping andtracking”中描述了一种从RGBD(红、绿、蓝和深度通道)数据构建场景的方法，其中RGBD数据的多个帧被配准并融合到三维体素网格中。数据的帧使用密集的六自由度对准进行跟踪，然后融合到体素网格的体积中。

McCormac等人在2018年作为3D视觉国际会议(International Conference on 3DVision)的一部分(见第32-41页)发表的论文“Fusion++：Volumetric object-level slam”中描述了一种用于环境的大规模映射的以对象为中心的方法。生成包含多个截断符号距离函数(TSDF)体积的环境图，每个体积表示单个对象实例。

期望开发更容易地开发可以成功地与环境交互和/或在环境中导航的机器人装置和自主系统的方法和系统。还期望这些方法和系统以实时或接近实时的速度操作，例如使得它们可以应用于在环境内主动操作的装置。这很困难，因为许多最先进的方法都有广泛的处理需求。例如，从输入图像数据中恢复三维形状可能需要三维卷积，这在大多数机器人装置的存储器极限内可能是不可能的。

发明内容

根据本发明的第一方面，提供了一种处理图像数据的方法，所述方法包括：获得场景的图像数据，所述场景以一组对象为特征；分解所述图像数据以生成用于预测模型的输入数据，包括确定所述图像数据的与所述场景中的所述一组对象对应的部分，每个部分对应于不同的对象；使用所述预测模型预测所述部分的横截面厚度测量值；以及合成所述图像数据的所述部分的所预测的横截面厚度测量值以生成包括所述场景中的所述一组对象的厚度数据的输出图像数据。

在某些示例中，所述图像数据至少包括场景的光度数据，并且分解所述图像数据包括从所述光度数据生成所述场景的分割数据，所述分割数据指示所述光度数据的部分和所述场景中的所述一组对象之间的所估计的对应关系。生成所述场景的分割数据可以包括检测在所述光度数据中示出的对象并为每个检测到的对象生成分割掩模，其中分解所述图像数据包括对于每个检测到的对象裁剪所述图像数据的包含所述分割掩模的区域，例如裁剪原始图像数据和/或所述分割掩模。检测在所述光度数据中示出的对象可以包括使用卷积神经网络架构来检测所述光度数据中的一个或多个对象。