[发明专利]学习数据集的创建方法和装置

说明书

以复数的物体为对象，提供一种可以有效地创建用于机器学习的学习数据集的方法和装置。将物体信息与视觉标记关联，通过设置有作为对象物配置的引导的区域的基座部、和由固定在该基座部上的标记构成的学习数据集生成夹具，将区域作为引导配置对象物的状态下，取得包含标记的物体整体的图像组，从取得的图像组获取与视觉标记相关联的物体信息，通过从图像组进行对视觉标记或学习数据集生成夹具相应的区域的隐藏处理生成重构的图像组，基于取得的物体信息，对重构的图像组设置边界框，将估计的对象物的姿态信息和位置信息、物体信息以及边界框相关的信息与摄影图像建立关联，生成用于对象物的物体识别和位置姿态估计的学习数据集。

技术领域

本发明涉及一种基于机器学习的物体识别和位置姿态估计中的学习数据集生成的自动化方法。

背景技术

向来，利用搭载有人工智能(Artificial Intelligence，以下称为“AI”。)的机器人，作为工厂等的作业的自动化措施。近年来，随着机器学习和深度学习(深层学习)的发展，在工厂等生产系统中，作为实现工厂完全自动化的措施，利用机器学习等的AI的开发正在迅速进行。

机器人的工作自动化在所有行业都存在需求，其中食品行业和物流行业是今后发展的期待领域，机器人的工作自动化存在很大的需求。

然而，由于在食品工业或物流工业中处理的许多产品是柔性的，并且在处理时形状会发生复杂的变化，因此存在难以用安装在机器人中的机械手来操作的问题。另外，以前的食品行业或物流行业处理的产品种类很少，主要是以少品种大量生产为中心，但如今不仅如此，还需要多品种少量生产或变种变量生产，要正确且迅速地认识多品种的商品也成为难题。也就是说，需要在短时间内识别多品种的商品，并准确地进行诸如什锦礼物或缺陷品的去除作业之类的分类工作。

由于这些原因，在食品行业或物流行业中，通过机器人实现工厂的自动化还没有充分发展是显示。

到目前为止，为了收集关于商品的学习数据，需要拍摄目标对象的物体的图像，从获取的摄影图像中用手动确定对象物，绘制边界框等。另外，对象物的位置姿态的数据输入也是手动进行的。

因此，可以考虑一种通过将标记物附于被摄物体进行拍摄，使手动作业自动化的方法。

然而，在利用标记附在物体上进行摄影的方法中，由于没有充分讨论目标物体和标记之间的位置关系或标记的数量，因此存在标记被拍到反映在对象物体里，或被对象物体隐藏的问题。

也就是说，如果标记被反映在目标物体或边界框中时，不仅不能获得高质量的学习数据，也有可能将标记作为物体的特征进行学习。另外，如果标记被目标物体遮住时，则存在物体识别的准确性降低的问题。

关于物体识别技术，已知的有利用车辆周围的物体识别技术自动收集学习数据的数据库构筑系统(参照专利文献1)。这是关于将传感器的检测结果作为教师数据，从另一传感器输出执行物体的识别。为此自动收集机器学习的有教师的学习数据。

但是，上述专利文献1所公开的数据库构筑系统是使用多种类型的传感器进行物体识别的技术，需要可以检测的已学习的传感器。

另外，已知一种能够从摄影条件未知的图像生成用于图像识别的机器学习的训练图像的图像生成方法(参照专利文献2)。这是从为了生成用于图像识别的训练图像所持有的两张图像生成第三张新的训练图像。

但是，在上述专利文献2公开的图像生成方法中，由于生成与实际环境不同的图像，所以存在无法创建高质量的学习数据集的问题。

另外，已知的有利用RGB相机进行物体的位置姿态估计，是利用物体的三维模型的方法(参照非专利文献1)。然而，在上述非专利文献1中所公开的方法中，由于在事前必须要有物体的三维模型，为了生成与实际环境不同的学习图像，所以还是存在不能创建高质量的学习数据集的问题。