[发明专利]作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集

说明书

本发明所涉及的图像取得部从摄像装置取得映现了作业机械的搬运物的投下对象的摄像图像。投下对象确定部基于摄像图像，确定投下对象的至少一部分的三维位置。表面确定部基于投下对象的至少一部分的三维位置、以及摄像图像，确定投下对象中的搬运物的表面的三维位置。

技术领域

本发明涉及作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集。

本申请针对2018年8月31日在日本提交申请的特愿2018-163671主张其优先权，将其内容引用于此。

背景技术

在专利文献1中公开了如下技术：基于被设置于搬运车辆的称重传感器(weighting sensor)的输出来算出搬运物的重心位置，并显示搬运物的装载状态。

现有技术文献

专利文献

专利文献1:日本特开2001-71809号公报

发明内容

发明要解决的课题

在专利文献1所记载的方法中，虽然能够确定搬运车辆等投下对象的重心的位置，但无法确定投下对象中的搬运物的三维位置。

本发明的目的在于，提供能够确定投下对象中的搬运物的三维位置的作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集。

用于解决课题的手段

根据本发明的一方式，作业机械的搬运物确定装置具备：图像取得部，取得映现了作业机械的搬运物的投下对象的摄像图像；投下对象确定部，基于所述摄像图像，确定所述投下对象的至少一部分的三维位置；三维数据生成部，基于所述摄像图像生成深度数据，所述深度数据是表现所述摄像图像的深度的三维数据；以及表面确定部，基于所述投下对象的至少一部分的三维位置，从所述深度数据去除与所述投下对象对应的部分，从而确定所述投下对象中的所述搬运物的表面的三维位置。

发明效果

根据上述方式之中的至少一个方式，搬运物确定装置能够确定投下对象中的搬运物的分布。

附图说明

图1是表示一实施方式所涉及的装货场的结构的图。

图2是一实施方式所涉及的液压挖掘机的外观图。

图3是表示第一实施方式所涉及的控制装置的结构的概略框图。

图4是表示神经网络的结构的例的图。

图5是指导信息的一例。

图6是表示第一实施方式所涉及的控制装置对指导信息的显示方法的流程图。

图7是表示第一实施方式所涉及的特征点确定模型的学习方法的流程图。

图8是表示第一实施方式所涉及的补全模型的学习方法的流程图。

图9是表示第二实施方式所涉及的控制装置的结构的概略框图。

图10是表示第二实施方式所涉及的控制装置对指导信息的显示方法的流程图。

图11A是表示卸斗中的搬运物的量的计算方法的第一例的图。

图11B是表示卸斗中的搬运物的量的计算方法的第二例的图。

具体实施方式

〈第一实施方式〉

以下，一边参考附图一边针对实施方式详细地进行说明。

图1是表示一实施方式所涉及的装货场的结构的图。