[发明专利]用于语义机器人抓取的机器学习方法和装置有效
| 申请号： | 201880039073.8 | 申请日： | 2018-06-28 |
| 公开（公告）号： | CN110785268B | 公开（公告）日： | 2023-04-04 |
| 发明（设计）人： | E.江;S.维贾亚纳拉西姆汉;P.帕斯托萨姆佩德罗;J.伊巴兹;S.莱维恩 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | B25J9/16 | 分类号： | B25J9/16;G06N3/008;G06N3/0464;G06N3/045;G06N3/08;G06N3/084 |
| 代理公司： | 北京市柳沈律师事务所 11105 | 代理人： | 金玉洁 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 提供了与语义机器人抓取有关的深度机器学习方法和装置。一些实施方式涉及训练对语义抓取模型的抓取神经网络、语义神经网络和联合神经网络的训练。在那些实施方式的一些中，联合网络是深度神经网络，并且可以基于以下两种方式进行训练：基于通过抓取神经网络生成的抓取预测而生成的抓取损失，以及基于通过语义神经网络生成的语义预测而生成的语义损失。一些实施方式针对利用训练后的语义抓取模型来伺服或控制机器人的抓取末端执行器，以实现对具有期望的(多个)语义特征的对象的成功抓取。 | ||
| 搜索关键词： | 用于 语义 机器人 抓取 机器 学习方法 装置 | ||
【主权项】：
1.一种由一个或多个处理器实施的方法，包括：/n识别期望的对象语义特征；/n生成定义运动的候选末端执行器运动矢量，以将机器人的抓取末端执行器从给定姿势移动到附加姿势；/n识别由所述机器人的视觉组件捕获的图像，所述图像捕获所述抓取末端执行器和所述机器人的环境中的对象；/n将所述图像和所述候选末端执行器运动矢量作为输入应用于训练后的联合神经网络；/n基于将所述图像和所述末端执行器运动矢量应用于所述训练后的联合神经网络来生成联合输出，/n其中，所述训练后的联合神经网络是基于以下内容进行训练的：/n基于抓取预测而生成的抓取损失，所述抓取预测是基于使用所述联合神经网络生成的训练输出、通过抓取神经网络而生成的，以及/n基于语义预测而生成的语义损失，所述语义预测是基于使用所述联合神经网络生成的训练输出、通过语义神经网络而生成的；/n将所述联合输出应用于所述语义神经网络的训练后版本；/n使用基于所述联合输出的所述语义神经网络的训练后版本生成语义神经网络输出，所述语义神经网络输出指示所述对象是否包括所述期望的对象语义特征；/n生成抓取成功度量，生成所述抓取成功度量包括：/n基于将所述联合输出应用于所述抓取神经网络的训练后版本来生成所述抓取成功度量，或者/n基于将所述当前图像和所述末端执行器运动矢量应用于附加训练后的抓取神经网络来生成所述抓取成功度量；/n基于所述抓取成功度量和指示所述对象是否包括所述期望的对象语义特征的所述语义模型输出来生成末端执行器命令；以及/n将所述末端执行器命令提供给所述机器人的一个或多个致动器。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880039073.8/，转载请声明来源钻瓜专利网。
- 上一篇：配件箱
- 下一篇：用于管理机器人和相关治疗机器人的运动的设备
