[发明专利]变形预测方法、装置及计算机可读存储介质在审
申请号: | 201910365833.0 | 申请日: | 2019-04-30 |
公开(公告)号: | CN110084845A | 公开(公告)日: | 2019-08-02 |
发明(设计)人: | 王智华 | 申请(专利权)人: | 王智华 |
主分类号: | G06T7/50 | 分类号: | G06T7/50 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 450000 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 变形 预测 计算机可读存储介质 三维模型 三维重建 深度图像 预测模型 网络 抓取 方法继承 获取目标 目标物体 实时应用 条件向量 网络输出 预测装置 传统的 可用 机器人 三维 对抗 重建 | ||
本发明公开了一种变形预测方法,通过获取目标物体的深度图像并输入三维重建网络,以获取所述三维重建网络基于所述深度图像生成的三维模型;然后将所述三维模型和基于目标物体特性生成的条件向量输入变形预测网络,得到变形预测网络输出的变形预测模型;之后基于所述变形预测模型执行任务。本发明还公开了一种变形预测装置及计算机可读存储介质。本方法继承了生成对抗网络的泛化属性,这意味着网络能够在给定对象的单个深度视图的情况下重建对象的整个三维外观,并且与传统的有限元方法相反,本方法不需要大量的计算成本,实现了足够快的变形预测速度,可用于包括机器人实时抓取物品在内的众多实时应用。
技术领域
本发明涉及人工智能技术领域,尤其涉及一种变形预测方法、装置及计算机可读存储介质。
背景技术
深度学习作为目前机器学习的重要领域,在图像识别、语音分析等方向都有着重要应用。深度学习由神经网络演化而来,深度学习本质上是深层的人工神经网络,它不是一项孤立的技术,而是数学、统计机器学习、计算机科学和人工神经网络等多个领域的综合。到目前为止,人们己经针对分类、检测、识别等各类不同的问题设计了多种行之有效的网络结构。
对周围环境进行了解和交互,是机器人需要拥有的重要能力之一,也是包括机器人技术和增强现实技术在内的许多应用技术得以实现的前提条件,尤其是在预测目标物体在受外力作用下的实时变形情况时。然而,在实际中常常遇到目标物体被遮挡,出现干扰物,以及局部缺失等状况,上述情况都会导致对目标物体的变形进行实时预测时难度增加,例如机器人在操纵一个物体时只能观察到目标对象的局部而非整体。另外,目前的技术在处理机器人抓取物体问题的过程中,往往都是将所有的目标物体看作是静态的,不可变形的坚硬物体。然而在现实中大多数物体都是可变形的,在遇到外力的作用时会产生不同程度的变形。如果能够推断出被抓取时物体可能产生的变形,则有助于机器人对被抓取物体产生预先的控制判断,以便生成适应的控制策略。
传统的变形预测方法将机器人获取到的深度图像直接输入生成网络,在生成网络中完成从局部深度图像到三维立体模型的重建,和三维立体模型变形量的预测两个步骤,由于生成网络更适合于高维度的模型处理,因此这一过程还有待完善。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种变形预测方法、装置及计算机可读存储介质,旨在解决传统生成网络直接处理深度图像,导致所得的变形预测模型效果不好的技术问题。
为实现上述目的,本发明提供一种变形预测方法,应用于变形预测系统,所述变形预测系统包括三维重建网络和变形预测网络,所述变形预测方法包括以下步骤:
获取目标物体的深度图像并输入三维重建网络,以获取所述三维重建网络基于所述深度图像生成的三维模型;
将所述三维模型和基于目标物体特性生成的条件向量输入变形预测网络,得到变形预测网络输出的变形预测模型;
基于所述变形预测模型执行任务。
优选地,所述获取目标物体的深度图像并输入三维重建网络,以获取所述三维重建网络基于所述深度图像生成的三维模型的步骤包括:
获取目标物体的2.5D深度图像,将所述2.5D深度图像输入三维重建网络;
在三维重建网络中对所述2.5D深度图像进行三维重建处理,生成对应的三维模型。
优选地,所述变形预测网络包括生成网络和判别网络,所述将所述三维模型和基于目标物体特性生成的条件向量输入变形预测网络,得到变形预测网络输出的变形预测模型的步骤包括:
基于目标物体特性生成第一条件向量,将所述三维模型和所述第一条件向量输入生成网络,得到目标物体的预测变形量;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于王智华,未经王智华许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910365833.0/2.html,转载请声明来源钻瓜专利网。