[发明专利]一种面向物体位姿估计的合成数据模板库生成方法

说明书

本发明提供一种面向物体位姿估计的合成数据模板库生成方法，首先基于Unity3D引擎搭建了一个面向模板库生成的合成场景，主要包括光照设置及相机逐帧拍摄的脚本绑定；基于斐波那契网格生成相机视点的方法，同时基于改进Unity Perception修改相机的旋转角度实现虚拟相机的拍摄；基于动态放大和区域剪裁的目标区域获取算法，引入放大系数，能够满足不同尺寸目标物体的剪裁，保证剪裁区域能够完整地包含目标物体，尽可能地减少背景和非目标物体产生的干扰。本发明区别于现有的模板库生成方法，仅使用真实场景的图像而不需使用真实物体的相关标注，同时，本发明对于因采集设备受限从而无法获取真实物体位姿信息的使用者更为友好。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种面向物体位姿估计的合成数据模板库生成方法。

背景技术

物体位姿估计是计算机视觉领域的热点研究问题，依据其实现方式主要可分为基于关键点的物体位姿估计、基于坐标的物体位姿估计和基于模板的物体位姿估计。物体位姿估计在机器人抓取、泛虚拟现实等领域有着广泛的应用，例如在工业上，机械臂通过预测工业零件的位姿信息进行目标物体的抓取；在泛虚拟现实领域，依据真实物体的位姿信息进行虚拟模型的叠加。

常见的目标物体如螺丝、扳手等均为弱纹理物体，而基于关键点和基于坐标的物体位姿估计不能准确地预测弱纹理物体的位姿信息，因此对于弱纹理物体的位姿估计常使用基于模板的位姿估计方法进行预测。其中，模板库的生成是至关重要的，能够直接影响弱纹理物体位姿估计的准确率。因此需要一种方法来生成有效的模板库，来更好地解决弱纹理物体的位姿估计任务。

模板库的生成主要分为：目标图像生成、目标模板生成和图像-模板匹配三个步骤。现有方法在目标图像生成中，依据真实图像的位姿信息和目标检测算法来实现；在目标模板生成中，基于渲染通过递归地分割二十面体来实现，将二十面体也就是最大的凸正多面体的每个三角形替换为4个几乎等边的三角形并进行多次迭代来选取相机的视点，对3D模型进行采样。在图像-模板匹配中，通过使用最近邻算法进行处理来实现目标图像和目标模板的匹配。现有方法对于真实图像的数据标注利用较多，在设备受限的情况下，无法获取真实的位姿信息。

现阶段，基于模板的物体位姿估计算法已经较为成熟，但对于模板库生成的方法研究较少，使用方法大多是依据真实物体位姿信息标注的数据来进行模板库生成，然而在设备受限的情况下，无法获取真实物体的标注数据，因此现有的目标图像生成方法和图像-模板匹配难以满足需求。对于模板的生成，现有方案大多依赖于渲染平台，通过渲染来进行相机视角的选取，并不断修改多面体的尺寸来生成不同尺度的模板，实现时间较长且较为复杂。

发明内容

基于上述问题，本发明提供一种面向物体位姿估计的合成数据模板库生成方法，是一种新的基于Unity3D引擎的合成数据模板库生成方法，该方法不依赖真实物体的位姿信息标注，同时通过改进Unity Perception可快速实现相机视角的定位生成模板库。

一种面向物体位姿估计的合成数据模板库生成方法，包括：

步骤1：通过LineMOD Occlusion数据集进行合成场景的搭建；包括：

步骤1.1：基于MeshLab提取LineMOD Occlusion数据集中目标物体3D模型的纹理信息；

步骤1.2：将纹理信息与3D模型一同导入至Unity中获得带有纹理信息的目标物体3D模型；

步骤1.3：以目标物体3D模型为中心，设置8个线性光源对目标物体3D模型实现光照；

步骤1.4：利用Unity Perception中的Perception Camera的脚本对相机进行绑定，完成合成场景的搭建；

步骤2：基于斐波那契网格的相机视点生成方法生成目标图像与目标模板；包括：