[发明专利]一种立体视觉影像与三维虚拟物体的无缝融合方法

说明书

技术领域

本发明涉及机器人遥操作领域，尤指用于机器人操作定位的立体视觉影像与三维虚拟物体的无缝融合方法。

背景技术

现有的机器人遥操作控制长期以来依赖于二维影像，其相比现实环境中的三维影像差距相当大，因此一直以来采用二维影像对机器人遥操作进行定位，普遍存在着操作定位不准的问题。

实现基于真实环境的立体影像与三维虚拟对象物体的无缝融合，需要将遥操作场景的立体影像与虚拟三维物体、虚拟机器人姿态动态融合在一起。这样做的目的是有助于突破遥操作控制长期以来依赖于二维影像、操作定位精度差的瓶颈，为遥操作控制提供深度沉浸感的虚拟仿真环境。

发明内容

针对现有技术存在的问题，本发明提供一种对机器人摇操作控制提供虚拟仿真环境的立体视觉影像与三维虚拟物体的无缝融合方法。

为实现上述目的，本发明的立体视觉影像与三维虚拟物体的无缝融合方法，具体为：1)采集实际立体视觉影像；2)根据特征信息提取算法对采集到得立体视觉影像和虚拟图像模型进行特征提取，进而进行立体视觉影像和虚拟图像模型的匹配；3)通过旋转匹配后的虚拟图像模型，进行匹配分值计算，以确定匹配虚拟图像模型的位姿；4)匹配虚拟图像模型的尺度调整；5)将匹配完全的虚拟图像模型代置遥操作现场的真实对象物体。

进一步，所述虚拟图像模型存储于模型库中，并可通过不同指令进行调用、存取模型信息。

进一步，步骤3)中虚拟图像模型的位姿确定的具体步骤为：建立位姿匹配的经验阀值，每旋转一次虚拟图像模型，通过计算得到实际阀值，实际阀值低于经验阀值时，认定虚拟图像模型与立体视觉影像的位姿不一致，继续旋转虚拟图像模型，当实际阀值高于经验阀值时，将此位姿记录下来，最后统计得到实际阀值最高时的虚拟图像模型位姿即与立体视觉影像中的对象物体位姿一致。

进一步，步骤4)中虚拟图像模型的尺度调整需要对虚拟图像模型在维度上进行缩放，缩放的比例由真实场景影像中对象物体的包容盒与相同位姿下虚拟图像模型的包容盒的尺度比作为系数，进行调整。

进一步，步骤5)中真实场景中对象物体等尺度的虚拟图像模型被放回到真实场景中，需要进行从世界坐标系到相机坐标系的转换。

本发明的立体视觉影像与三维虚拟物体的无缝融合方法，实现基于真实环境的立体影像与三维虚拟对象物体的无缝融合，需要将遥操作场景的立体影像与虚拟三维物体、虚拟机器人姿态动态融合在一起。这样做的目的是有助于突破遥操作控制长期以来依赖于二维影像、操作定位精度差的瓶颈，为遥操作控制提供深度沉浸感的虚拟仿真环境。

附图说明

图1为本发明的融合方法的流程图；

图2为虚拟图像模型位姿计算流程图；

图3为双目立体成像原理图；

图4a和图4b为基于双路视频的虚实融合示例图。

具体实施方式

如图1所示，本发明的立体视觉影像与三维虚拟物体的无缝融合方法，具体为：

1.对象物体的交互选取：

对象物体的选取可以在左右视频影像中进行，具体操作与屏幕区域选取相似。

2.模型特征提取及匹配检索：

利用特征信息提取算法进行特征提取及与模型知识库内的模型进行特征提取和匹配。

特征的提取与所选中对象物体在视频影像中所处的角度有关，比较好的角度应该是能最大限度展现对象特殊性的角度。在进行特征匹配时，系统采用增量转动模型的方法来保证匹配的准确度。

特征提取SIFT算法详细步骤：

(1)尺度空间的生成

尺度空间理论目的是模拟图像数据的多尺度特征。

高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，yσ)*I(x，y)                (1)

其中G(x，y，σ)是尺度可变高斯函数，(x，y)是空间坐标，σ是尺度坐标。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)    (3)

DOG算子计算简单，是尺度归一化的LoG算子的近似。

(2)构建尺度空间需确定的参数

σ-尺度空间坐标

O-octave坐标

S-sub-level坐标