[发明专利]一种信息物理空间的远程交互式操控系统及方法

说明书

技术领域

本发明涉及物理信息融合环境下的人机交互技术，特别涉及一种人机交互系统与人机交互方法。

背景技术

物理信息融合技术，也就是虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。

目前，在现有的虚拟现实系统中，只是将虚拟信息静态的叠加现实在虚拟现实场景中，而不能对物理信息融合场景下的虚拟现实模型进行实时的人机操控。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种在虚拟现实融合系统下的实时人机交互系统和方法。该系统可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制。

技术方案

一种信息物理空间的远程交互式操控方法，所使用的信息物理空间的远程交互式操控系统包括人机交互模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包括3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别，然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别模块用于进行3D交互识别模块操控的模式切换和对3D交互识别模块映射在虚拟场景范围进行操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物理对象世界坐标传输给处理器；将相关物理对象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄的相关物理对象世界坐标与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块用于显示物理信息融合模块的物理信息融合场景和人机交互模块的人手参数化模型；其特征在于包括下述步骤：

步骤1：物理世界场景采集模块获取世界物理场景；

步骤2：物理信息融合模块将获取的物理世界场景与信息对象融合在一起，转换成物理信息融合场景；

步骤3：人机交互模块捕获用户2D和3D的交互指令：

步骤3a：人机交互模块中的2D交互识别模块识别用户2D交互指令；

步骤3b：人机交互模块中的3D交互识别模块识别用户3D交互指令；

步骤3c：2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融合场景下的图像平面坐标；

其中(x′_p,y′_p)为平面感应板坐标系下的一点坐标；(μ′_a,ν′_a)为(x′_p,y′_p)映射到物理信息融合场景下的一点图像坐标；

s_x,s_y分别为平面感应板上单位距离到物理信息融合场景中的显示图像在X轴和Y轴的放缩比例系数；

是平面感应板X轴在物理信息融合场景中的方向向量；

是平面感应板Y轴在物理信息融合场景中的方向向量；

p′＝[p′_x p′_y]^T是平面感应板坐标原点在物理信息融合场景中的位置；

步骤3d：3D交互识别模块将世界空间中任意一点三维坐标转换至物理信息融合场景中的图像坐标；

对相机进行内外参数的标定，计算出相机的内外参数相关矩阵参数；世界空间的任意一点，通过相机内外参数矩阵，映射到图像上一点对应的图像坐标，显示在虚拟场景之中；世界空间中任意一点三维坐标为A(x_wa,y_wa,z_wa)，映射到物理信息融合场景中的图像坐标为A'(μ_a,ν_a)，则有以下关系：

其中k_x＝σ_xf；k_y＝σ_yf；σ_x,σ_y分别为成像平面到图像平面上x,y两个方向上的放缩比例系数；f为焦距；

(μ₀,ν₀)为图像物理坐标系原点在图像坐标系中的坐标；

是X轴在相机坐标系中的方向向量；

是Y轴在相机坐标系中的方向向量；

是Z轴在相机坐标系中的方向向量；

是世界坐标系原点在相机坐标系中的位置；