[发明专利]一种信息物理空间的远程交互式操控系统及方法

摘要

本发明涉及一种信息物理空间的远程交互式操控系统及方法，该系统包括3D交互识别模块、2D交互识别模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；该方法可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制，与其他方法相比，该方法成本低廉，操作沉浸感强并且操作可以达到实时高效，对于未来的物理信息融合场景下人机交互有着非常广阔的应用前景。

主权项

一种信息物理空间的远程交互式操控方法，所使用的信息物理空间的远程交互式操控系统包括人机交互模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包括3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别，然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别模块用于进行3D交互识别模块操控的模式切换和对3D交互识别模块映射在虚拟场景范围进行操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物理对象世界坐标传输给处理器；将相关物理对象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄的相关物理对象世界坐标与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块用于显示物理信息融合模块的物理信息融合场景和人机交互模块的人手参数化模型；其特征在于包括下述步骤：步骤1：物理世界场景采集模块获取世界物理场景；步骤2：物理信息融合模块将获取的物理世界场景与信息对象融合在一起，转换成物理信息融合场景；步骤3：人机交互模块捕获用户2D和3D的交互指令：步骤3a：人机交互模块中的2D交互识别模块识别用户2D交互指令；步骤3b：人机交互模块中的3D交互识别模块识别用户3D交互指令；步骤3c：2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融合场景下的图像平面坐标；μa′νa′=sx×(nx′xp′+ox′yp′)+px′sy×(ny′xp′+oy′xp′)+py′]]>其中(x′p,y′p)为平面感应板坐标系下的一点坐标；(μ′a,ν′a)为(x′p,y′p)映射到物理信息融合场景下的一点图像坐标；sx,sy分别为平面感应板上单位距离到物理信息融合场景中的显示图像在X轴和Y轴的放缩比例系数；是平面感应板X轴在物理信息融合场景中的方向向量；是平面感应板Y轴在物理信息融合场景中的方向向量；p′＝[p′x p′y]T是平面感应板坐标原点在物理信息融合场景中的位置；步骤3d：3D交互识别模块将世界空间中任意一点三维坐标转换至物理信息融合场景中的图像坐标；对相机进行内外参数的标定，计算出相机的内外参数相关矩阵参数；世界空间的任意一点，通过相机内外参数矩阵，映射到图像上一点对应的图像坐标，显示在虚拟场景之中；世界空间中任意一点三维坐标为A(xwa,ywa,zwa)，映射到物理信息融合场景中的图像坐标为A'(μa,νa)，则有以下关系：μava1=kx×(nxxwa+oxywa+axzwa+px)zca+μ0ky×(nyxwa+oyywa+ayzwa+py)zca+ν0(nyxwa+oyywa+ayzwa+py)zca]]>其中kx＝σxf；ky＝σyf；σx,σy分别为成像平面到图像平面上x,y两个方向上的放缩比例系数；f为焦距；(μ0,ν0)为图像物理坐标系原点在图像坐标系中的坐标；是X轴在相机坐标系中的方向向量；是Y轴在相机坐标系中的方向向量；是Z轴在相机坐标系中的方向向量；是世界坐标系原点在相机坐标系中的位置；dx,dy为每一个像素点在x,y轴方向上的物理尺寸，则在虚拟场景显示图像与世界坐标在x,y的比例系数分别为：步骤3e：总处理器将2D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；步骤3f：总处理器将3D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；步骤3g：总处理器将2D和3D交互识别模块进行融合匹配，完成物理信息融合场景下的人机交互；步骤4：总处理器接收用户2D和3D的交互指令，并将交互指令转化为控制指令；步骤5：总处理器根据控制指令控制物理信息目标物体对象的变化；步骤6：视频显示模块显示物理信息融合场景和人机交互模块控制对象变化的实时显示。