[发明专利]真实感三维场景的体感交互式绘制系统与方法

摘要

本发明公开一种真实感三维场景的体感交互式绘制系统与方法，使用多个GPU计算结点组成的并行计算集群，利用GPU并行光线跟踪技术实现对真实感三维场景的绘制。利用单个GPU计算结点内和多个GPU计算结点间的不同并行粒度，充分发挥了GPU计算集群的并行能力。利用Kinect体感传感器来采集参与交互者的景深数据，并据此提取参与交互者的骨骼关节点，用于体感交互控制。本发明可支持单个参与交互者与三维场景中的单个几何对象之间的体感交互，实现使三维交互几何对象招之即来、挥之即去的体感交互效果。

主权项

真实感三维场景的体感交互式绘制方法，其特征在于，所需的设备和实现步骤如下：所需的设备：Kinect体感传感器101、控制与显示计算机102、网络交换机103和n个GPU计算结点，n＝2k，k为大于0的整数；GPU计算结点是软硬件配置完全相同的安装有GPU的计算机；Kinect体感传感器101直接连接到控制与显示计算机102；控制与显示计算机102和所有GPU计算结点通过网络交换机103相互连接在一起；本方法涉及一种数据结构BLOCK，数据结构BLOCK包含起始行号I1、结束行号I2、起始列号C1和结束列号C2共四个成员变量；本方法的实现步骤：Step001：启动安装在控制与显示计算机102上的交互式绘制控制程序A001；令变量STATE＝0；Step002：利用交互式绘制控制程序A001，将三维场景模型文件A002通过网络从控制与显示计算机102传送给各个GPU计算结点，使各个GPU计算结点中各有一份三维场景模型文件A002的拷贝；利用交互式绘制控制程序A001，将初始虚拟相机参数配置文件CPAR通过网络从控制与显示计算机102传送给各个GPU计算结点，使各个GPU计算结点中各有一份初始虚拟相机参数配置文件CPAR的拷贝；初始虚拟相机参数配置文件CPAR描述了绘制三维场景时使用的虚拟相机的参数；Step003：启动安装在各个GPU计算结点上的光线跟踪绘制程序A003，加载三维场景模型文件A002，并根据初始虚拟相机参数配置文件CPAR的内容设置光线跟踪绘制程序A003的虚拟相机参数；Step004：如果收到停止绘制命令，转步骤Step011，否则执行如下操作：利用交互式绘制控制程序A001把绘制三维场景时使用的虚拟相机的整个画面像素区域分为n块，把每块视为一个画面像素子区域，n个画面像素子区域与n个GPU计算结点一一对应，所有画面像素子区域拼接在一起即构成完整的虚拟相机的画面像素区域；针对每个画面像素子区域A004，利用交互式绘制控制程序A001创建一个数据结构BLOCK类型的变量A005，把变量A005的起始行号I1成员变量赋值为像素子区域A004对应的画面像素起始行号，把变量A005的结束行号I2成员变量赋值为像素子区域A004对应的画面像素结束行号，把变量A005的起始列号C1成员变量赋值为像素子区域A004对应的画面像素起始列号，把变量A005的结束列号C2成员变量赋值为像素子区域A004对应的画面像素结束列号；把每个画面像素子区域A004对应的数据结构BLOCK类型的变量A005通过网络传送给每个画面像素子区域A004对应的GPU计算结点的光线跟踪绘制程序A003；Step005：对n个GPU计算结点中的每个GPU计算结点A006，并行地执行如下操作：根据GPU计算结点A006收到的BLOCK类型的变量A005，把变量A005的起始行号I1成员变量的值赋给变量idrb，把变量A005的结束行号I2成员变量的值赋给变量idre，把变量A005的起始列号C1成员变量的值赋给变量idcb，把变量A005的结束列号C2成员变量的值赋给变量idce；利用GPU计算结点A006的光线跟踪绘制程序A003，基于GPU并行光线跟踪技术绘制虚拟相机的第idrb行至第idre行、第idcb列至idce列的像素，并把虚拟相机的第idrb行至第idre行、第idcb列至idce列的像素的颜色值通过网络传送给交互式绘制控制程序A001；Step006：交互式绘制控制程序A001根据在步骤Step004中针对每个画面像素子区域A004所创建的数据结构BLOCK类型的变量A005的值，确定每个画面像素子区域的起始行号、结束行号、起始列号和结束列号，并利用画面像素子区域与GPU计算结点的一一对应关系，把从所有GPU计算结点发来的像素颜色值拼接成完整的虚拟相机的画面A007，并把画面A007显示在控制与显示计算机102的显示器上；Step007：利用Kinect体感传感器101获取参与体感交互者的景深数据，在控制与显示计算机102上，使用骨骼追踪技术获得参与体感交互者的左腕、左肘、左肩、右腕、右肘、右肩、肩中央、腰脊柱的骨骼关节点的三维坐标；令VR1表示从右肘骨骼关节点指向右腕骨骼关节点的向量，令VR2表示从右肘骨骼关节点指向右肩骨骼关节点的向量；令VL1表示从左肩骨骼关节点指向左肘骨骼关节点的向量，令VL2表示从肩中央骨骼关节点指向腰脊柱骨骼关节点的向量，令VL3表示从左腕骨骼关节点指向左肘骨骼关节点的向量；令RB等于VR1与VR2的夹角；令LB等于VL1与VL2的夹角，令LA等于VL1与VL3的夹角；读取Kinect体感传感器输出的连续的30帧参与体感交互者的景深数据，判断其中是否存在一帧景深数据A008满足如下条件：条件COND1：根据对景深数据A008的骨骼追踪结果计算得到的RB小于30度；如果条件COND1得到满足，令变量STATE＝1，转步骤Step008，否则进一步判断其中是否存在一帧景深数据A009满足如下条件：条件COND2：根据对景深数据A009的骨骼追踪结果计算得到的LB大于80度，且根据对景深数据A009的骨骼追踪结果计算得到的LA大于130度；如果条件COND2得到满足，令变量STATE＝‑1；Step008：在控制与显示计算机102上，通过网络把STATE的值发送给各个GPU计算结点上的光线跟踪绘制程序A003；Step009：对n个GPU计算结点中的每个GPU计算结点A010，做如下操作：在GPU计算结点A010的光线跟踪绘制程序A003中，利用三维平移变换技术，把三维场景中的与体感交互者进行交互的几何对象朝着虚拟相机所在位置平移一个大小为STATE×ΔL的位移，ΔL表示平移长度，为大于零的实数，变量STATE是从控制与显示计算机102发给GPU计算结点A010的；Step010：转步骤Step004；Step011：停止绘制。