[发明专利]一种基于现实增强技术的复杂场景康复训练方法

权利要求书

1.一种基于现实增强技术的复杂场景康复训练方法，其特征是，包括以下步骤：

a、构建用于弱视患者辅助训练的模型部件的三维数据库；

b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；

c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；

d、快速估计真实场景的光照条件并进行重建场景的光照分布；

e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。

2.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤a中，结合现实模型部件的特征，利用模型虚拟设计软件，构建模型部件的三维数据库，每个模型部件的三维数据单独导出，并保存为OBJ格式的模型数据，同时添加相对应的知识语义信息。

3.根据权利要求2所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤a中，针对每个三维模型部件，分别对其指定纹理贴图和光照反射模型，然后根据知识语义信息中的指示动作对三维数据库进行分类。

4.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤b中，使用基于双目图像的立体视觉算法，首先提取真实场景双目图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复真实场景的三维几何信息，重建复杂真实场景。

5.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤c中，通过ICP算法求解相机的位姿，将当前帧的点与上一帧得到的预测表面的点进行匹配；在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到图像平面上的坐标对应的预测表面上的点，然后将其线性化，并利用SVD分解的方法计算相机六自由度变换矩阵，从而将模型部件的三维数据叠加到重建场景中。

6.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤d中，首先使用离散的平行光源模拟真实场景中的光照分布，然后根据重建场景的三维特征信息，通过朗伯光照模型建立重建场景中对象物体产生阴影的方程组，求解方程组即可估算出每个光源的相位角和强度，从而得到重建场景的光照分布。

7.根据权利要求1所述的基于现实增强技术的复杂场景康复训练方法，其特征是，步骤e中，利用双目及手持加速度传感器采集并识别患者的运动信息，将辅助训练信息、患者的运动信息与重建场景进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。