[发明专利]一种基于kinect传感器的飞行模拟器动态视点系统

摘要

本发明涉及一种基于kinect传感器的飞行模拟器动态视点系统，其特征在于kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连。其通过飞行模拟器动态视点系统，使得当飞行员的眼睛相对屏幕发生位置改变时，能够实时更新投影矩阵，然后飞行模拟器通过投影矩阵的变化而变化屏幕图像。当飞行员透过窗口观察环境时，应用这种系统能够将实际视线范围内的内容呈现在屏幕上，从而使飞行员有更好的沉浸感和临场感，使飞行员的模拟训练更加贴近实际，提高飞行员的飞行水平。

主权项

一种基于kinect传感器的飞行模拟器动态视点系统，由上侧电视屏幕、前侧电视屏幕、右侧电视屏幕、仪表板、kinect传感器、左侧电视屏幕、固定板、3D图形输出线束、网络通信线束、驾驶舱组成，其特征在于：驾驶舱是参照某武装直升机舱体形状、尺寸进行设计的，模拟驾驶舱内驾驶杆、总距杆、脚踏板及座椅等机构的安装位置均对应真实直升机驾驶舱相对应的位置，电视屏幕与kinect的安装位置：上侧电视屏幕布置在驾驶舱的顶部，前侧电视屏幕布置在驾驶舱的前端，左侧电视屏幕布置在驾驶舱的左侧，右侧电视屏幕布置在驾驶舱的右侧，仪表板位于前侧电视屏幕的下方，仪表板与前侧电视屏幕之间布置kinect传感器，kinect传感器与固定板相连，kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连；具体的运算方法如下：首先采用视点定位技术是对飞行员的眼睛进行定位，其大概过程是先提取出飞行员脸部的区域，再通过眼睛的四个特征点来定位人眼；应用Snake模型提取人脸边界；Snake模型：E internal表示轮廓的内在能量，E image代表图像能量，E constraint代表约束力能量，脸部的位置对应着该算法的局部最小区域，应用快速贪婪算法得出Snake算法的最小局部区域，最终定位出人脸区域；脸部提取出来后，利用人体的脸部特征来粗略的定位出人眼区域，在人眼区域筛选出四个显著的眼角特征点；在进行眼角特征点探测时，首先对眼部图像进行二值化处理，得到二值化图像。通过不同的阈值分割二值化眼部图像可以得到大量的边缘图像，这些图像中包含着四个眼角点，通过表格法得到大量可能作为C 0、C 1、C 2、C 3的点，然后对这些点进行筛选，选取最佳眼角特征点；筛选C 0，C 1：先通过人体脸部的特征来获取符合C 0和C 1的点集；利用代价函数：当cost的值最小时，对应的C 0，C 1就是最佳匹配点。K 1，K 2分别是两个子项的权重系数，为dy的最大值，|D|为两区域的灰度值差异性，|D|max是|D|的最大值；同理，在筛选C 2，C 3时，根据C 2与C 0，C 3和C 1的位置关系选取点集，然后再通过代价函数筛选出最佳的C 2，C 3点；通过探测到的四个点的位置，得出眼睛的位置，通过对应的三维点云图得出眼睛的三维坐标，也就是视点的坐标；然后采用动态视点技术，左上角点、左下角点、右下角点、视点在三维空间中坐标是、、、；可得屏幕的次法向量为：切向量为：屏幕的位置为：可得屏幕的法向量为：然后对法向量，切向量，次法向量进行向量归一化处理，分别得到：根据屏幕位置坐标和视点坐标，可得视点相对屏幕的位置为：在透视投影中，有远近裁剪面，设远、近裁剪面到视点的距离为，然后通过视点相对屏幕的位置计算出视点相对于屏幕的调整比例，调整比例为：已知法向量、切向量、法向量各自的归一化向量，然后通过与视点相对屏幕的位置结合计算出视点所看到的视景边界值；将所计算的带入投影矩阵可得：根据公式可得当飞行员相对屏幕的视点发生变化时，投影矩阵将发生变化，从而带动屏幕图像的改变，从而达到更好的模拟效果；同理，可得左、右、上屏幕的动态视点技术。