[发明专利]一种基于MR技术的机动车驾驶智能培训系统

权利要求书

1.一种基于MR技术的机动车驾驶智能培训系统，其特征在于，包括机动车仿真驾驶舱、运动平台、第一数据处理器以及CAVE沉浸式MR视听系统，所述第一数据处理器分别与运动平台、机动车仿真驾驶舱、CAVE沉浸式MR视听系统连接，所述机动车仿真驾驶舱还与运动平台、CAVE沉浸式MR视听系统连接；

所述机动车仿真驾驶舱固定设置在运动平台上，所述机动车仿真驾驶舱用于为驾驶员提供驾驶操作环境；

所述运动平台用于模拟行车过程中的车辆振动情况，将模拟的行车路况及车辆驾驶进行实时反馈；

所述第一数据处理器用于接收由机动车仿真驾驶舱中各组件采集的驾驶员操作指令及驾驶数据、模拟机动车驾驶过程中的运动及视听场景，第一数据处理器对驾驶数据进行协同运算后实时反馈至运动平台和CAVE沉浸式MR视听系统，进而将机动车驾驶过程中的运动及视听场景进行仿真输出；

所述驾驶员操作指令包括方向盘转角控制、油门控制、刹车控制、离合控制、档位控制，所述驾驶数据包括方向盘转角、各类踏板的开合幅度以及档位数值，所述协同运算包括对运动平台的运动学分析，即运动学正解和运动学反解；

所述CAVE沉浸式MR视听系统包括CAVE主体支架、投影屏幕、第二数据处理器、多组运动追踪摄像头、运动追踪模块和3D眼镜以及环绕立体音响系统，第一数据处理器分别与多组运动追踪摄像头、投影屏幕、第二数据处理器连接，CAVE主体支架分别与多组运动追踪摄像头、环绕立体音响系统连接，第二数据处理器分别与投影屏幕、环绕立体音响系统连接，运动追踪模块分别与机动车仿真驾驶舱、3D眼镜连接；

所述投影屏幕和环绕立体音响系统分别固定设置在CAVE主体支架上，从而形成一个环绕的洞穴式立体视听空间，所述投影屏幕用于显示虚拟驾驶场景的交互界面；

多组运动追踪摄像头分别固定设置在CAVE主体支架上，所述多组运动追踪摄像头用于捕捉驾驶员在模拟驾驶过程中的运动情况，所述运动追踪模块用于捕获驾驶员视线位置信息、机动车仿真驾驶舱位置信息；

当驾驶员进行虚拟驾驶活动时，利用3D眼镜结合投影屏幕进行显示，将双通道不同频率输出的2D视频画面转化为3D影像，结合运动追踪摄像头和运动追踪模块得到运动追踪情况，第二数据处理器将驾驶员操作指令及驾驶数据传输至第一数据处理器进而调节运动平台，第二数据处理器对运动追踪情况进行解析并将运动追踪视频、运动追踪音频信号实时输出至OLED高清显示屏及环绕立体音响系统，从而为驾驶员提供机动车仿真驾驶环境。

2.根据权利要求1所述的基于MR技术的机动车驾驶智能培训系统，其特征在于，所述第二数据处理器对运动追踪情况进行解析并将运动追踪视频、运动追踪音频信号实时输出至OLED高清显示屏及环绕立体音响系统，具体包括以下步骤：

运动目标捕捉步骤：基于前景检测算法检测运动目标，所述前景检测算法采用背景减除法、帧间差分法和光流法中的任一种方法；

识别步骤：基于分类特征参数识别运动目标并进行分类，筛选出运动目标为驾驶员的识别目标并作为跟踪目标；

跟踪步骤：基于重心位置的点跟踪法对跟踪目标进行跟踪；

所述识别步骤采用基于模板特征匹配方法或机器学习方法进行识别运动目标；

所述基于重心位置的点跟踪法对跟踪目标进行跟踪，具体包括以下步骤：

目标匹配步骤：计算视频第一帧内所有目标的重心坐标和分配目标ID，即根据扫描图像的方向，从数字1开始为每一个目标分配一个ID，并将数值最大的ID标识为ID_max；

搜索区域获取步骤：对于视频第n帧的第N个目标，计算其重心坐标，同时得到该目标在第n-1帧的搜索区域，其中，n＝2,3,……,num_n，N＝1,2,3,……num_N，num_n、num_N分别表示视频的最大帧数量、视频的最大目标数量；

目标搜索步骤：在搜索区域内搜索目标并基于目标之间相似度偏差值最小的目标进行跟踪。