[发明专利]一种基于投影融合和图像识别的交互系统及控制方法

权利要求书

1.一种基于投影融合和图像识别的交互系统，其特征在于，包括设备主体、操控单元、感知模型和三维显示屏；所述设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机；操控单元与高性能计算机连接，用于参数配置和状态信息交互；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述交互系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和高速识别摄像机用于场景显示、模型信息采集以及融合处理显示。

2.如权利要求1所述的系统，其特征在于，操控单元与高性能计算机的连接方式为通过以太网无线连接，便于远程操作。

3.如权利要求2所述的系统，其特征在于，还包括用于安装各组成设备的操控台体，为设备提供主体安装框架。

4.如权利要求3所述的系统，其特征在于，所述交互系统用于场景显示时，由所述高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过超短焦投影设备将图象投影到投影成像及信息采集屏进行成像显示；

所述交互系统用于模型信息采集时，两台以上高速识别摄像机同时采集放置在投影成像及信息采集屏上的感知模型信息，并将采集到的信息传输至高性能计算机，由计算机进行融合处理，并进行图像识别和跟踪，实时计算感知模型的位置；

所述交互系统用于融合处理显示时，高性能计算机根据采集到的信息构建感知模型的虚拟三维模型，与三维模拟场景进行融合，并由高性能计算机将其输出至三维显示屏进行三维场景显示。

5.如权利要求4所述的系统，其特征在于，还包括光线调节模组，光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

6.如权利要求5所述的系统，其特征在于，所述感知模型为用于标记某一装备或设备的模型，具有特殊标识；工作时，感知模型摆放在投影成像及信息采集屏上，拖动感知模型来控制三维模拟场景下待观测设备对应的三维模型的同步显示。

7.一种基于权利要求1-6之一所述系统的交互控制方法，其特征在于，包括：

步骤S1：系统启动，高性能计算机向超短焦投影设备提供视频显示信息，在投影成像及信息采集屏上生成全局工作状态二维场景；

步骤S2：在二维场景中摆放感知模型，高性能计算机根据感知模型唯一标识获取待观测设备的实体类型及状态信息、进行状态信息动态维护；

步骤S3：高性能计算机建立三维模拟场景，根据采集到的感知模型信息建立待观测设备对应的三维模型并与三维模拟场景融合；

步骤S4：操作人员通过三维模拟场景下待观测设备的实时状态根据工作需要进行操作。

8.如权利要求7所述的方法，其特征在于，步骤S4具体包括：

步骤S41：保障推演及教学，利用记录的历史数据信息，重现全局工作态势，并对流程进行复现和回放；

步骤S42：场景漫游，通过控制感知模型，把该感知模型放在感知桌面的交互区域，在3D视角下，进行场景漫游，全面了解工作情况。