[发明专利]一种基于投影融合和图像识别的交互系统及控制方法

说明书

本发明涉及一种基于投影融合和图像识别的交互系统及控制方法，系统包括设备主体、操控单元、感知模型和三维显示屏；设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机。采用实时自然的交互方式，采用“所见即所得”的形式反映实际工作态势，把视频或者音频中听到的信息变为看得到的实际物理模型和虚拟保障态势，可以更直观的了解全局的工作态势，便于使用人员掌握全局信息，做出决策。

技术领域

本发明涉及计算机人机交互技术领域，尤其涉及一种基于投影融合和图像识别的交互系统及控制方法。

背景技术

近年来，随着计算机、光学、图形学、计算机视觉、虚拟现实和增强现实等技术的发展，各种各样的人机交互技术和人机交互式设备出现，基于超短焦投影融合和图像识别跟踪技术的通用交互设备是结合激光超短焦投影技术、图象识别跟踪技术、虚拟现实技术以及增强现实技术的一种保障设备技术方案。

原有的同类型交互式设备主要采用物理同比缩放模型，用于辅助相关人员，采用语音、视频、目视等传统手段对装备或设备位置、工作情况等信息进行维护，仍采用人工的使用方式，在交互设备上建立整体的工作态势信息，但不具备各缩放模型的自动识别能力,缺少智能自动化手段，不同的工作场景需要构建不同的物理模型，单设备不能通用化，并且交互设备一般单独使用，不能将工作态势信息进行发布。

发明内容

鉴于上述的分析，本发明旨在提供一种基于投影融合和图像识别的交互系统及控制方法，用以克服现有技术中无法提供一种通用、可配置场景的方案，无法自动、实时、直观地呈现全局工作态势，无法符合人机工学特点提供一种新的人机交互方式等诸多问题。

本发明的目的主要是通过以下技术方案实现的：

在基于本发明实施例的一个方面，提供了一种基于投影融合和图像识别的交互系统，包括设备主体、操控单元、感知模型和三维显示屏；所述设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机；操控单元与高性能计算机连接，用于参数配置和状态信息交互；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述交互系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和高速识别摄像机用于场景显示、模型信息采集以及融合处理显示。

在基于本发明系统的另一个实施例中，还包括状态信息监视器，所述状态信息监视器通过以太网与设备主体连接，用于远程显示三维模型场景实时状态信息。

在基于本发明系统的另一个实施例中，还包括状态信息发布单元，所述状态信息发布单元通过以太网与设备主体连接，用于发布采集到的观测现场及待观测设备的全局信息。

在基于本发明系统的另一个实施例中，还包括用于安装各组成设备的操控台体，为设备提供主体安装框架。

在基于本发明系统的另一个实施例中，交互系统用于场景显示时，由所述高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过超短焦投影设备将图象投影到投影成像及信息采集屏进行成像显示；

所述交互系统用于模型信息采集时，两台以上高速识别摄像机同时采集放置在投影成像及信息采集屏上的感知模型信息，并将采集到的信息传输至高性能计算机，由计算机进行融合处理，并进行图像识别和跟踪，实时计算感知模型的位置；

所述交互系统用于融合处理显示时，高性能计算机根据采集到的信息构建感知模型的虚拟三维模型，与三维模拟场景进行融合，并由高性能计算机将其输出至三维显示屏进行三维场景显示。

在基于本发明系统的另一个实施例中，还包括光线调节模组，光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。