[发明专利]多模态智能化大型设备安拆培训系统

说明书

本发明公开了一种多模态智能化大型设备安拆培训系统，系统包括：安拆培训模块：根据虚拟现实技术对大型设备安拆现场进行建模；操作说明模块：包含安拆技术标准、操作技术规范；用于对不正确的操作进行提示和惩罚，并能够对技术标准和技术规范进行调整，实现安拆系统的自我优化；数据信息管理模块包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。本发明系统采用设备三维建模与融合多模态信息，能很好地解决多种大型特种设备的细腻度安拆培训，并能根据虚拟现实及深度学习技术对特种设备的安拆过程进行动态跟踪，完成安拆培训系统的智能化运行、升级、优化，为培养大型设备安拆人员提供了一个有效学习的手段。

技术领域

本发明属于教育培训系统设计技术领域，属于大型设备安拆施工教育培训系统设计技术领域，涉及一种多模态智能化大型设备安拆培训系统及方法。

背景技术

目前，科技日新月异，城市建设的速度也在逐年变快，大型特种设备作为施工中最重要的机械之一，使用量逐年飞速增加，随之而来的大型特种设备施工安全问题一直是近年比较关注的。由于大型特种设备具有复杂的结构、安装过程复杂，不仅在安装拆卸过程中需注意施工安全，同时也要保证满足安装完成后的大型设备使用过程的安全要求。大型特种设备安拆作业必须具有一定经验和技能，这就需要对工作人员进行一系列的培训。目前所采用的大型特种设备安拆装工作人员的培训方式局限于安拆说明书，现场指导等，培训损耗巨大，危险系数很高。不仅给企业带来了经济上的约束，并且培训质量不高。

公开号为CN 108711326A的中国专利公开了“一种基于基于虚拟仿真的汽车教育培训系统”，根据通过VR眼镜使得学员可以看到立体化的汽车培训环境，来增加学院的实际经验，同时减少对设备的磨损。但是该技术仅仅通过图像数据进行培训，无法利用利用现有的大量文本数据，如操作说明书、操作日志等，进而使得培训效果局限于认为设定的图像数据中。而大型特种设备结构复杂，且在安拆过程中安全性、稳定性要求更高。同时，针对大型特种设备的安拆说明有明确的操作手册和规范要求，所以利用相关文本信息与图像信息融合可实现更加完善的大型特种设备安拆培训系统。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多模态数据智能化大型设备安拆培训系统。本发明系统不仅考虑大型设备局部组件安拆过程中的安全稳定性，同时考虑设备安拆过程中全局的稳定性；提供并实现更加具有细腻度、安全性更高的大型特种设备安拆培训。

本发明解决了传统大型设备安拆培训效率低，体验性弱和交互性差等问题。

本发明通过以下技术方案实现：

多模态智能化大型设备安拆培训系统，其特征在于：系统包括安拆培训模块、操作说明模块和数据信息管理模块；

安拆培训模块：根据虚拟现实技术对大型设备安拆现场进行建模；

操作说明模块：包含：安拆技术标准，操作技术规范；用于对不正确的操作进行提示和惩罚，并能够对技术标准和技术规范进行调整，实现安拆系统的自我优化；

数据信息管理模块：包括安拆培训系统的各组成部分以及管理不同大型设备的相关信息。

本发明利用虚拟现实技术，构建出三维运行场景，并结合多模态提高模型的真实度。本发明利用大型设备的图像信息、相关参数以及操作手册文本，融合多种模态的信息，并充分考虑大型设备安拆过程中可能出现的问题应对处理手段，设计了标准化、功能化的虚拟现实互动功能的安拆培训模块。针对于设备安拆过程中的一些步骤、说明以及相关的一些经验，构建操作说明模块，并根据反馈意见对模型进行不断的微调，以提升培训质量。对不同的大型设备构建数据信息管理模块，用于存储培训系统的一些相关信息以及不同设备的相关信息，以能够根据不同的大型设备进行更加细腻度的安拆工作。

本发明系统的三个模块具体描述如下：