[发明专利]位姿匹配模型的强化学习方法、装置、及位姿匹配方法

说明书

本发明公开了位姿匹配模型的强化学习方法、装置、位姿匹配方法、网络训练设备及存储介质。其中，强化学习方法包括：在增强现实画面中，获取机器实体及对应的机器虚拟体；确定机器实体的位姿，以及机器虚拟体当前的位姿；根据机器实体的位姿及机器虚拟体当前的位姿，控制机器虚拟体采用一个动作；基于机器实体的位姿，以及机器虚拟体采用动作前后的位姿，评价动作，并更新位姿匹配模型的网络参数；判断当前是否满足结束此轮强化学习的预设匹配条件；若是，返回继续进行强化学习，否则，结束此轮强化学习。通过本发明，可让机器虚拟体根据机器实物的位置和姿势，自己进行旋转、平移操作，以实现在增强现实画面中的机器虚拟体与机器实体的位姿匹配。

技术领域

本发明涉及增强现实技术，尤其涉及位姿匹配模型的强化学习方法、装置、及位姿匹配方法。

背景技术

机器和装置的维护和维修成本很高。美国汽车维修行业产生620亿美元的年收入。全球电厂维护和维修市场是一个320亿美元的行业。到2020年，全球风力涡轮机运营和维护市场预计将达到170亿美元。这些成本的很大一部分包括教育、培训以及随后对这些行业的涉及人员进行各个层面的再培训。这些人员的培训通常需要旅行和专门课程。随着机器和技术的更新，人员可能需要接受再培训。目前，参考资料通常作为手册访问，具有书面步骤和图形-这种解决方案仅满足学习和理解的五种主要风格之一(视觉、逻辑、听觉、身体和语言)。

增强现实(Augmented Reality，简称AR)，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。

应用增强现实技术(AR)可以使人们对于机器维修的学习和理解起到全面的帮助。而如何使得在增强现实画面中虚拟机器模型与机器实体快速匹配则是采用AR技术实现机器维修学习的一个难点，目前增强现实画面中虚拟体和实体一般是不同的内容，因此，很少会涉及到实体和实体对应的虚拟体的位姿匹配问题，即使需要用到，采用目前的增强显示技术也难以达到位姿匹配的精度及效率的要求。

因此，如何在增强现实画面中实现虚拟机器模型与机器实体的位姿(位置和姿势)快速匹配是目前亟需解决的技术问题。

发明内容

为了实现在增强现实画面中虚拟模型和实物的位姿快速匹配，本发明提供一种位姿匹配模型的强化学习方法、装置、及位姿匹配方法。具体的，本发明的技术方案如下：

第一方面，本发明公开了一种位姿匹配模型的强化学习方法，包括：

S11，在增强现实画面中，获取机器实体及对应的机器虚拟体；

S12，确定所述机器实体的位姿，以及所述机器虚拟体当前的位姿；

S13，根据所述机器实体的位姿及所述机器虚拟体当前的位姿，控制所述机器虚拟体采用一个动作；

S14，基于所述机器实体的位姿，以及所述机器虚拟体采用所述动作前后的位姿，评价所述动作，并更新位姿匹配模型的网络参数；

S15，判断当前是否满足结束此轮强化学习的预设匹配条件；若是，进入步骤S16，否则返回步骤S12；

S16，结束此轮强化学习。