[发明专利]一种虚拟模型通过远程协助方式和视频流同时传输的方法

说明书

提供了一种将虚拟模型通过远程协助的方式和视频流同时传输的方法，包括HoloLens将环境感知摄像机的影像传输至远程服务器进行显示，远程服务器将远程服务器摄像机的影像传送至Hololens进行显示，完成双向同步音视频通信；远程服务器发送指令至HoloLens，HoloLens接受指令从虚拟模型数据库服务器下载虚拟模型；HoloLens对虚拟模型进行空间定位和三位重建，实现对环境感知摄像机的影像的增强显示；用户对虚拟模型的操作同步显示在远程服务器端，远程服务器对虚拟模型的操作也同步显示在HoloLens端，经由本发明使得增强音视频通信的增强显示效果，同时可以节约交互成本，增强了用户体验。

技术领域

本发明涉及计算机技术，特别涉及混合现实交互，socket通讯领域，尤其涉及一种虚拟模型通过远程协助方式和视频流同时传输的方法，实现一种在基于HoloLens上进行双向音视频通讯的同时，可同时进行3D虚拟模型的远程控制交互方法。

背景技术

AR即增强现实，AR技术也被称为扩增现实，AR技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在计算机等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

目前没有AR参与的情况下，对设备维修人员的培训都是基于现实设备存在的基础上。如果设备为新型产品或者使用者目前还没有的情况下，只能通过远程视频交互进行了解，或者通过远程视频连接通信，进行远程协助。既不直观，也没有实时交互性，容易在理解上产生误差。如果去现场车间又增加路费，时间等成本。

针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。因此，本发明提出了一种虚拟模型通过远程协助方式和视频流同时传输的方法，毋庸置疑，本发明的虚拟模型通过远程协助方式和视频流同时传输的方法，能够解决现有技术存在的诸多缺陷，并带来诸多有益效果。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种虚拟模型通过远程协助方式和视频流同时传输的方法。由于AR技术在工业方面的应用范围广阔，目前以HoloLens设备为主。本发明通过HoloLens的空间定位和三维重建(slam)技术，可以将虚拟的标注指示(如箭头符号)显示在现实工业设备的空间位置。比如一个工厂采购了一台新的大型设备，以前需要设备厂家派技术人员到现场进行操作指导，引入了AR技术之后，就可以将虚拟的设备投射在真实设备上，在设备现场让操作人员直观准确的认识设备结构，理解使用原理。此外，即使是没有实物产品的情况下，同样可以借助AR技术实现对新产品的介绍和维修操作的指导，这不过此时就是完全的虚拟指导和展示了。

本发明目的主要是为了更好地增强音视频通信的增强显示效果，同时可以节约交互成本。例如，厂家的技术专家可以不到现场，就达到和在现场基本一致的效果。通过对受训人员每一个动作和操作的观察和分析，指出其存在的问题，然后结合虚拟的模型进行一步一步的指导。

如果没有AR交互和演示，服务器仅仅能向HoloLens端传送视频，HoloLens端看到的内容和电脑上看视频简介是一样的，都是平面的东西，目前大多数现有培训方法就是这个模式。当服务器端想让客户了解和查看自己的新产品，没有AR参与，也只能是这个纯视频交互方式。当然，这种视频交互的方式也是有意义的，比如AR模型在客户端没有下载成功，就可以用视频这种替代方案展示产品或进行培训，视频交互算一个保底方案。

客户端向服务器发送的视频其实就是让服务器看到客户端所看的东西。这样方便客户端专家指导。基于客户端有产品的基础上。

应当理解，本发明中的客户端、Hololens与Hololens端表达同样的含义，服务器与服务器端表达同样的含义，选择操作与选中操作表达同样的含义。