[发明专利]一种基于增强现实的远程视频交互系统以及方法

权利要求书

1.一种基于增强现实的远程视频交互方法，其特征在于，所述方法包括以下步骤：

1)融合视频和空间定位技术的AR标记方法；

2)融合AR标记的实时多人视频通信方法；

3)融合AR标记的异步视频消息通信方法。

2.根据权利要求1所述的基于增强现实的远程视频交互方法，其特征在于，所述融合视频和空间定位技术的AR标记方法，具体步骤如下：

发起者(移动终端A)从摄像头实时采集到当前帧画面；

利用分析软件或算法分析采集到图像中的对比度差、色差等信息，从而计算出图像中特征点，算法是Sift算法或Surf算法；

当移动终端A的摄像头发生位置、角度变化时，所采集到的画面也会随之变化，再根据特征点可以计算出相对位置变化；

将这种变化量转化为三维坐标修正参数，用于虚拟物体定位。

3.根据权利要求1所述的基于增强现实的远程视频交互方法，其特征在于，所述融合AR标记的实时多人视频通信方法：

实时视频服务：

视频通话通常指基于互联网和移动互联网端，通过手机之间实时传送人的语音和图像(用户的半身像、照片、物品等)的一种通信方式，

发起者(移动终端A)共享音视频时，通过用户数据报协议(UDP)或实时传输协议(RTP)上传到自有网络服务器上，如果有其它参与人(移动终端B)要与移动终端A进行实时互动，那么移动终端B也是通过UDP连接到自有网络，这样才能达到实时互动的效果；

移动终端A的音视频数据上传到自有网络后，传输经过媒体服务器，再将数据流转成实时消息传输协议(RTMP流)发送到内容分发网络(CDN网络)，这样对于大多数不参与实时互动的发起者就可以从CDN获取音视频数据了，最后，CDN网络通过HLS(Apple的动态码率自适应技术)将音视频数据传输至移动终端B；

与此同时，移动终端A通过超文本传输协议(HTTP)向信令服务器发送会话描述协议(SDP)，然后信令服务器通过HTTP向移动终端B发送该SDP；

融合AR标记的实时视频方法，原理是基于实时视频服务，在移动终端的采集端上传数据到自有网络过程中，加入AR视频标记模块，对采集视频每一帧进行AR标记后，形成新的数据后，再上传到自有网络。

4.根据权利要求1所述的基于增强现实的远程视频交互方法，其特征在于，所述融合AR标记的异步视频消息通信方法：

当由于应答者不在线或其他原因导致无法进行增强现实AR视频通话时，提供了对离线实时录制视频的AR标记方法，并开发了异步通信消息管理系统，解决了无法实时视频通话的结合AR标记的离线视频和异步通信消息机制的延时通信方法；

当无法视频通话时，发起者在移动终端上对相机拍摄的实时视频进行边AR标记，边视频录制，当带AR标记的视频录制完成后，填写对应的信息，消息管理系统会针对该段视频，按照时间信息、分类信息、发起对象等信息，分门别类的生成一个工单，并将工单信息推送给对应应答者，应答者上线后可快速做出响应找到问题：在视频记录中进一步做出标记并录制音频记录进行回复，也可以一键回拨与请求发起者取得实时视频与联络，进行现场问题分析和解决。

5.一种基于增强现实的远程视频交互系统，其特征在于，所述系统包括个人模块、管理模块以及AR远程视频交互模块，个人模块历史记录查询和AR实时远程视频，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题,如果没有则进行AR远程视频交互；

其中管理模块包含历史记录查询和工单管理，当用户碰到问题后可先在历史视频记录中查看是否有同类型问题，如果没有则提交向企业提交工单，填写对应工单信息，并向企业的服务人员寻求AR远程视频帮助，如果服务人员在线，则开始AR实时远程视频交互；如果服务人员不在线，则提交AR离线视频；

AR视频交互模块用于融合AR的视频交互，服务器端包含视频服务器以及信令服务器，视频服务器用于传输视频流，以及云端视频流的录制，信令服务器用于传输AR标注数据。客户端用于展现AR视频内容，同时用于标注AR数据。

6.采用权利要求5所述的基于增强现实的远程视频交互系统的工作方法，其特征在于，所述方法包括在线远程视频交互步骤与离线远程视频交互步骤；

在线远程视频交互方法的步骤如下：

1.1)发起者向应答者发起远程视频交互请求；

1.2)应答者在线时，接通远程视频通话；双方共享发起者的视频；

1.3)视频过程中，基于图像识别和空间定位技术，双方均可在视频上进行AR标记，不同用户使用不同的颜色和线形标注，可标注操作步骤1.1、1.2、1.3等；

1.4)视频过程中，双方可随时增加应答者，开启多人视频通信，共同讨论发起者的技术问题；

1.5)通话结束后，本次视频交互过程上传保存至视频服务器；

离线远程视频交互方法的步骤如下：

2.1)发起者向应答者发起远程视频交互请求；

2.2)应答者不在线时，发起者针对问题录制短视频，可在视频上增加AR标注；

2.3)发起者向远程视频服务器提交离线视频消息，创建工单；

2.4)应答者上线后，通过查看工单，观看发起者提交的视频，可向发起者发起AR视频请求；发起者在线时，进入步骤2.5；发起者不在线时，进入步骤2.6；

2.5)双方建立远程视频连接，之后执行在线远程视频交互方法；

2.6)应答者可以在手机上或电脑上对视频进行编辑，添加标注，并添加语音，生成一段新的解决方案的视频发送给发起者，等待发起者确认工单是否得到解决；

2.7)如发起者如果有进一步的问题，可以重复步骤2.1提供更多信息。