[发明专利]一种增强现实交互方法、装置及系统

权利要求书

1.一种增强现实交互方法，其特征在于，包括：

接收增强现实客户端采集的现实环境的图像信息；

基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；

确定所述AR融合场景中用户手指与所述虚拟物体的接触点；

控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。

2.根据权利要求1所述的增强现实交互方法，其特征在于，所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点，包括：

基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。

3.根据权利要求2所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：

基于三角测量算法确定用户手指至增强现实客户端的第一向量；

基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。

4.根据权利要求1所述的增强现实交互方法，其特征在于，还包括：

预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。

5.根据权利要求1所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：

基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。

6.一种增强现实交互装置，其特征在于，包括：

接收模块，用于接收增强现实客户端采集的现实环境的图像信息；

注册模块，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；

接触点确定模块，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；

反馈力度信息发送模块，用于控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。

7.一种增强现实交互系统，其特征在于，包括：云端服务器、增强现实客户端以及力反馈手套；

所述增强现实客户端与所述云端服务器无线连接，用于采集现实环境的图像信息，并上传给所述云端服务器；

所述云端服务器用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；以及确定所述AR融合场景中用户手指与所述虚拟物体的接触点，并控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息；

所述力反馈手套与所述增强现实客户端无线连接，用于在接收到所述反馈力度信息时，根据所述反馈力度信息向所述用户手指反馈相应的作用力，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。

8.根据权利要求7所述的增强现实交互系统，其特征在于，所述增强现实客户端包括：

显示组件，用于显示虚拟物体；

图像采集组件，用于采集现实环境的图像信息；

第一通讯组件，用于与所述云端服务器无线连接，所述第一通讯组件包括5G通信模组或WIFI通信模组；

第二通讯组件，用于与所述力反馈手套无线连接，所述第二通讯组件包括蓝牙通信模组。