[发明专利]扩展现实设备及其交互方法

说明书

本申请实施例公开一种扩展现实设备及其交互方法。该扩展现实设备包括扩展现实显示设备和触控交互装置，触控交互装置包括处理器和触控板；处理器用于提取预存的与触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取显示图像的角点，根据模板图像的角点和显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在触控板接收到触控操作后将触控操作的触控坐标根据映射关系转换为显示坐标并将显示坐标发送至所述扩展现实显示设备。该扩展现实设备基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。

技术领域

本申请涉及交互控制领域。更具体地，涉及一种扩展现实设备及其交互方法。

背景技术

扩展现实(XR，Extended Reality)包含虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)、混合现实(MR，Mixed Reality)等。对于扩展显示设备的人机交互方式，以虚拟现实设备中常见的虚拟显示头戴显示设备(简称VR头显)为例，现有的VR头显常用的人机交互方式有按键、触模板、外接无线手柄等。其中，采用按键的方式交互手段有限，通常还需要配合头瞄、触模板等其他交互方式；采用外接无线手柄的交互方式容易受到蓝牙、wifi信号不稳定的影响，造成体验性下降；触模板具有灵敏的反应速度、易于交流、坚固耐用、节省空间等优点，因此在VR头显的人机交互上有广泛应用，在很多设备上也被用于代替鼠标操作。然而触模板在使用过程中也会出现一些问题，例如，几乎所有触控板都会面临坐标点定位不精准等问题，尤其是当外接设备的显示分辨率发生变化时(例如外接的VR头显等显示设备发生更换时)，需要重新定位触模板的坐标范围，否则会严重影响控制精度。

发明内容

本申请的目的在于提供一种扩展现实设备及其交互方法，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供了一种扩展现实设备，该设备包括：扩展现实显示设备和触控交互装置，所述触控交互装置包括处理器和触控板；

所述处理器，用于提取预存的与所述触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在所述触控板接收到触控操作后将所述触控操作的触控坐标根据所述映射关系转换为显示坐标并将所述显示坐标发送至所述扩展现实显示设备。

本申请第一方面提供的扩展现实设备，基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。

在一种可能的实现方式中，该扩展现实设备的处理器用于提取所述显示图像的角点包括：基于局部熵的角点提取算法提取所述显示图像的角点。

该实现方式，利用局部熵的角点提取算计对显示图像的角点进行提取，局部熵可以很好地反应图像灰度的离散程度，在局部熵大的地方，图像灰度较为均匀；局部熵小的地方，图像灰度相对较为离散，而与图像灰度的均值无关，因此可以根据图像的局部熵把相对均匀的多目标分割出来，且便于识别目标形状。

在一种可能的实现方式中，该扩展现实设备的处理器基于局部熵的角点提取算法提取所述显示图像的角点包括：

计算得到所述显示图像的局部熵灰度图；

基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

该实现方式采用的SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。

在一种可能的实现方式中，所述模板图像的底色呈纯色且角点位置呈与底色相异的颜色。