[发明专利]人机交互的方法、设备及计算机可存储介质

说明书

本发明公开了一种人机交互的方法，包括：在根据标识物识别出用户图像中的手时，提取手的特征信息；将所手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系；其中，实际坐标系为：以摄像头为基准的三维坐标系；虚拟坐标系为：以实际坐标系为基准缩小预设比例后的三维坐标系；虚拟手是由手的特征信息生成的；根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹；根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令；根据操作指令对内容对象进行处理，并输出处理结果。本发明同时还公开了一种人机交互的设备及计算机可读存储介质。

技术领域

本发明涉及增强实现(Augmented Reality，AR)技术领域，尤其涉及一种人机交互的方法、设备及计算机可存储介质。

背景技术

随着AR市场的不断升温，AR技术逐渐走进大众视野，AR技术被用于游戏，文字识别等多项领域，强烈冲击传统的媒体；然而，AR技术一般用于手机或平板电脑上，屏幕小续航能力不足等这些弊端制约了AR技术的发展范围；目前机顶盒仍然是大多家庭的媒体中心，它承载着大众与广电的交互，并为用户提供了大量的高清高质量的节目。

现有的机顶盒往往都是传统机顶盒，用户必须要通过遥控器或按键的方式来进行交互，这种操控方式单调乏味，无法实现触摸操控，因此，如何实现AR技术与机顶盒相互结合，是目前亟待解决的问题。

发明内容

有鉴于此，本发明实施例期望提供一种人机交互的方法、设备及计算机可存储介质，以实现接收用户的控制，利用AR技术与本地界面相互结合，能够达到触摸操控的效果，大大增强用户的体验效果。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种人机交互的方法，所述方法包括：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，并输出处理结果。

上述方案中，在所述提取所述手的特征信息之前，所述方法还包括：

通过所述摄像头获取所述用户图像；

判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：手在三维坐标系上的定位点，所述定位点分别位于所述手的五个手指头上以及手掌的周围。

上述方案中，在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前，所述方法还包括：

利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前，所述方法还包括：

根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；