[发明专利]一种虚拟鼠标操作装置、系统及方法

说明书

技术领域

本发明涉及虚拟触控技术领域，尤其涉及一种虚拟鼠标操作装置、系统及方法。

背景技术

鼠标是现有技术的人机交互中的重要组成部分，现有的鼠标输入都依赖于实体设备，也就是说，必须要有一个实际存在的鼠标才能够完成人机交互，这样就大大限制了进行人机交互的场所范围和条件。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分解决上述问题的虚拟鼠标操作装置、系统及方法。

本发明提供一种虚拟鼠标操作装置，包括显示控制单元与显示单元，该装置包括：

视图识别单元，用于对摄像头采集的用户手部的图像数据进行手部识别，以确定手部中心点在图像中的位置。

水平面二维坐标建立单元，用于根据该视图识别单元识别出的手部中心点位置在图像中的位置与摄像头的像素解析度，将手部中心点像素位置转换为XZ坐标面的二维坐标值。

垂直面二维坐标建立单元，用于根据该视图识别单元识别出的手部中心点位置在图像中的位置与摄像头的像素解析度，将手部中心点像素位置转换为YZ坐标面的二维坐标值。

三维坐标计算单元，用于根据该水平面二维坐标建立单元和垂直面二维坐标建立单元分别确定的手部中心点像素位置在XZ坐标面和YZ坐标面的二维坐标值计算手部中心点在XYZ三维坐标系中的坐标值。

动作判断单元，用于根据该三维坐标计算单元计算的手部中心点的三维坐标值判断用户手部中心点对应的鼠标位置以及判断用户的虚拟鼠标点击操作。以及

图形绘制单元，用于根据该动作判断单元的判断结果绘制出模拟鼠标出现在对应的XZ面的位置以及做出特定响应形成的操作图像，并调用该显示控制单元控制该显示单元显示该操作图像。

本发明还提供一种虚拟鼠标操作系统，包括如上任意一项所述的虚拟鼠标操作装置以及与该装置通信连接的两个摄像设备。

本发明还提供一种虚拟鼠标操作方法，该方法包括：

用户将手部悬空平放于图像捕捉区域中，对摄像头采集的用户手部的图像数据进行手部识别，以确定手部中心点在图像中的位置。

根据识别出的手部中心点位置在图像中的位置与摄像头的像素解析度，将手部中心点像素位置分别转换为XZ坐标面与YZ坐标面的二维坐标值。

根据手部中心点像素位置在XZ坐标面和YZ坐标面的二维坐标值计算手部中心点在XYZ三维坐标系中的坐标值。

根据该计算的手部中心点的三维坐标值判断用户手部中心点对应的鼠标位置以及判断用户的虚拟鼠标点击操作。

根据该判断结果绘制出模拟鼠标出现在对应的XZ面的位置以及做出特定响应形成的操作图像。以及

显示该绘制的操作图像供用户观看。

本发明提供的一种虚拟鼠标操作装置、系统及方法，由摄像头抓取图像并识别手部中心点的位置以及手部姿势，由得到的手部中心点坐标直接映射为对虚拟鼠标的操作动作，并在显示器上显示出来反馈给用户，通过智能眼镜和智能手环，或者智能便携移动设备上的摄像设备快速搭建虚拟鼠标输入环境，不再需要实体设备，方便用户随时随地通过虚拟鼠标进行人机交互操作。

附图说明

图1为本发明实施方式中的虚拟鼠标操作系统的硬件架构示意图；

图2为本发明实施方式中的虚拟鼠标操作装置的功能模块示意图；

图3为本发明实施方式中的二维坐标值的转换原理示意图；

图4为本发明实施方式中的虚拟鼠标操作方法的流程示意图。

标号说明：

系统100

装置10

环境亮度传感单元101

视图识别单元102

纵向视图识别子单元103

横向视图识别子单元104

水平面二维坐标建立单元105

垂直面二维坐标建立单元106

三维坐标计算单元107

动作判断单元108

图形绘制单元109

显示控制单元110

显示单元111

鼠标重映射单元112

摄像设备20

第一摄像头201

第二摄像头202

显示设备21

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。