[发明专利]一种基于空鼠轨迹的手势识别方法

权利要求书

1.一种基于空鼠轨迹的手势识别方法，其特征在于，包括以下步骤：

步骤一、空鼠遥控器采集用户动作数据所需的软硬件设置；

数据采集模块采用加速度计以及陀螺仪传感器，集成在空鼠遥控器中；空鼠遥控器中集成蓝牙模块，完成与操作设备之间的数据通信；智能电视集成蓝牙模块，完成与遥控器之间的连接与通信；

步骤二、空鼠遥控器传感器硬件采集用户动作数据及利用采集的手势数据进行深度学习模型的训练，得到较高识别率的最终模型；

将传感器数据通过发送模块传递给数据接收单元，数据接收单元接收数据并传递给空鼠坐标转化算法程序处理；

将转化后的空鼠坐标以及功能控制结果映射到智能电视上，完成鼠标的绘制以及智能电视的画面、功能控制；

提取空鼠坐标轨迹数据并转化为空鼠深度学习算法可用数据；

将转化后的空鼠轨迹数据喂给深度学习算法进行训练，评估与调整，最终得到最优模型；

步骤三、将训练好的模型，部署到空鼠软件中；利用app端的模型部署框架完成用户手势的预测识别；根据识别结果判断识别准确性，当准确性超过95％则认为识别准确并执行相关手势功能。

2.如权利要求1所述的一种基于空鼠轨迹的手势识别方法其特征在于，所述步骤1中，检测加速度计中所受的惯性力作用引起的电压变化，并通过ADC给出量化值，该值反应了当前物体在重力与外力合力作用下的具体数值，经过换算可得到当前合力加速度数值；同时检测陀螺仪受外力作用引起的相互正交震动和转动引起的交变科里奥利力，然后将旋转物体的角速度转换成与角速度成正比直流电压信号，最后通过ADC给出量化值，该值反应了当前物体的转动角度。

3.如权利要求1所述的一种基于空鼠轨迹的手势识别方法其特征在于，所述步骤1中，发送模块采用蓝牙模块实现，其通过标准HID协议进行传输；这里数据接收单元即操控对象-智能电视，采用linux内核提供给用户空间USB和Bluetooth的人机交互节点hidraw完成与蓝牙模块的通信。

4.如权利要求1所述的一种基于空鼠轨迹的手势识别方法，其特征在于，所述步骤2中，数据接收单元接收的是原始传感器数据，通过空鼠坐标转化算法转化为具体的坐标值；该接收单元还接收与空鼠控制相关的返回信息。

5.如权利要求1所述的一种基于空鼠轨迹的手势识别方法，其特征在于，所述步骤2中，得到空鼠坐标后，还需要能够实际控制智能电视以及在电视画面上显示空鼠，电视控制采用辅助服务AccessibilityService功能以及系统模拟Instrumentation功能鼠标显示则可采取自定义绘制或者利用创建的UInput设备来实现输入与显示。

6.如权利要求1所述的一种基于空鼠轨迹的手势识别方法，其特征在于，所述步骤2中，对空鼠轨迹进行识别，用户的手势操作会直观的反应在空鼠轨迹上，在使用这些数据之前，需先将原始空鼠轨迹转化为机器学习算法可识别的数据格式；即将空鼠轨迹数据转化为图片格式，供识别模型学习以及预测。

7.如权利要求1所述的一种基于空鼠轨迹的手势识别方法，其特征在于，所述步骤2中，需要通过不断地进行空鼠手势轨迹数据采集、模型训练、模型评估、模型调整；

a)在进行采集之前首先需要定义数据的采集规则与条件，先确定用户的操作什么时候作为一个手势的开始与结束，定义用户有大的晃动和有短暂的停顿作为手势的开始与结束；

b)由于在数据采集过程中人工采集数量小，模型精度不高，需要利用数据增强算法先进行数据扩容，同时对原始图片进行区域截取，轨迹增强操作。

8.如权利要求1所述的一种基于空鼠轨迹的手势识别方法其特征在于，所述步骤3中，将训练好的模型，部署到空鼠软件中，采用模型部署框架tensorflow lite完成模型的使用。