[发明专利]一种基于可穿戴设备的手势输入方法

摘要

一种基于可穿戴设备的手势输入方法，步骤为：通过智能手表采集用户手写不同字母时的手腕数据集，并通过光学传感器采集相应的手部数据集，将两个数据集对应的字母作为它们的标签；对手腕和手部对应的两组运动数据，进行剪裁压缩和时间对齐，处理后的手腕运动数据作为手写数据集；提取手部数据集中的指尖、指根、手腕等部位的运动数据作为基准数据集，然后分别计算掌骨和食指的长度；搭建神经网络，通过训练得到手腕数据到基准数据的拟合模型以及用于识别字母的分类模型；建立单词查找库，完成输入法的构建工作。用户输入时，输入法会采集用户输入的手腕数据，先进行拟合，再进行分类，给出相应的输入字母，并对输入的字母进行顺序组合得到输入字符串，然后计算与输入字符串相近的字符串，去词库中查找符合条件的字符串，最后返回用户输入的字符串和与用户输入字符串相近的单词，保证在用户输入错误的情况下能给出与用户输入相近的预测结果。

主权项

1.一种基于可穿戴设备的手势输入方法，包括以下步骤：步骤1，获取手写数据集和基准数据集，包括：用智能穿戴手表LG Watch Urbane、TicWatch采集用户手写不同字母的手腕运动数据m组，光学体感控制器Leap Motion同时采集用户手写不同字母的手部运动数据m组；步骤2，训练阶段，对步骤(1.1)中的手腕运动数据和手部运动数据进行预处理，提取数据特征并建立特征数据库和分类器，包括：(2.1)对步骤(1.1)中用户手写不同字母时的m组手腕和手部的运动数据,记录对应的字母作为标签C{C₁,C₂,…,C_m}；(2.2)对步骤(1.1)中获取的手腕和手部对应的两组运动数据，进行剪裁和时间对齐，并使用线性插值法压缩至相同的长度l，处理后的手腕运动数据作为手写数据集A{A₁,A₂,…,A_m}，A_i大小为l×6×1，i∈(1,2,…,m)；(2.3)对步骤(1.1)中获取的手部运动数据，提取指尖、指根、手腕等部位的运动数据，并将其空间坐标系中心平移至掌指关节的中心，作为基准数据集B{B₁,B₂,…,B_m}，B_i大小为l×3×3，i∈(1,2,…,m)；分别计算掌骨的长度l_metacarpal和食指的长度l_finger；(2.4)搭建卷积神经网络M₁，各层从上到下逐层链接，分别是卷积层1～6；优化器为Adam优化器；激活函数为ReLU函数；模型的损失函数设计为L₁(θ)，如公式(1)所示，其中，y为神经网络的输出结果，k为补偿系数，用来降低传感器采集指骨长度的误差；将步骤(2.2)中获取的A作为输入，步骤(2.3)中获取的B作为基准数据进行训练，训练得到的神经网络模型作为拟合模型M_fittin_g；M_fitting用于将手写数据集拟合成基准数据集，拟合得到的数据集为D{D₁,D₂,…,D_m},Di大小为l×3×3，i∈(1,2,…,m)；(2.5)构建卷积神经网络M₂，各层从上到下逐层链接，分别是卷积层1～6，flatten层7，全连接层8，softmax分类器层9；优化器为Adam优化器；激活函数为ReLU函数；模型的损失函数设计为L₂(θ)，如公式(2)所示，y为神经网络的输出结果；步骤(2.4)中获取的D作为输入，步骤(2.1)中获取的C作为基准数据，训练得到的神经网络模型作为分类器M_classify，M_classify可以输出当前输入可能为各个字母的概率；(2.6)读取M_fitting和M_classify训练后保存的元图meta graph和检查点文件checkpoint file，指定输出节点output node，将所有必要的节点都保存下来得到固化模型M′_fitting和M′_classify；利用TensorFlow Lite converter将M′_fitting和M′_classify转化为移动端使用的模型M_{fitting‑lite}和M_{classify‑lite}；步骤3，识别阶段，数据预处理并融合分类器结果,包括：(3.1)通过字典树建立相应的单词查找库，逐一将每个单词的各个字母插入到字典树中；插入前先看前缀是否存在，如果存在，就共享该前缀字符串；否则创建对应的节点和边；字典树建立完成后，相邻节点之间的边代表一个字符，从根节点到某一节点的路径上经过的所有字符连接起来则代表该节点对应的字符串，并且每个节点对应的字符串都不相同；(3.2)采集用户的手写输入数据集W；(3.3)对步骤(3.2)中的手写数据集进行压缩，得到压缩后的手写数据集W_compressed；(3.4)将步骤(3.3)得到的压缩后的手写数据集W_compressed作为输入，先通过数据拟合模型M_{fitting‑lite}行拟合，再通过单词识别分类器M_{classify‑lite}进行分类，得到用户输入的字母λ；(3.5)根据用户的当前输入字符串S_input即用户输入字母λ的顺序组合，计算与之编辑距离为1的字符串S_edit，即Edit[S_input][S_edit]＝1，构成一个候选字符串集合Set_edit；中，有四种满足条件的S_edit集合：第一种为增加一个字符就可以变成输入字符串S_input的具体通过遍历S_input并删除一个字符得到，如公式(3)所示，其中，DeletChar()是删除函数，用来删除字符串中某个位置上的字符，S_input是待删除字符串，i是S_input中需要删除的字符的位置，n是待删除字符串的长度；第二种为删除一个字符就可以变成输入字符串S_input的具体通过遍历S_input并插入一个字符得到，如公式(4)所示，其中，InsertChar()是插入函数，用来在字符串中的某个位置上插入相应的字符，S_input是待插入字符串，j是S_input中需要插入字符的位置，c是插入的字符，取值范围为[a,z]，n是插入字符串的长度；第三种为替换一个字符就可以变成输入字符串S_input的具体通过遍历S_input并替换一个字符得到，如公式(5)所示，其中，AlterChar()是替换函数，用来在字符串中的某个位置上替换相应的字符，S_input是待替换字符串，k是S_input中需要替换的字符的位置，α用来替换S_input中位置k上的字符，取值范围为[a,z]，n是待替换字符串的长度；第四种为通过转置相邻的两个字符就可以变成S_input的具体通过遍历S_input并转置两个字符得到，如公式(6)所示，其中，TransposeChars()是转置函数，用来转置字符串中相邻两个位置上的字符，S_input是待转置字符串，p、p+1是S_input中需要转置的字符的位置，n是待转置字符串的长度；(3.6)利用步骤(3.5)获得的候选字符串集合去步骤(3.1)建立的词库中查询符合条件的单词；如果候选字符串集合中的单词不在词库中，则直接舍弃；反之则根据词库中相应单词的出现频率，返回出现次数最多的前N个单词作为预测结果，具体如公式(7)、(8)所示，其中，InDictionary()函数用来找出候选字符串集合中存在于词库当中的单词集合MaxFrequence()函数用来找出中出现次数前N的单词；(3.7)若步骤(3.6)查询得到的结果不为空，返回查询结果；若为空，则进行步骤(3.8)、(3.9)和(3.10)；(3.8)对步骤(3.5)中的候选字符串集合再求一次相近字符串，即与编辑距离为1、Edit[S_input][S_edit]＝2的字符串，得到与用户输入字符串S_input编辑距离为2的候选字符串集合(3.9)利用步骤(3.5)获得的与用户输入字符串编辑距离为2的候选字符串集合去步骤(3.1)建立的词库中查询符合条件的单词；如果候选字符串集合中的单词不在词库中，则直接舍弃；反之则根据词库中相应单词的出现频率，返回出现次数最多的前N个单词作为预测结果，具体如公式(9)、(10)所示，其中，InDictionary()函数用来找出候选字符串集合中存在于词库当中的单词集合MaxFrequence()函数用来找出中出现次数前N的单词；(3.10)若步骤(3.9)查询得到的结果不为空，返回查询结果和用户输入的字符串S_input；若为空，则只返回用户输入的字符串；(3.11)用户向上或下或左或右方向挥手，即可选择表盘上对应的上、下、左、右方向的单词。