[发明专利]一种基于STDW的连续字符手势轨迹识别方法

摘要

本发明针对现有技术存在的问题，提出了一种基于结构化动态时域规整算法的连续字符手势轨迹识别方法，通过连续手势轨迹的自动分割问题、角点新特征的提取与STDW识别以及字符手势轨迹之间的包含的处理，实现自然、实时、准确对连续字符手势轨迹的识别。与现有技术相比，本发明的交互方式更加自然、对用户的约束更小符合人机交互的要求。相对于传统的数个手势动作类别更加多样，在兼顾准确性与实时性的条件下，本发明把字符手势轨迹的结构与动态时间规整算法相结合而形成结构化的动态时间规整算法来提高原始算法的识别效果，增加识别率，同时，具有较高的准确率、较好的人机交互体验并能满足实时性要求。

主权项

1.一种基于结构化动态时域规整算法的连续字符手势轨迹识别方法，其特征在于，包括以下步骤：(1)、连续字符手势轨迹自动提取即分割1.1)、对原始的输入连续字符手势轨迹进行间隔归一化采样设定距离阈值，使用累积策略累积间隔较小的原始轨迹点，得到一个累积点作为采样后的点，并使之与前一个采样后的点间距等于距离阈值，使用插值策略对间隔较大的原始轨迹点进行插值，得到一个插值点作为采样后的点，并使之与前一个采样后的点间距等于距离阈值；采样后的点即为归一化采样后的连续字符手势轨迹的轨迹点；1.2)、相似度度量特征提取对于归一化采样后的连续字符手势轨迹，计算相邻轨迹点之间的归一化方向向量并作为相似度度量特征；1.3)、DTW阈值匹配与轨迹段提取对于一个字符模板，事先按照步骤1.2)进行处理，得到一个相似度度量特征序列，并作为字符模板特征列向量，其中，字符模板中，轨迹点距离等于距离阈值的，字符模板特征列向量的第一个元素为该字符模板的起点轨迹点获取的相似度度量特征，字符模板特征列向量的最后一个元素为该字符模板的终点轨迹点获取的相似度度量特征；对于原始的输入连续字符手势轨迹，获得原始轨迹点后，首先按照步骤1.1)、1.2)进行处理，依次获得相似度度量特征，然后对于获得的每一个相似度度量特征，计算出其与字符模板特征列向量每个元素的距离，得到一个相同顺序关系的特征距离列向量，并插入到前一个特征距离列向量的右侧，从而构建出一个新的相似度矩阵；相似度矩阵的列数大于等于连续字符手势轨迹间隔归一化采样后的点的数量，当新插入的特征距离列向量使得列数大于相似度矩阵的列数时，最左侧的特征距离列向量将会被丢弃；在相似度矩阵构建过程中，使用贪心策略得出相似度矩阵中到当前输入最右下角的最优路径，并累加最优路径上元素的代价累加值，得到代价累加值ω(i,j)：ω(i,j)＝d(i,j)+min{ω(i‑1,j‑1),ω(i‑1,j),ω(i,j‑1)}  (1)其中，d(i,j)表示相似度矩阵中坐标为(i,j)处的元素值，ω(i‑1,j‑1)表示相似度矩阵中坐标为(i‑1,j‑1)处的代价累加值，ω(i‑1,j)表示相似度矩阵中坐标为(i‑1,j)处的代价累加值，ω(i,j‑1)表示相似度矩阵中坐标为(i,j‑1)处的代价累加值；当相似度矩阵右下角处代价累加值小于阈值时，则认为字符模板与连续字符手势轨迹匹配上了，此时，再根据求最优路径时保存的信息回溯，在归一化采样后的连续字符手势轨迹中找出这条路径即可提取出对应的轨迹段；连续字符手势轨迹与每个字符模板都进行DTW阈值匹配，如果匹配上了，就提取出对应的轨迹段；(2)、STDW即结构化动态时域规整算法识别2.1)、轨迹段尺度归一化对提取的轨迹段，使用PCA即主成分分析算法求出轨迹段的主方向，求出主方向后，对轨迹段中的每一个轨迹点使用下面的方式进行尺度上的归一化：Ratio＝lin/lset    (2)pjs′＝pjs*Ratio    (3)Tras＝bpj(pjs′)    (4)其中lin为轨迹段的主方向长度，lset为设置的归一化主方向长度，pjs为轨迹段轨迹点s经过PCA变化之后投影到主方向上的点，bpj为反投影至2维空间，即PCA反变换还原之前的点，Tras为二维空间的轨迹点，并构成尺度归一化后的轨迹段；对尺度归一化后的轨迹段进行步骤1.1)的间隔归一化采样，采样后的点为Tra′s，然后，根据以下式子把整体坐标平移成以(0,0)为中心的采样点Tra″s：Tra″s＝Tra′s‑(ptx,pty)    (6)其中ptx,pty代表轨迹段的质心，x，y为坐标轴，N为采样后的点的数量；所有的采样点Tra″s构成轨迹段采样点序列；2.2)、提取新特征对轨迹段采样点序列进行角点的检测：其中，θk表示第s个采样点与第s±k个采样点之间的角度，d(s,s±k)表示第s个采样点与第s±k个采样点之间的距离；对于第s个采样点，s＝1,2,﹍,N，当k＝1,2,3中任意一个数，角度θk＜τ时即检测到角点，其中，τ为角度阈值，可以根据具体情况设置；生成一个长度为N的序列，序列中的元素素值为0，然后在角点位置按照以下拟合函数进行赋值：Z＝0时，f(0)的值赋值给序列中角点位置的元素，Z＝1时，f(1)的值赋值给序列中角点位置后面第一个元素，Z＝2时，f(2)的值赋值给序列中角点位置后面第二个元素，Z＝‑1时，f(‑1)的值赋值给序列中角点位置前面第一个元素，Z＝‑2时，f(‑2)的值赋值给序列中角点位置前面第一个元素，从而得到一个权重分布序列；2.3)、SDTW识别2.3.1)、构建权重分布矩阵字符模板事先按照步骤2.1)、2.2)进行相同的处理，得到字符模板采样点序列、一个权重分别序列；将轨迹段的权重分布序列作为一个行向量，与轨迹段对应的字符模板的权重分布序列作为一个列向量，构建一个权重分布矩阵(fij)，其中，元素fij为行向量中的第i个元素与列向量中的第j个元素之和；2.3.2)、构建像素距离相似度矩阵将字符模板采样点序列作为一个列向量，其中，第一个元素对应该字符模板的起点轨迹点，最后一个元素对应该字符模板的终点轨迹点，然后计算轨迹段采样点序列第一个采样点与列向量中每个元素的像素距离，得到一个像素距离列向量，同样，将第二个采样点也进行同样的计算，得到的像素距离列向量放到前一个像素列向量的右侧，轨迹段采样点序列中的采样点依次采用同样的计算和处理，得到一个像素距离相似度矩阵；2.3.3)、计算代价累加值使用贪心策略搜索出像素距离相似度矩阵到右下角的最优路径，并累加最优路径上元素的代价值，得到代价累加值ω′(i,j)：ω′(i,j)＝(1+fij)d′(i,j)+min{ω′(i‑1,j‑1),ω′(i‑1,j),ω′(i,j‑1)}  (8)其中，d′(i,j)表示像素距离相似度矩阵中坐标为(i,j)处的元素值，ω′(i‑1,j‑1)表示像素距离相似度矩阵中坐标为(i‑1,j‑1)处的代价累加值，ω′(i‑1,j)表示像素距离相似度矩阵中坐标为(i‑1,j)处的代价累加值，ω′(i,j‑1)表示像素距离似度矩阵中坐标为(i,j‑1)处的代价累加值；2.3.4)、识别如果步骤(1)中，同时有两个或两个以上字符模板匹配上，则选择相像素距离似度矩阵中右下角处代价累加值最小的字符模板对应的字符作为识别字符输出，如果只有一个匹配上，则直接将匹配上的字符模板对应的字符作为识别字符输出；(3)、轨迹自包含的处理识别字符存储到输出队列中，如果当前输出识别字符对应的轨迹段坐标序列与输出队列中存储的识别字符的轨迹段坐标序列具有包含关系，即在某一部分轨迹上它们的坐标完全一样，则保留最长的轨迹段对应的识别字符，而去除掉较短的轨迹段对应的识别字符，然后存储到输出队列中；如果不具有包含关系，则保存识别字符到输出队列中；当输出队列中的识别字符数量大于输出队列长度时，先存入的识别字符作为最终识别字符输出，同时，结束输入后，输出队列里的内容也作为最终识别字符输出。