[发明专利]基于自适应隐马尔可夫的多特征融合手语识别方法

摘要

本发明公开了一种基于自适应隐马尔可夫的多特征融合手语识别方法，包括：1、首先对手语视频数据库提取多种特征并进行前端融合，即构建特征池集合；之后构建各手语视频在特征池集合中不同特征下的自适应隐马尔可夫模型，并提出了一种特征选择策略，以得到合适的后端得分融合特征；选择好后端得分融合特征之后，计算各后端得分融合特征下的得分向量，为其分配不同的权重，再进行后端得分融合，从而得到最优的融合效果。本发明能够实现对手语视频手语类别的精确识别，并提高识别的鲁棒性。

主权项

1.一种基于自适应隐马尔可夫的多特征融合手语识别方法，其特征是按如下步骤进行：步骤1、获取手语视频数据库，并将所述手语视频数据库中的手语视频分为训练数据集和测试数据集；所述训练数据集中包含N种手语单词对应的手语视频，每种手语单词对应多个手语视频；将所述N种手语单词记作C＝{c1,…,cn,…,cN}，其中cn为第n种手语单词，1≤n≤N；将所述训练数据集中的每种手语单词对应的多个手语视频作为相应手语单词所对应的手语视频集，从而得到N种手语单词所对应的手语视频集，记为Set1,…,Setn,…,SetN，其中Setn为第n种手语单词cn所对应的手语视频集；步骤2、构建特征种类集合F：对所述训练数据集中的手语视频提取M种特征，得到特征种类集合F＝{f1,f2,…,fM}，fM表示第M种特征，M表示特征种类的总数；步骤3、构建特征池集合F′：步骤3.1、定义变量i，并初始化i＝1；步骤3.2、定义第i个融合特征集合为Fi，并初始化Fi＝F；步骤3.3、令i＝2；步骤3.4、从所述特征种类集合F中任取i种不同的特征并按序拼接为一种融合特征，从而得到由种融合特征组成的第i个融合特征集合F_i；步骤3.5、令i+1赋值给i，判断i≤M是否成立，若成立，则执行步骤3.4；否则，表示得到M个融合特征集合F1,…,Fi,…,FM，并执行步骤3.6；步骤3.6、将所述M个融合特征集合F1,…,Fi,…,FM中所有的特征构成特征池集合F′，并记为F′＝{f1′,…,f′m',…,f′M′}，其中f′m′表示第m′种特征池特征，M′表示特征池特征的总数；步骤4、采用高斯混合‑隐马尔可夫GMM‑HMM模型，构建N种手语单词在所述M′种特征池特征下的自适应隐马尔可夫模型集合：步骤4.1、初始化n＝1；步骤4.2、初始化m′＝1；步骤4.3、使用AP吸引子传播聚类算法对第n种手语单词c_n对应的手语视频集Set_n进行聚类处理，得到所述第n种手语单词c_n对应的手语视频集Set_n在所述第m′种特征池特征f′_m′下的特征聚类数步骤4.4、定义所述第n种手语单词c_n在第m′种特征池特征f′_m′下的自适应隐马尔可夫模型为并根据式(1)计算所述自适应隐马尔可夫模型的隐状态个数式(1)中，G为高斯混合模型中高斯函数个数；步骤4.5、根据所述隐状态个数和高斯函数个数G，利用Baum‑Welch算法在所述第n种手语单词c_n对应的手语视频集Set_n上进行学习，获得所述第n种手语单词c_n在第m′种特征池特征f′_m′下的自适应隐马尔可夫模型步骤4.6、令m′+1赋值给m′，判断m′≤M′是否成立，若成立，则执行步骤4.3；否则，执行步骤4.7；步骤4.7、令n+1赋值给n，判断n≤N是否成立，若成立，则执行步骤4.2；否则，表示得到N种手语单词在M′种特征池特征下的自适应隐马尔可夫模型集合并执行步骤5；步骤5、构建选择特征集合F″用于后端得分融合：步骤5.1、初始化m′＝1；步骤5.2、获取所述训练数据集中任意一个训练视频A，根据式(2)计算所述训练视频A在第m′种特征池特征f′_m′下的得分向量式(2)中，表示所述训练视频A在所述第n种手语单词c_n在第m′种特征池特征f′_m′下的自适应隐马尔可夫模型上的手语识别概率得分；步骤5.3、重复步骤5.2，直至得到所述训练数据集中所有手语视频在第m′种特征池特征f′m′下的得分向量；并计算所述训练数据集中所有手语视频在第m′种特征池特征f′m′下的得分向量的平均方差之和，记为第m′种特征池特征f′m′的训练方差Varm′；步骤5.4、令m′+1赋值给m′，判断m′≤M′是否成立，若成立，则执行步骤5.2；否则，表示得到所述M′种特征池特征所对应的训练方差Var1,…,Varm′,…,VarM′，1≤m′≤M′，并执行步骤5.5；步骤5.5、对所述训练方差Var1,…,Varm′,…,VarM′进行降序排序，得到排序后的训练方差；设置参数1≤Kk下的得分向量式(3)中，表示第n种手语单词c_n在第k种选择特征f″_k下的自适应马尔可夫模型；表示所述测试视频B在所述第n种手语单词c_n在第k种选择特征f″_k下的自适应隐马尔可夫模型上的手语识别概率得分；步骤6.3、利用Min‑Max标准化对所述测试视频B在第k种选择特征f″_k下的得分向量进行归一化处理，得到归一化后的得分向量并对所述归一化后的得分向量中的元素进行降序排列后，画出其分数曲线，再计算分数曲线下的区域面积，从而得到所述归一化后的得分向量所对应的权重面积步骤6.4、令k+1赋值给k，若k＞K成立，则表示得到所述测试视频B在K种选择特征下的归一化后的得分向量及其所对应的权重面积并执行步骤7；否则，执行步骤6.2；步骤7、后端得分融合计算，并输出所述测试视频B对应的手语单词：步骤7.1、根据式(4)计算所测试视频B在第k种选择特征f″_k下的归一化后的得分向量的权重从而得到所述K种选择特征下的归一化后的得分向量的各自权重步骤7.2、根据式(5)得到所述测试视频B的后端得分融合向量步骤7.3、根据式(6)获得所述后端得分融合向量中最大值所对应的手语单词序号n^*：从而得到所述测试视频B对应的手语单词为第n^*种手语单词