[发明专利]基于自适应隐马尔可夫的多特征融合手语识别方法

说明书

本发明公开了一种基于自适应隐马尔可夫的多特征融合手语识别方法，包括：1、首先对手语视频数据库提取多种特征并进行前端融合，即构建特征池集合；之后构建各手语视频在特征池集合中不同特征下的自适应隐马尔可夫模型，并提出了一种特征选择策略，以得到合适的后端得分融合特征；选择好后端得分融合特征之后，计算各后端得分融合特征下的得分向量，为其分配不同的权重，再进行后端得分融合，从而得到最优的融合效果。本发明能够实现对手语视频手语类别的精确识别，并提高识别的鲁棒性。

技术领域

本发明属于计算机视觉技术领域，涉及到模式识别、人工智能等技术，具体地说是一种基于自适应隐马尔可夫的多特征融合手语识别方法。

技术背景

聋哑人是残疾人中的一个庞大群体，因为无法说话，聋哑人通常使用手语作为沟通手段。当没有学过手语的正常人需要和聋哑人进行交流时，就产生了沟通障碍，而且社会中大部分正常人都没有接受过手语教育。因此手语翻译系统作为便于聋哑人融入社会的辅助方式，对于聋哑人而言，有着重大的意义。但目前手语翻译仍然是计算机视觉领域的一个难题，原因是手语者的身材、做手语的速度和习惯等多方面的因素千差万别，手语识别的情况十分复杂，往往难以取得令人满意的准确率。

手语识别是一个序列学习的问题，目前提出的模型有动态时间规整DTW、支持向量机SVM、曲线匹配和神经网络NN等。动态时间规整的计算开销较大，而支持向量机SVM常用于二分类问题，面临多分类问题时则无法使用。使用神经网络的先决条件是拥有大量的训练数据用于模型的训练和优化，当训练数据有限时，神经网络并不能得到最优的模型，因而影响手语识别精度。

多模态特征融合，传统的特征融合包括前端融合和后端得分融合，前端融合执行在特征的层面，而后端得分融合则是执行在分类识别概率得分层面。后端得分融合通常时间开销过大，而且在不同的模型中，效果较差的特征可能会主导特征融合，降低了融合后的效果。

发明内容

本发明是为了改善手语识别精度，提供一种基于自适应隐马尔可夫的多特征融合手语识别方法，以期能够实现对于手语视频手语类别的精确识别，并提高识别的鲁棒性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于自适应隐马尔可夫的多特征融合手语识别方法的特点是按如下步骤进行：

步骤1、获取手语视频数据库，并将所述手语视频数据库中的手语视频分为训练数据集和测试数据集；所述训练数据集中包含N种手语单词对应的手语视频，每种手语单词对应多个手语视频；将所述N种手语单词记作C＝{c₁,…,c_n,…,c_N}，其中c_n为第n种手语单词，1≤n≤N；

将所述训练数据集中的每种手语单词对应的多个手语视频作为相应手语单词所对应的手语视频集，从而得到N种手语单词所对应的手语视频集，记为Set₁,…,Set_n,…,Set_N，其中Set_n为第n种手语单词c_n所对应的手语视频集；

步骤2、构建特征种类集合F：

对所述训练数据集中的手语视频提取M种特征，得到特征种类集合F＝{f₁,f₂,…,f_M}，f_M表示第M种特征，M表示特征种类的总数；

步骤3、构建特征池集合F′：

步骤3.1、定义变量i，并初始化i＝1；

步骤3.2、定义第i个融合特征集合为F_i，并初始化F_i＝F；

步骤3.3、令i＝2；