[发明专利]视觉语音识别方法

权利要求书

1.一种用于通过分析视频序列的视觉语音活动、通过跟踪在讲话者的嘴部区域上选择的一组预定兴趣点的局部变型来进行自动语言识别的方法，所述视频序列包括所述讲话者的嘴部区域的连续图像，

所述方法的特征在于，所述方法包括以下步骤：

a)对于每一图像的每一兴趣点(10)，计算(22)：

·局部梯度描述符，它是有向梯度的分布的估计的函数，以及

·局部移动描述符，它是各连续图像之间的有向光流的估计的函数，

所述描述符是在所考虑的兴趣点的邻近区域中的各连续图像之间计算的；

b)形成(22)n个兴趣点的微结构，每一个微结构都由一n阶元组来定义，其中n≥1；

c)对于步骤b)的每一元组，确定(22)编码了局部变形以及底层兴趣点之间的空间关系的结构化视觉特性的向量，这一向量是基于所述元组的兴趣点的所述局部梯度和移动描述符来形成的；

d)对于每一元组，通过应用适于选择形成码本(CB)的码字(CW)的有限集中的单个码字的分类算法，将在步骤c)处确定的向量映射(24)到对应的码字；

e)对于视频序列的各连续图像，为每一元组生成在步骤d)处确定的码字的有序时间序列(a₀…a₃…)；

f)对于每一元组，通过测量与来自另一讲话者的码字的另一时间序列的相似性(26)，分析在步骤e)处生成的码字的时间序列。

2.如权利要求1所述的方法，其特征在于，步骤f)的相似性的测量是通过串核类型的函数来实现的，适于：

f1)识别所生成的时间序列(X_s)中以及其他时间序列(X'_s)中分别存在的预

定大小(g)的匹配的码字子序列，其中容忍预定大小(m)的潜在不协调性，以及

f2)计算码字的所述子序列的出现率，以对于每一元组，将码字的时间序列映射到串核的固定长度的表示。

3.如权利要求1所述的方法，其特征在于，所述局部梯度描述符是有向梯度HOG类型的直方图的描述符。

4.如权利要求1所述的方法，其特征在于，所述局部移动描述符是光流HOF类型的直方图的描述符。

5.如权利要求1所述的方法，其特征在于，步骤d)的分类算法是k均值算法类型的无监督分类算法。

6.如权利要求1所述的方法，其特征在于，还包括以下步骤：

g)使用步骤f)的相似性的测量结果来用于支持向量机SVM类型的监督分类算法的学习(28)。