[发明专利]视觉语音识别方法

摘要

本申请涉及通过跟踪讲话者的嘴部的一组感兴趣点的局部变形来进行视觉语音识别的方法。该方法包括下列步骤：a)对于每一图像的每一兴趣点，计算局部梯度描述符和局部移动描述符；b)形成n个兴趣点的微结构，每一微结构由n阶元组来定义，其中n≥1；c)对于每一元组，基于局部描述符来确定结构化视觉特性的向量(d₀…d₃…)；d)对于每一元组，通过选择形成码本(CB)的码字集合中的单个码字的分类算法来映射这一向量；e)对于视频序列的各连续图像，生成码字的有序时间序列(a₀…a₃…)；以及f)通过串核类型的函数，测量码字的时间序列与来自另一讲话者的码字的另一时间序列的相似性。

主权项

1.一种用于通过分析视频序列的视觉语音活动、通过跟踪在讲话者的嘴部区域上选择的一组预定兴趣点的局部变型来进行自动语言识别的方法，所述视频序列包括所述讲话者的嘴部区域的连续图像，所述方法的特征在于，所述方法包括以下步骤：a)对于每一图像的每一兴趣点(10)，计算(22)：·局部梯度描述符，它是有向梯度的分布的估计的函数，以及·局部移动描述符，它是各连续图像之间的有向光流的估计的函数，所述描述符是在所考虑的兴趣点的邻近区域中的各连续图像之间计算的；b)形成(22)n个兴趣点的微结构，每一个微结构都由一n阶元组来定义，其中n≥1；c)对于步骤b)的每一元组，确定(22)编码了局部变形以及底层兴趣点之间的空间关系的结构化视觉特性的向量，这一向量是基于所述元组的兴趣点的所述局部梯度和移动描述符来形成的；d)对于每一元组，通过应用适于选择形成码本(CB)的码字(CW)的有限集中的单个码字的分类算法，将在步骤c)处确定的向量映射(24)到对应的码字；e)对于视频序列的各连续图像，为每一元组生成在步骤d)处确定的码字的有序时间序列(a0…a3…)；f)对于每一元组，通过测量与来自另一讲话者的码字的另一时间序列的相似性(26)，分析在步骤e)处生成的码字的时间序列。