[发明专利]用于大词汇量连续语音识别的深度信任网络

权利要求书

1.一种方法，包括以下计算机可执行动作：

致使处理器接收采样，其中该采样是讲出的发言、在线手写采样、或者描述物体的运动的视频信号之一；以及

致使处理器至少部分基于深度结构与隐马尔科夫模型(HMM)的依赖于上下文的组合的输出对该采样进行解码，其中该深度结构被配置为输出依赖于上下文的单元的后验概率。

2.如权利要求1所述的方法，其特征在于，该采样是讲出的发言，并且其中该依赖于上下文的单元是senone。

3.如权利要求1所述的方法，其特征在于，该深度结构是深度信任网络(DBN)。

4.如权利要求3所述的方法，其特征在于，该DNB是概率生成性模型，该概率生成性模型包括处于表示数据矢量的所观察到的变量的单个底层之上的多层随机隐藏单元。

5.如权利要求4所述的方法，其特征在于，该DBN是前馈人工神经网络(ANN)。

6.如权利要求1所述的方法，其特征在于，进一步包括：在该深度结构与该HMM的组合的训练阶段期间，从高斯混合模型(GMM)-HMM系统中导出该深度结构与该HMM的组合。

7.如权利要求1所述的方法，其特征在于，进一步包括：在该深度结构与该HMM的组合的训练阶段期间，对该深度结构执行预训练。

8.如权利要求7所述的方法，其特征在于，该深度结构包括多个隐藏随机层，并且其中预训练包括使用不受监督的算法来初始化所述隐藏随机层之间的连接的权重。

9.如权利要求8所述的方法，其特征在于，进一步包括：使用反向传播来进一步细化所述隐藏随机层之间的连接的权重。

10.一种计算机实现的语音识别系统，包括：

处理器(802)；以及

能够由该处理器来执行的多个组件，所述多个组件包括：

深度结构与HMM的计算机可执行的组合(106)，该组合(106)接收输入采样，其中该输入采样是讲出的发言或者在线手写采样之一，其中深度结构与HMM的组合输出与该输入采样有关的依赖于上下文的单元的随机分布；以及

解码器组件(108)，该解码器组件(108)至少部分基于与该输入采样有关的依赖于上下文的单元的随机分布对来自该输入采样的词语序列进行解码。

11.如权利要求10所述的系统，其特征在于，该输入采样是讲出的解码器，并且其中该依赖于上下文的单元是senone。

12.如权利要求10所述的系统，其特征在于，该深度结构是深度信任网络(DBN)。

13.如权利要求12所述的系统，其特征在于，该DNB是概率生成性模型，该概率生成性模型包括处于表示数据矢量的所观察到的变量的单个底层之上的多层随机隐藏单元。

14.如权利要求13所述的系统，其特征在于，该组件进一步包括转换器/训练器组件，该转换器/训练器组件至少部分基于高斯混合模型(GMM)-HMM系统生成深度结构与HMM的组合。

15.如权利要求12所述的系统，其特征在于，该HMM被配置为输出与该输入采样相对应的依赖于上下文的单元之间的转移概率。