[发明专利]一种语音识别方法以及装置

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

根据影像信息，识别得到用于表征所述影像信息的信息数据；

判断讲述者的讲述内容与所述影像信息是否相关联；

若判定讲述者的讲述内容与所述影像信息相关联，则使语音识别系统在语音识别所述讲述内容时输出所述信息数据。

2.根据权利要求1所述的方法，其特征在于，所述信息数据为文字信息；

所述根据影像信息，识别得到用于表征所述影像信息的信息数据，包括：

对所述影像信息中的文字进行文字识别，得到对应于所述文字的文字信息；

或，对所述影像信息中的物体进行物体识别，得到对应于所述物体的文字信息；

或，对所述影像信息中的内容进行情景识别，得到对应于所述情景的文字信息。

3.根据权利要求1或2所述的方法，其特征在于，在识别得到用于表征所述影像信息的信息数据的过程中，所述方法还包括：

判断所述影像信息中是否包含特定识别区域；

若判定所述影像信息中包含特定识别区域，则对所述特定识别区域内的影像信息进行识别；

若判定所述影像信息中未包含特定识别区域，则整个影像信息进行识别。

4.根据权利要求3所述的方法，其特征在于，所述特定识别区域包括所述影像信息中下述至少之一：光标所对应的内容区域、光标所框选的框选区域、根据光标位置所设定的区域范围、所述讲述者目光焦点区域或者语音描述的焦点区域。

5.根据权利要求2所述的方法，其特征在于，在所述对影像信息中的内容进行情景识别，得到对应于所述文字的文字信息之后，所述方法还包括：

根据所述讲述内容与所述影像信息，从所述影像信息中提取第一关键词信息；

或者，通过所述语音识别系统对所述讲述内容进行语音预识别，得到若干备用识别结果；

根据所述影像信息与所述若干备用识别结果，从所述影像信息中提取第二关键词信息；

若所提取到的第二关键词信息未与所述若干备用识别结果中的至少一个相匹配，则降低所述语音识别系统中针对所述若干备用识别结果的置信度，并重复上述步骤，直至所述第二关键词信息与所述若干备用识别结果中的至少一个相匹配；

在所述文字信息的基础上增加所提取的第一关键词信息或者第二关键词信息。

6.根据权利要求1所述的方法，其特征在于，所述判断讲述者的讲述内容与所述影像信息是否相关联，包括下述至少之一：

若所述影像信息的识别时间点和所述讲述内容的讲述时间点位于设定时间间隔内；

识别得到的至少部分信息数据与所述至少部分讲述内容的语义和/或语音相似度超过设定阈值；

所述影像信息的识别地点和所述讲述内容的讲述地点位于设定区域范围内；

则判定所述讲述内容与影像信息相关联。

7.根据权利要求1所述的方法，其特征在于，所述语音识别系统包括语言模型；

所述使语音识别系统在语音识别所述讲述内容时输出所述信息数据，包括：

对所识别得到的信息数据进行实体识别，得到对应的命名实体；

根据所得到的命名实体，提高所述语言模型中对应于所述命名实体的概率值。

8.根据权利要求1所述的方法，其特征在于，所述使语音识别系统在语音识别所述讲述内容时输出所述信息数据，包括：

获取经所述语音识别系统对于所述讲述内容的识别结果；

对所识别得到的信息数据进行实体识别，得到对应的命名实体；

根据所述命名实体和识别结果，更新所述识别结果。

9.根据权利要求8所述的方法，其特征在于，所述根据所述命名实体和识别结果，更新所述识别结果，包括：

对所述识别结果进行分词处理，得到分词结果；

若所述分词结果中存在与所述命名实体文字不同但音素相同的分词，则将所述命名实体对应替换所述识别结果中的所述分词。

10.一种语音识别装置，其特征在于，所述装置包括：

信息数据获取模块，用于根据影像信息，识别得到用于表征所述影像信息的信息数据；

关联判断模块，用于判断讲述者的讲述内容与所述影像信息是否相关联；

信息数据输出模块，用于若判定讲述者的讲述内容与所述影像信息相关联，则使语音识别系统在语音识别所述讲述内容时输出所述信息数据。