[发明专利]一种语音识别方法以及装置

说明书

本发明公开了一种语音识别方法以及装置，包括：根据影像信息，识别得到用于表征所述影像信息的信息数据；判断讲述者的讲述内容与所述影像信息是否相关联；若判定讲述者的讲述内容与所述影像信息相关联，则使语音识别系统在语音识别所述讲述内容时输出所述信息数据。由此，在语音识别讲述者的讲述内容时，通过利用与讲述内容相关联的影像信息，使得语音识别系统输出对应于影像信息的信息数据，进而提高了语音识别准确率。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种语音识别方法以及装 置。

背景技术

在语音识别系统中，语言模型会因训练语料不足而导致语音识别系 统所识别得到的结果的准确度下降。

发明内容

本发明实施例提供了一种语音识别方法以及装置，具有利用与讲述 内容相关联的影像信息提高语音识别系统的识别准确率的效果。

本发明一方面提供一种语音识别方法，所述方法包括：根据影像信 息，识别得到用于表征所述影像信息的信息数据；判断讲述者的讲述内 容与所述影像信息是否相关联；若判定讲述者的讲述内容与所述影像信 息相关联，则使语音识别系统在语音识别所述讲述内容时输出所述信息 数据。

在一可实施方式中，所述信息数据为文字信息；所述根据影像信息， 识别得到用于表征所述影像信息的信息数据，包括：对所述影像信息中 的文字进行文字识别，得到对应于所述文字的文字信息；或，对所述影 像信息中的物体进行物体识别，得到对应于所述物体的文字信息；或， 对所述影像信息中的内容进行情景识别，得到对应于所述情景的文字信 息。

在一可实施方式中，在识别得到用于表征所述影像信息的信息数据 的过程中，所述方法还包括：判断所述影像信息中是否包含特定识别区 域；若判定所述影像信息中包含特定识别区域，则对所述特定识别区域 内的影像信息进行识别。若判定所述影像信息中未包含特定识别区域， 则整个影像信息进行识别。

在一可实施方式中，所述特定识别区域包括所述影像信息中下述至 少之一：光标所对应的内容区域、光标所框选的框选区域、根据光标位 置所设定的区域范围、所述讲述者目光焦点区域或者语音描述的焦点区 域。

在一可实施方式中，在所述对影像信息中的内容进行情景识别，得 到对应于所述文字的文字信息之后，所述方法还包括：根据所述讲述内 容与所述影像信息，从所述影像信息中提取第一关键词信息；或者，通 过所述语音识别系统对所述讲述内容进行语音预识别，得到若干备用识 别结果；根据所述影像信息与所述若干备用识别结果，从所述影像信息 中提取第二关键词信息；若所提取到的第二关键词信息未与所述若干备 用识别结果中的至少一个相匹配，则降低所述语音识别系统中针对所述 若干备用识别结果的置信度，并重复上述步骤，直至所述第二关键词信 息与所述若干备用识别结果中的至少一个相匹配；在所述文字信息的基 础上增加所提取的第一关键词信息或者第二关键词信息。

在一可实施方式中，所述判断讲述者的讲述内容与所述影像信息是 否相关联，包括下述至少之一：若所述影像信息的识别时间点和所述讲 述内容的讲述时间点位于设定时间间隔内；识别得到的至少部分信息数 据与所述至少部分讲述内容的语义和/或语音相似度超过设定阈值；所述 影像信息的识别地点和所述讲述内容的讲述地点位于设定区域范围内； 则判定所述讲述内容与影像信息相关联。

在一可实施方式中，所述语音识别系统包括语言模型；所述使语音 识别系统在语音识别所述讲述内容时输出所述信息数据，包括：对所识 别得到的信息数据进行实体识别，得到对应的命名实体；根据所得到的 命名实体，提高所述语言模型中对应于所述命名实体的概率值。

在一可实施方式中，所述使语音识别系统在语音识别所述讲述内容 时输出所述信息数据，包括：获取经所述语音识别系统对于所述讲述内 容的识别结果；对所识别得到的信息数据进行实体识别，得到对应的命 名实体；根据所述命名实体和识别结果，更新所述识别结果。