[发明专利]一种数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，方法包括：分别对获取的原始图像数据和原始语音数据进行特征识别，得到对应于初始对象的初始特征图像数据和初始特征语音数据；对当前图像数据进行面部跟踪，并判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据不匹配，则对所述当前对象进行语音跟踪，并判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配；若所述当前对象的语音跟踪结果与所述初始对象的初始特征语音数据相匹配，则对所述当前对象的当前语音数据进行语音识别。本发明实施例能够提高语音识别的流畅性和准确度。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着技术的发展，各个行业对于语音识别和图像识别的应用，都非常广泛。但是图像识别受到光照、人脸角度、遮挡等影响，精度不高，而语音识别受到各种噪声，多人等影响，精度也不高。所以，在实际应用中，将语音和图像结合，既可以分别提高两者的识别精度，也可以达到实时的应用需求。但是现有技术方案中，由于语音识别严重依赖于图像识别中的唇动检测，如果人脸检测不到，即停止语音识别，造成语音识别的不连续。因此如何更准确的利用音视频的信息来进行语音识别，在当前的图像语音识别技术系统中，成为研究重点。

发明内容

本发明实施例为了有效克服现有技术所存在的上述缺陷，创造性地提供一种数据处理方法，包括：获取原始图像数据和原始语音数据；分别对所述原始图像数据和所述原始语音数据进行特征识别，得到对应于初始对象的初始特征图像数据和初始特征语音数据；对当前图像数据进行面部跟踪，并判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据不匹配，则对所述当前对象进行语音跟踪，并判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配；若所述当前对象的语音跟踪结果与所述初始对象的初始特征语音数据相匹配，则对所述当前对象的当前语音数据进行语音识别。

在一可实施方式中，若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据相匹配，则根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪。

在一可实施方式中，所述根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪包括：若所述当前对象的面部跟踪结果中仅存在与所述初始对象的初始特征图像数据相匹配的一个对象数据时，则对所述当前对象的单人语音数据进行语音识别并存储。

在一可实施方式中，所述根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪还包括：若所述当前对象的面部跟踪结果中存在与所述初始对象的初始特征图像数据相匹配的多个对象数据时，则对所述当前对象的当前语音数据进行语音分离，得到每一个所述当前对象的对应分离后语音数据，并对所述分离后语音数据进行语音识别。

在一可实施方式中，所述对所述当前对象的当前语音数据进行语音分离包括：根据所述初始特征语音数据和历史单人语音数据对所述当前对象的当前语音数据进行语音分离。

在一可实施方式中，通过波束成形根据所述初始特征语音数据和历史单人语音数据对所述当前对象的当前语音数据进行语音分离。

在一可实施方式中，在所述判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配之前，所述方法还包括：根据所述初始特征图像数据和/或初始特征语音数据建立对象分类模型；则所述判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配包括：根据所述对象分类模型判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；所述判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配包括：根据所述对象分类模型判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配。