[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取原始图像数据和原始语音数据；

分别对所述原始图像数据和所述原始语音数据进行特征识别，得到对应于初始对象的初始特征图像数据和初始特征语音数据；

对当前图像数据进行面部跟踪，并判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；

若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据不匹配，则对所述当前对象进行语音跟踪，并判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配；

若所述当前对象的语音跟踪结果与所述初始对象的初始特征语音数据相匹配，则对所述当前对象的当前语音数据进行语音识别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据相匹配，则根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪。

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪包括：

若所述当前对象的面部跟踪结果中仅存在与所述初始对象的初始特征图像数据相匹配的一个对象数据时，则对所述当前对象的单人语音数据进行语音识别并存储。

4.根据权利要求3所述的方法，其特征在于，所述根据所述当前对象的面部跟踪结果对所述当前对象进行单人模式或多人模式下的语音跟踪还包括：

若所述当前对象的面部跟踪结果中存在与所述初始对象的初始特征图像数据相匹配的多个对象数据时，则对所述当前对象的当前语音数据进行语音分离，得到每一个所述当前对象的对应分离后语音数据，并对所述分离后语音数据进行语音识别。

5.根据权利要求4所述的方法，其特征在于，所述对所述当前对象的当前语音数据进行语音分离包括：

根据所述初始特征语音数据和历史单人语音数据对所述当前对象的当前语音数据进行语音分离。

6.根据权利要求5所述的方法，其特征在于，通过波束成形根据所述初始特征语音数据和历史单人语音数据对所述当前对象的当前语音数据进行语音分离。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配之前，所述方法还包括：

根据所述初始特征图像数据和/或初始特征语音数据建立对象分类模型；

则所述判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配包括：

根据所述对象分类模型判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；

所述判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配包括：

根据所述对象分类模型判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配。

8.根据权利要求1-6中任一项所述的方法，其特征在于，所述初始特征图像数据至少包括对应于初始对象的初始唇动特征数据；

所述当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配包括：

判断当前对象的面部跟踪结果是否与所述初始对象的初始唇动特征数据相匹配。

9.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：

若所述当前对象的语音跟踪结果与所述初始对象的初始特征语音数据不匹配，则结束对所述当前语音数据的语音识别。

10.一种数据处理装置，其特征在于，包括：

获取模块，用于获取原始图像数据和原始语音数据；

特征识别模块，用于分别对所述原始图像数据和所述原始语音数据进行特征识别，得到对应于初始对象的初始特征图像数据和初始特征语音数据；

面部跟踪模块，用于对当前图像数据进行面部跟踪，并判断当前对象的面部跟踪结果是否与所述初始对象的初始特征图像数据相匹配；

第一语音跟踪模块，用于若当前对象的面部跟踪结果与所述初始对象的初始特征图像数据不匹配，则对所述当前对象进行语音跟踪，并判断所述当前对象的语音跟踪结果是否与所述初始对象的初始特征语音数据相匹配；

语音识别模块，用于若所述当前对象的语音跟踪结果与所述初始对象的初始特征语音数据相匹配，则对所述当前对象的当前语音数据进行语音识别。