[发明专利]用于定位发声物的方法、装置、电子设备及可读存储介质

权利要求书

1.一种用于定位发声物的方法，包括：

获取包含有发声物的音频信息和图像信息的视频数据；

根据所述视频数据确定所述发声物发声时在由所述图像信息形成的图像中的实际位置。

2.根据权利要求1所述的方法，其中，当所述视频数据中包含有多种类型的发声物时，所述根据所述视频数据确定所述发声物发声时在由所述图像信息形成的图像中的实际位置，包括：

根据所述视频数据确定不同类型的发声物发声时在由所述图像信息形成的图像中的实际位置。

3.根据权利要求2所述的方法，其中，所述根据所述视频数据确定不同类型的发声物发声时在由所述图像信息形成的图像中的实际位置，包括：

通过预先训练的发声物定位模型，确定不同类型的发声物发声时在由所述视频数据的图像信息形成的图像中的位置信息；其中，所述发声物定位模型记录有不同发声物在图像中不同位置发声的不同音频特征。

4.根据权利要求3所述的方法，其中，所述通过预先训练的发声物定位模型，确定不同类型的发声物发声时在由所述视频数据的图像信息形成的图像中的位置信息，包括：

从所述音频数据中提取得到实际音频特征；

利用所述发声物定位模型确定与所述实际音频特征对应的实际类型的发声物发声时在由所述图像信息形成的图像中的实际位置。

5.根据权利要求3所述的方法，其中，训练得到所述发声物定位模型的步骤包括：

获取仅记录不同的单一发声物的音频信息和图像信息的第一视频样本；

利用所述第一视频样本中包含单一发声物在发声时的音频特征和图像特征的关联关系，对初始定位模型进行训练，得到具有识别单一发声物发声时在图像中实际位置的能力的训练后模型；

获取记录不同类型的多个发声物的音频信息和图像信息的第二视频样本；

利用所述第二视频样本中包含的不同类型的发声物的音频特征对所述训练后模型进行训练，得到具有识别发声物发声时在图像中实际位置且发声物的类型的能力的发声物定位模型。

6.根据权利要求5所述的方法，还包括：

响应于在获取到所述视频数据时同时得知包含的发声物的类型数，将所述类型数作为聚类算法的聚类中心数参与所述发声物定位模型的训练。

7.根据权利要求1至6任一项所述的方法，在根据所述视频数据确定所述发声物发声时在由所述图像信息形成的图像中的实际位置之后，还包括：

在所述图像中对所述实际位置的预设范围内的运动物体进行轮廓标记；

从所述视频数据中提取标记出的轮廓内的部分视频内容，并作为对应的发声物的独立发声视频资料。

8.一种用于定位发声物的装置，包括：

视频数据获取单元，被配置成获取包含有发声物的音频信息和图像信息的视频数据；

发声物图像位置确定单元，被配置成根据所述视频数据确定所述发声物发声时在由所述图像信息形成的图像中的实际位置。

9.根据权利要求8所述的装置，其中，当所述视频数据中包含有多种类型的发声物时，所述发声物图像位置确定单元包括：

多类型发声物图像位置确定子单元，被配置成根据所述视频数据确定不同类型的发声物发声时在由所述图像信息形成的图像中的实际位置。

10.根据权利要求9所述的装置，其中，所述多类型发声物图像位置确定子单元包括：

模型定位模块，被配置成通过预先训练的发声物定位模型，确定不同类型的发声物发声时在由所述视频数据的图像信息形成的图像中的位置信息；其中，所述发声物定位模型记录有不同发声物在图像中不同位置发声的不同音频特征。