[发明专利]用于定位发声物的方法、装置、电子设备及可读存储介质

说明书

本申请实施例公开了用于定位发声物的方法、装置、电子设备及计算机可读存储介质，涉及人工智能领域，具体为计算机视觉、深度学习以及语音识别技术。该方法的一具体实施方式包括：获取包含有发声物的音频信息和图像信息的视频数据；根据视频数据确定发声物在由图像信息形成的图像中的实际位置。该实施方式提供了一种用于定位发声物在图像中位置的方案，尤其适用于存在鸡尾酒会效应的多类型发声物的嘈杂环境下，使得机器也可具备识别出不同类型的发声物在图像中的实际位置的能力，以便于根据确定出的实际位置针对性的查看某种类型的发声物所在的特定画面区域，在多种场景下均能发挥重要作用。

技术领域

本申请涉及数据处理技术领域，具体涉及人工智能领域，具体为计算机视觉、深度学习以及语音识别技术，尤其涉及用于定位发声物的方法、装置、电子设备及计算机可读存储介质。

背景技术

鸡尾酒会效应是指人的一种听力选择能力，在这种情况下，注意力集中在某一个人的谈话之中而忽略背景中其他的对话或噪音。该效应揭示了人类听觉系统中令人惊奇的能力，即我们可以在噪声中谈话。

在实际生活中，还存在许多其它类似的场景，例如人车穿流的场景、多乐器的音乐会等，如何在此种场景下让机器也具有人耳的类似能力，是当前研究的重点。

发明内容

本申请实施例提出了一种用于定位发声物的方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请实施例提出了一种用于定位发声物的方法，包括：获取包含有发声物的音频信息和图像信息的视频数据；根据视频数据确定发声物发声时在由图像信息形成的图像中的实际位置。

第二方面，本申请实施例提出了一种用于定位发声物的装置，包括：视频数据获取单元，被配置成获取包含有发声物的音频信息和图像信息的视频数据；发声物图像位置确定单元，被配置成根据视频数据确定发声物发声时在由图像信息形成的图像中的实际位置。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于定位发声物的方法。

第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于定位发声物的方法。

本申请实施例提供的用于定位发声物的方法、装置、电子设备及计算机可读存储介质，获取包含有发声物的音频信息和图像信息的视频数据；根据视频数据确定发声物发声时在由图像信息形成的图像中的实际位置。本申请通过上述技术特征提供了一种用于定位发声物在图像中位置的方案，尤其适用于存在鸡尾酒会效应的多类型发声物的嘈杂环境下，使得机器也可具备识别出不同类型的发声物在图像中的实际位置的能力，以便于根据确定出的实际位置针对性的查看某种类型的发声物所在的特定画面区域，在多种场景下均能发挥重要作用。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构；

图2为本申请实施例提供的一种用于定位发声物的方法的流程图；

图3为本申请实施例提供的另一种用于定位发声物的方法的流程图；

图4为本申请实施例提供的一种训练得到发声物定位模型的方法的流程图；