[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本申请公开一种数据处理方法、装置、计算机设备及存储介质，方法包括：获取视频数据以及与视频数据对应的音频数据；对视频数据中的每个视频帧进行视频元素识别，对音频数据进行音频元素分离，得到M个目标音频元素；根据每个视频帧的元素识别结果，在每个视频帧中对各个目标音频元素进行声源定位，得到各个目标音频元素在每个视频帧中的声源位置；将各个目标音频元素在每个视频帧中的声源位置映射到声音空间，得到各个目标音频元素的N个空间音频位置；基于各个目标音频元素的N个空间音频位置，音频数据以及视频数据，生成音视频数据。本申请可自动生成具有空间音频效果的音视频数据，使得生成的音视频数据为用户提供较好的沉浸式音频体验效果。

技术领域

本申请涉及互联网技术领域，具体涉及音视频技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

音视频数据又可称为有声视频，其具体是指采用视频数据和相应的音频数据制作而成的数据。在音视频数据的播放过程中，用户不仅可观看到视频数据中的各个视频帧；还可在观看每个视频帧的同时，收听到基于音频数据所描述的相应声音。经研究表明，目前的音视频数据通常不具备空间音频效果，所谓的空间音频效果是指：具有空间感的音频播放效果；具有空间音频效果的音视频数据，可在播放过程中为用户带来较好的沉浸感。基于此，如何生成具有空间音频效果的音视频数据成为了研究热点。

发明内容

本申请实施例提供了一种数据处理方法、装置、计算机设备及存储介质，可以自动生成具有空间音频效果的音视频数据，并使得生成的音视频数据可为用户提供较好的沉浸式音频体验效果。

一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取视频数据以及与所述视频数据对应的音频数据，所述视频数据包括N个视频帧，N为大于1的整数；

对所述音频数据进行音频元素分离，得到M个目标音频元素，M为正整数；并对所述视频数据中的每个视频帧进行视频元素识别，得到所述每个视频帧的元素识别结果；

对所述视频数据中的每个视频帧进行视频元素识别，得到所述每个视频帧的元素识别结果；以及，对所述音频数据进行音频元素分离，得到M个目标音频元素，M为正整数；

将所述各个目标音频元素在所述每个视频帧中的声源位置映射到声音空间，得到所述各个目标音频元素的N个空间音频位置；任一目标音频元素的第n个空间音频位置对应第n个视频帧，n∈[1，N]；

基于所述各个目标音频元素的N个空间音频位置，所述音频数据以及所述视频数据，生成音视频数据。

另一方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，用于获取视频数据以及与所述视频数据对应的音频数据，所述视频数据包括N个视频帧，N为大于1的整数；

处理单元，用于对所述视频数据中的每个视频帧进行视频元素识别，得到所述每个视频帧的元素识别结果；以及，对所述音频数据进行音频元素分离，得到M个目标音频元素，M为正整数；

所述处理单元，还用于根据所述每个视频帧的元素识别结果，在所述每个视频帧中对各个目标音频元素进行声源定位，得到所述各个目标音频元素在所述每个视频帧中的声源位置；

所述处理单元，还用于将所述各个目标音频元素在所述每个视频帧中的声源位置映射到声音空间，得到所述各个目标音频元素的N个空间音频位置；任一目标音频元素的第n个空间音频位置对应第n个视频帧，n∈[1，N]；

所述处理单元，还用于基于所述各个目标音频元素的N个空间音频位置，所述音频数据以及所述视频数据，生成音视频数据。

再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括输入接口和输出接口，所述计算机设备还包括：