[发明专利]媒体数据处理方法、装置及存储介质

说明书

本公开提供了一种媒体数据处理方法、装置及存储介质。该方法包括：对待处理的媒体数据进行分组，得到多个时间序列分组；将多个时间序列分组中的每个时间序列分组变换成频域序列，并对频域序列进行采样，得到多个频域向量；以及分别对多个时间序列分组沿着时间序列方向进行时域特性处理操作，以及对多个频域向量沿着频率方向进行频域特性处理操作，根据所述多个时间序列分组的时域特性处理操作结果和所述多个频域向量的频域特性处理操作结果，对所述媒体数据进行分类，得到所述媒体数据的分类结果。通过从时域、频域两个维度对媒体数据的特性进行处理，可以得到媒体数据的时域和频域的特性，获得媒体数据的实质特性。

技术领域

本公开涉及媒体技术领域，尤其涉及一种媒体数据处理方法、装置及存储介质。

背景技术

现有对音频的处理方式(音乐分类、音乐生成等)，基本都是照搬了图像的方法，将时域、频域构成的一个频谱图看成是一张二维图像(横坐标是时间，纵坐标是频率)进行卷积。但其实这种处理方法很不妥，没有考虑到音频跟图像的本质区别：图像的两个维度是相同的，都代表像素点的排列，而音频的两个维度含义不同的，分别代表时间和频率，也就是时域频域。

发明内容

本公开提供一种媒体数据处理方法、装置及存储介质，以获得媒体数据的实质特性。

第一方面，提供了一种媒体数据处理方法，所述方法包括：

对待处理的媒体数据进行分组，得到多个时间序列分组；

将所述多个时间序列分组中的每个时间序列分组变换成频域序列，并对所述频域序列进行采样，得到多个频域向量；

分别对所述多个时间序列分组沿着时间序列方向进行时域特性处理操作，以及对所述多个频域向量沿着频率方向进行频域特性处理操作；

根据所述多个时间序列分组的时域特性处理操作结果和所述多个频域向量的频域特性处理操作结果，对所述媒体数据进行分类，得到所述媒体数据的分类结果。

在一个实现中，所述时域特性处理操作包括卷积操作，所述对所述多个时间序列分组沿着时间序列方向进行时域特性处理操作，包括：

利用时域卷积核与所述多个时间序列分组进行卷积操作，得到时域卷积向量，其中，所述时域卷积向量包括多个元素，所述时域卷积向量的每个元素用于表示进行卷积前与一个时域卷积核大小对应的多个时间序列分组之间的关联关系，所述时域卷积核的行向量的大小与所述多个频域向量的大小相同，所述时域卷积核的列向量的大小为自定义的。

在又一个实现中，所述时域特性处理操作包括池化操作，所述对所述多个时间序列分组沿着时间序列方向进行时域特性处理操作，包括：

对所述多个时间序列分组或所述时域卷积向量进行池化操作，得到时域池化向量，其中，所述时域池化向量包括一个元素，所述时域池化向量的元素用于表示所述多个时间序列分组或所述时域卷积向量的浓缩特性。

在又一个实现中，所述频域特性处理操作包括卷积操作，所述对所述多个频域向量沿着频率方向进行频域特性处理操作，包括：

利用频域卷积核与所述多个频域向量进行卷积操作，得到频域卷积向量，其中，所述频域卷积向量包括多个元素，所述频域卷积向量的每个元素用于表示进行卷积前与一个频域卷积核大小对应的多个频域向量之间的关联关系，所述频域卷积核的列向量的大小与所述多个频域向量的大小相同，所述频域卷积核的行向量的大小为自定义的。

在又一个实现中，所述频域特性处理操作包括卷积操作，所述对所述多个频域向量沿着频率方向进行频域特性处理操作，包括：

对所述多个频域向量或所述频域卷积向量进行池化操作，得到频域池化向量，其中，所述频域池化向量包括一个元素，所述频域池化向量的元素用于表示所述多个频域向量或所述频域卷积向量的浓缩特性。