[发明专利]直播平台训练数据的处理方法、装置、存储介质及设备

说明书

本申请涉及直播数据处理技术领域，尤其涉及一种直播平台训练数据的处理方法、装置、存储介质及设备。其中，直播平台训练数据的处理方法，包括：获取直播平台在直播中产生的用户行为数据，从所述用户行为数据中提取用户的特征数据；根据所述特征数据的数据类型及数据分布确定其特征形态，根据所述特征形态调取对应的压缩算法对所述特征数据进行压缩，输出压缩数据及对应的压缩标记；利用所述压缩标记对所述压缩数据进行解压缩，获取解压缩数据，将所述解压缩数据输入机器学习模型进行训练。本申请提供的方案，将特征数据压缩处理之后再进行传输、加工，根据不同的特征形态选用不同的压缩算法，提升了直播平台训练数据的处理效率。

技术领域

本申请涉及直播数据处理技术领域，具体而言，本申请涉及一种直播平台训练数据的处理方法、装置、存储介质及设备。

背景技术

互联网的快速发展，为人们的生活带来了许多便利，同时也带了海量的数据信息。在直播场景中，推荐系统可以基于信息推荐模型为用户提供感兴趣的直播间或直播内容。但直播场景中产生的数据庞大而复杂，庞大而复杂的数据在存储、传输过程中对执行数据传输的硬件造成巨大压力，因此，有必要通过一些压缩技术减少信息推荐模型的训练数据，以减少训练数据对存储空间及处理资源的占用，并降低模型的计算复杂度。

目前，常见的模型压缩技术包括：将各种数据类型转换成字符串类型，进而形成数据包，但该种直播平台训练数据的处理方案对所有数据类型均采用同样的压缩策略，导致直播平台训练数据的处理效率低下。

发明内容

本申请提供了一种直播平台训练数据的处理方法、装置、计算机可读存储介质及计算机设备，以提升训练数据的处理效率。

本申请实施例首先提供了一种直播平台训练数据的处理方法，包括：

获取直播平台在直播中产生的用户行为数据，从所述用户行为数据中提取用户的特征数据；

根据所述特征数据的数据类型及数据分布确定其特征形态，根据所述特征形态调取对应的压缩算法对所述特征数据进行压缩，输出压缩数据及对应的压缩标记；

利用所述压缩标记对所述压缩数据进行解压缩，获取解压缩数据，将所述解压缩数据输入机器学习模型进行训练。

在一种实施例中，根据所述特征形态调取对应的压缩算法对所述特征数据进行压缩的步骤，包括：

识别特征数据的数据类型，根据所述数据类型分解、整合所述特征数据，获得若干子特征数据段；

根据各子特征数据段的数据类型及数据分布确定对应的特征形态；

根据所述特征形态调用与之相匹配的压缩算法，利用所述压缩算法对所述子特征数据段进行数据压缩。

在一种实施例中，所述根据所述数据类型分解、整合所述特征数据，获得若干子特征数据段的步骤，包括：

按照数据类型拆分所述特征数据，将相同数据类型的数据整合成子特征数据段，其中，各子特征数据段对应不同的数据类型。

在一种实施例中，利用所述压缩算法对所述子特征数据段进行数据压缩的步骤，包括：

若两个所述子特征数据段的数据长度之差超过预设阈值，对数据长度较小的子特征数据段进行简单压缩，挂载附带的键值对结构的map数据。

在一种实施例中，所述根据各子特征数据段的数据类型及数据分布确定对应的特征形态的步骤，包括：

利用所述数据类型及数据分布与预设的特征形态进行匹配，将匹配的特征形态确定为该子特征数据段的特征形态。

在一种实施例中，所述直播平台训练数据的处理方法，还包括：

若特征数据包括至少两种数据类型，对所述特征数据进行组合压缩。