[发明专利]离线数据的处理方法、装置及设备

说明书

本发明实施例提供一种离线数据的处理方法、装置及设备，方法包括：获取离线特征；对离线特征进行离散化处理，确定离线特征中的每个离线数据所属于的预设分桶；利用one‑hot编码方式对每个预设分桶中的离线数据进行编码，获取与每个预设分桶所对应的数据集合；对与每个预设分桶所对应的数据集合进行压缩处理，获得与离线特征相对应的目标离线特征。通过利用one‑hot编码方式对离散化处理后的离线特征进行编码，而后对与每个预设分桶所对应的数据集合进行压缩处理，实现了在有限的内存上可以承载海量的离线特征，从而降低了数据的传输时延，提高了数据的响应速度，并保证了对离线特征使用的稳定可靠性，满足了用户的使用需求。

技术领域

本发明涉及互联网技术领域，尤其涉及一种离线数据的处理方法、装置及设备。

背景技术

对于大规模离线数据而言，目前的存储方式一般是利用键值(key-value，简称kv)数据库的存储方式，具体的处理方式为：将离线数据的kv对预先计算好之后，存入数据库。然而,在采用上述方式对大规模离线数据进行存储时，传输时延较长，响应较慢，无法满足用户的使用需求。

发明内容

本发明实施例提供一种离线数据的处理方法、装置及设备，用以实现降低数据的传输时延，提高数据的响应速度，从而满足用户的使用需求。

第一方面，本发明实施例提供一种离线数据的处理方法，包括：

获取离线特征；

对所述离线特征进行离散化处理，确定所述离线特征中的每个离线数据所属于的预设分桶；

利用one-hot编码方式对每个预设分桶中的离线数据进行编码，获取与每个预设分桶所对应的数据集合；

对与每个预设分桶所对应的数据集合进行压缩处理，获得与所述离线特征相对应的目标离线特征。

第二方面，本发明实施例提供一种离线数据的处理装置，包括：

第一获取模块，用于获取离线特征；

离散化模块，用于对所述离线特征进行离散化处理，确定所述离线特征中的每个离线数据所属于的预设分桶；

编码模块，用于利用one-hot编码方式对每个预设分桶中的离线数据进行编码，获取与每个预设分桶所对应的数据集合；

处理模块，用于对与每个预设分桶所对应的数据集合进行压缩处理，获得与所述离线特征相对应的目标离线特征。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种离线数据的处理方法。

本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的一种离线数据的处理方法。

通过对所述离线特征进行离散化处理，确定所述离线特征中的每个离线数据所属于的预设分桶；利用one-hot编码方式对每个预设分桶中的离线数据进行编码，获取与每个预设分桶所对应的数据集合；对与每个预设分桶所对应的数据集合进行压缩处理，有效地降低了离线特征所需要的存储空间，使得有限的内存上可以承载海量的离线特征，从而降低了数据的传输时延，提高了数据的响应速度，并保证了离线特征供机器学习模型进行使用的稳定可靠性，满足了用户的使用需求。

第四方面，本发明实施例提供一种离线数据的处理方法，包括：

获取目标离线特征；

对所述目标离线特征进行解码处理，获得与所述目标离线特征所对应的离线特征；

将所述离线特征存储至数据库中。