[发明专利]数据处理方法、装置、存储介质和处理器

说明书

本发明公开了一种数据处理方法、装置、存储介质和处理器。该方法包括：获取设备的数据源集，其中，数据源集中的每个数据源用于标识设备，每个数据源为的量级相同，且量级大于目标阈值；将每个数据源的数据类型由字符串类型转化为长整型，得到多个第一数据；对每个第一数据进行移位处理，得到多个第二数据；对每两个第二数据进行逻辑运算，得到结果集。通过本发明，达到了提高数据处理效率的技术效果。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质和处理器。

背景技术

目前，通常通过位图法(RoaringBitMap)对数据进行处理，该方法可以完整地表示2^32个整型(Int)整数，容量阈值为512MB。

但是，由于业务中收录的设备标识(Identifier For Advertising，简称为IDFA)都是经过32位的MD5加密后的字符串，与Int类型不相匹配，因而上述类型数据无法满足现有的亿级数据量的逻辑计算，并且在对上述数据进行处理时，所要花费的时间复杂度为O(n)^2，从而导致数据处理的效率低。

针对现有技术中的数据处理的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据处理方法、装置、存储介质和处理器，以至少解决数据处理的效率低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据处理方法。该方法可以包括：获取设备的数据源集，其中，数据源集中的每个数据源用于标识设备，每个数据源为的量级相同，且量级大于目标阈值；将每个数据源的数据类型由字符串类型转化为长整型，得到多个第一数据；对每个第一数据进行移位处理，得到多个第二数据；对每两个第二数据进行逻辑运算，得到结果集。

可选地，该方法还包括：将每个第一数据按照目标数据结构存储至集群缓存数据库中。

可选地，将每个第一数据按照目标数据结构存储至集群缓存数据库中包括：将每个第一数据按照键值对的形式存储至集群缓存数据库。

可选地，在对每两个第二数据进行逻辑运算，得到结果集之后，方法还包括：基于结果集在集群缓存数据库中反查数据源集。

可选地，对每个第一数据进行移位处理，得到多个第二数据包括：对每个第一数据进行移位处理，得到每个第一数据的第一数据位的第一子数据和第二数据位的第二子数据。

可选地，将每个数据源的数据类型由字符串类型转化为长整型，得到多个第一数据包括：对每个数据源进行哈希运算，以将每个数据源的数据类型由字符串类型转化为长整型，得到多个第一数据。

可选地，对每两个第二数据进行逻辑运算，得到结果集包括以下之一：对每两个第二数据进行或逻辑运算，得到结果集；对每两个第二数据进行与逻辑运算，得到结果集；对每两个第二数据进行非逻辑运算，得到结果集。

为了实现上述目的，根据本发明的另一方面，还提供了一种数据处理装置，其特征在于，包括：获取单元，用于获取设备的数据源集，其中，数据源集中的每个数据源用于标识设备；转化单元，用于将每个数据源的数据类型由字符串类型转化为长整型，得到多个第一数据；移位单元，用于对每个第一数据进行移位处理，得到多个第二数据；运算单元，用于对每两个第二数据进行逻辑运算，得到结果集。

为了实现上述目的，根据本发明的另一方面，还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的数据处理方法。

为了实现上述目的，根据本发明的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的数据处理方法。