[发明专利]应用下载量统计数据去重方法、装置和终端设备

说明书

本发明提供一种应用下载量统计数据去重方法，首先，获取由多条记录有应用下载量的基础数据构成的基础数据集；然后，以应用商店标识字段和应用名称字段为键值，采用map算法将所述基础数据集映射为多个数据组；接下来，以所述数据组为任务节点，在所述数据组中判断出重复数据，并根据判断结果对重复数据进行区分性打标；处理完成后获得由所有所述数据组组成的中间数据集；最后，根据打标内容对所述中间数据集中的所有基础数据进行归约处理，获得去除重复数据的结果数据集。通过本方法，可有效去除应用下载量统计数据中的重复数据，解决了现有技术中没有去除应用下载量统计数据中的重复数据的解决方案的问题，进而解决目前对下载量统计不准确的问题。

技术领域

本发明涉及数据统计领域，具体的说是一种应用下载量统计数据去重方法、一种应用下载量统计数据去重装置和一种应用下载量统计数据去重终端设备。

背景技术

目前，互联网中有很多应用商店，应用商店中提供各种种类的应用供用户下载。

为了解互联网中各个应用商店(APP store)中的不同应用的数量情况，需要对应用商店中的各个应用的数量进行统计。但是，目前应用商店中普遍存在应用重复上架的情况，比如同一个应用因版本、名称的差异，在同一商店内可能存在多个，每个的下载量可能相同也可能不同，从而会导致对应用下载量的统计不准确。相似的，为了解互联网中不同应用的总的数量，也需要对应用商店中的各个应用的数量进行统计，由于应用商店中普遍存在的应用重复问题，依照现有技术无法得到准确的统计结果。

发明内容

鉴于上述问题，迫切需要一种能够有效识别应用商店中的重复应用，并能够去除从应用商店中爬取的应用下载量统计数据中的重复数据的应用下载量统计数据去重方法，以及相对应的一种应用下载量统计数据去重装置和一种应用下载量统计数据去重终端设备。

本发明采用的技术方案是：

本申请提供一种应用下载量统计数据去重方法，包括：

获取由多条记录有应用下载量的基础数据构成的基础数据集；其中，所述基础数据至少包括应用名称字段、下载量字段和应用商店标识字段；

以应用商店标识字段和应用名称字段为键值，采用map算法将所述基础数据集映射为多个数据组；其中，每个所述数据组中的所有基础数据有相同的应用名称字段和应用商店标识字段；

以所述数据组为任务节点，选取所述数据组中下载量字段最大的一条基础数据作为参照数据；依次计算所述数据组中剩余的基础数据的下载量字段与所述参照数据的下载量字段之间的差异，判断所述差异是否符合预设的阈值条件，若符合，则判断所述基础数据为重复数据，否则将所述基础数据也作为参照数据供所述数据组中剩余的基础数据进行计算；根据判断结果对所述数据组内的重复数据进行区分性打标；处理完成后获得由所有所述数据组组成的中间数据集；

根据打标内容对所述中间数据集中的所有基础数据进行归约处理，获得去除重复数据的结果数据集。

可选的，在所述根据打标内容对所述中间数据集中的所有基础数据进行归约处理，获得去除重复数据的结果数据集的步骤前，还包括：

对所述中间数据集中下载量字段相同的多条参照数据，从应用名称字段、应用图标指纹字段和应用开发者字段中的至少一个维度互相进行比较，根据比较结果判断所述多条参照数据中是否含有重复数据，并对判断出的重复数据进行区分性打标。

可选的，所述应用下载量统计数据去重方法，还包括：

对所述结果数据集中的基础数据，根据所述基础数据中的应用名称字段在预设的别名库中查询相应的别名；

在所述基础数据中添加相应的别名字段，获得由添加别名字段后的基础数据构成的别名数据集。

可选的，所述应用下载量统计数据去重方法，还包括：