[发明专利]泛滥数据识别方法、装置、设备和介质

说明书

本公开提供了泛滥数据识别方法、装置、电子设备、介质和程序产品，涉及互联网领域，尤其涉及大数据和智能搜索技术。具体实现方案为：根据互联网数据中每个页面的URL，获取所述互联网数据的数据源结构图，其中，所述数据源结构图至少包括所述互联网数据中各页面所属的站点，以及各站点所属的数据源；根据所述数据源结构图中数据源的数量、各数据源下站点的数量以及各站点下页面的数量，利用归一算法分别计算各站点的泛滥评分和各数据源的泛滥评分；根据所述各站点的泛滥评分和各数据源的泛滥评分，分别计算所述各数据源的总泛滥评分，其中，所述总泛滥评分用于确定数据源是否存在数据泛滥。本公开可以有效地对存在数据泛滥的数据源进行识别。

技术领域

本公开涉及互联网技术领域，尤其涉及大数据和智能搜索技术，具体涉及一种泛滥数据识别方法、装置、设备、介质和程序产品。

背景技术

针对互联网数据的收录，搜索引擎通常以数据站点粒度进行控制，例如，站点下有100个页面，搜索引擎根据质量判断后，给每个站点分配10个收录配额。

为了能获得更多的搜索引擎配额/权益，部分数据生产者通过建造大量的站点进行作弊，造成数据泛滥。例如，创建100个站点，每个站点1个页面。搜索引擎为了保障生产源的完整性，会收录这100个站点对应的100个页面。然而，收录的这100个页面中包含了大量的低质垃圾数据，严重影响了互联网生态，对数据生产者权益的公平性造成了很大伤害。

发明内容

本公开提供了一种泛滥数据识别方法、装置、设备、介质和程序产品。

根据本公开的一方面，提供了一种泛滥数据识别方法，包括：

根据互联网数据中每个页面的URL，获取所述互联网数据的数据源结构图，其中，所述数据源结构图至少包括所述互联网数据中各页面所属的站点，以及各站点所属的数据源；

根据所述数据源结构图中数据源的数量、各数据源下站点的数量以及各站点下页面的数量，利用归一算法分别计算各站点的泛滥评分和各数据源的泛滥评分；

根据所述各站点的泛滥评分和各数据源的泛滥评分，分别计算所述各数据源的总泛滥评分，其中，所述总泛滥评分用于确定数据源是否存在数据泛滥。

根据本公开的另一方面，提供了一种泛滥数据识别装置，包括：

数据源结构图获取模块，用于根据互联网数据中每个页面的URL，获取所述互联网数据的数据源结构图，其中，所述数据源结构图至少包括所述互联网数据中各页面所属的站点，以及各站点所属的数据源；

第一计算模块，用于根据所述数据源结构图中数据源的数量、各数据源下站点的数量以及各站点下页面的数量，利用归一算法分别计算各站点的泛滥评分和各数据源的泛滥评分；

第二计算模块，用于根据所述各站点的泛滥评分和各数据源的泛滥评分，分别计算所述各数据源的总泛滥评分，其中，所述总泛滥评分用于确定数据源是否存在数据泛滥。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的泛滥数据识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开任意实施例所述的泛滥数据识别方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所述的泛滥数据识别方法。