[发明专利]一种数据处理方法和装置

说明书

技术领域

本发明涉数据处理技术领域，更具体地，涉及一种数据处理方法和装置。

背景技术

随着互联网技术和智能终端的普及和发展，供人们参考和使用的数据也越来越多，数据例如包括图片、文字、视频、音乐等。

有时，多个新闻媒体会报道同一个新闻、多个网站会呈现同一张图片。如何使用户获取到不重复的数据，是一个亟待解决的问题。

发明内容

有鉴于此，本发明实施例的目的是提出一种数据处理方法和装置，能够进行数据去重处理。

为了达到上述目的，本发明实施例提出一种数据处理方法，包括：

获取多份数据；

对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据；

保留所述至少两份相同的数据中的一份数据。

在本发明一实施例中，所述对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据，包括：

计算多份数据中的每一份数据的MD5值；

将MD5值相同的至少两份数据确认为是相同的数据。

在本发明一实施例中，所述保留所述至少两份相同的数据中的一份数据，包括：

识别所述至少两份相同的数据的来源；

查找所述至少两份相同的数据中是否存在来自所述来源的数据；

当所述至少两份相同的数据中存在来自所述来源的数据时，保留所述至少两份相同的数据中的来自所述来源的一份数据。

在本发明一实施例中，所述保留所述至少两份相同的数据中的一份数据，包括：

比较所述至少两份相同的数据的发布时间是否相同；

当所述至少两份相同的数据的发布时间不同时，保留所述至少两份相同的数据中的发布时间较早的一份数据。

本发明实施例还提出一种数据处理装置，包括：

获取模块，用于获取多份数据；

校验模块，用于对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据；

处理模块，用于保留所述至少两份相同的数据中的一份数据。

在本发明一实施例中，所述校验模块，包括：

计算子模块，用于计算多份数据中的每一份数据的MD5值；

确认子模块，用于将MD5值相同的至少两份数据确认为是相同的数据。

在本发明一实施例中，所述处理模块，包括：

识别子模块，用于识别所述至少两份相同的数据的来源；

查找子模块，用于查找所述至少两份相同的数据中是否存在来自所述来源的数据；

第一处理子模块，用于当所述至少两份相同的数据中存在来自所述来源的数据时，保留所述至少两份相同的数据中的来自所述来源的一份数据。

在本发明一实施例中，所述处理模块，包括：

比较子模块，用于比较所述至少两份相同的数据的发布时间；

第二处理子模块，用于当所述至少两份相同的数据的发布时间不同时，保留所述至少两份相同的数据中的发布时间较早的一份数据。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明由于提供了对获取的多份数据进行校验，以及保留校验后的至少两份相同的数据中的一份数据，因此，提供了数据去重的数据处理方法，能够将相同的数据仅保留一份，去除多余的数据，从而方便用户对数据的使用。

本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例中的数据处理方法的流程图。

图2是本发明一实施例中的数据处理方法的流程图。

图3是本发明一实施例中的数据处理方法的流程图。

图4是本发明一实施例中的数据处理装置的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明实施例，并不用于限定本发明实施例。