[发明专利]网页数据的处理方法和装置

权利要求书

1.一种网页数据的处理方法，其特征在于，包括：

采集网页数据；

采用预设过滤条件过滤采集到的所述网页数据；以及

将过滤后的所述网页数据分发至多个处理节点。

2.根据权利要求1所述的处理方法，其特征在于，采集到的所述网页数据包括多条数据，采用预设过滤条件过滤采集到的所述网页数据包括：

判断第一数据是否满足所述预设过滤条件，其中，所述第一数据为所述多条数据中的任一条数据；以及

在判断所述第一数据满足所述预设过滤条件的情况下，删除所述第一数据。

3.根据权利要求2所述的处理方法，其特征在于，判断第一数据是否满足所述预设过滤条件包括：

获取所述第一数据中目标字符的比重；以及

判断所述目标字符的比重是否达到预设比重，

其中，在判断出所述目标字符的比重达到所述预设比重的情况下，确定所述第一数据满足所述预设过滤条件。

4.根据权利要求2所述的处理方法，其特征在于，判断第一数据是否满足所述预设过滤条件包括：

获取所述第一数据的直接来源数据；以及

判断所述第一数据与所述直接来源数据是否相同，

其中，在判断出所述第一数据与所述直接来源数据相同的情况下，确定所述第一数据满足所述预设过滤条件。

5.根据权利要求2所述的处理方法，其特征在于，判断第一数据是否满足所述预设过滤条件包括：

获取所述第一数据的字符数量；以及

判断所述字符数量是否小于预设值，

其中，在判断出所述字符数量小于所述预设值的情况下，确定所述第一数据满足所述预设过滤条件。

6.根据权利要求1所述的处理方法，其特征在于，将过滤后的所述网页数据分发至多个处理节点包括：

获取过滤后的所述网页数据的数量、所述处理节点的数量和每个所述处理节点未处理的所述网页数据的数量；以及

按照过滤后的所述网页数据的数量和每个所述处理节点未处理的所述网页数据数量，将过滤后的所述网页数据分发至多个所述处理节点。

7.根据权利要求6所述的处理方法，其特征在于，所述处理节点的数量为n，n为2以上的自然数，按照过滤后的所述网页数据的数量和每个所述处理节点未处理的所述网页数据数量，将过滤后的所述网页数据分发至多个所述处理节点包括：

按照公式确定分发至处理节点i的数量CN_i，其中，i依次取1至n，TN为过滤后的所述网页数据的数量，N_i为所述处理节点i未处理的所述网页数据的数量；以及

每分发一条过滤后的所述网页数据至所述处理节点i，将CN_i减1，直至CN_i=0，或每分发一条过滤后的所述网页数据至所述处理节点i，将N_i加1，直至N_i=CN_i。

8.根据权利要求7所述的处理方法，其特征在于，采用以下方式分发过滤后的所述网页数据至所述处理节点i：

获取过滤后的网页数据的用户标识Ti；

获取所述处理节点i处理过的所述网页数据的用户标识；

判断第一用户标识是否为第二用户标识中的任一用户标识，其中，所述第一用户标识为所述网页数据的用户标识Ti，所述第二用户标识为所述处理节点i处理过的所述网页数据的用户标识；以及

在判断出所述第一用户标识为所述第二用户标识中的任一用户标识的情况下，分发用户标识为Ti的所述网页数据至所述处理节点i。

9.根据权利要求1所述的处理方法，其特征在于，在将过滤后的所述网页数据分发至多个处理节点之后，所述处理方法还包括：

统计每个所述处理节点所处理的所述网页数据。

10.一种网页数据的处理装置，其特征在于，包括：

采集单元，用于采集网页数据；

过滤单元，用于采用预设过滤条件过滤采集到的所述网页数据；以及

分发单元，用于将过滤后的所述网页数据分发至多个处理节点。