[发明专利]一种数据解析方法及装置

说明书

本申请公开了一种数据解析方法及装置，在降低了解析成本的同时也提高了解析结果的实时性和准确性。该方法包括：在获取到待解析的目标数据后，首先判断目标数据是否满足预设分割条件，若是，则根据预设分割规则进行任务分割，获得分割结果；然后再根据分割结果，利用其它子节点对目标数据进行协助解析处理，获得解析结果，并在当再次满足预设分割条件时，利用更多的子节点同时对目标数据进行协助解析，以获得更加实时、准确的解析结果。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据解析方法及装置。

背景技术

随着移动互联网技术的高速发展，网络数据量呈现井喷状态，及时对各种类型数据进行实时分析，实现各种指数和数据的运算，已经是网络应用中的一项重要内容。

目前常用的数据解析方式是将所有任务都由中心节点服务器来统一进行任务调度，但在数据量越来越多且单台机器处理能力无法满足时，中心服务器并不知道需要多少台机器协同处理一个任务比较合适.或者需要人工指定申请多少资源，这样既不能合理地分配集群资源，同时又增加了维护人员的工作负担，并且由于把任务全部由中心服务器调度，间接增加了网络IO的延时和通讯次数，实时性效率难以得到保障。因此，现有的由中心节点服务器来统一进行任务调度的数据解析方式，解析成本高、效率低、维护困难。并且，解析结果也不够准确。

发明内容

有鉴于此，本发明提供一种数据解析方法及装置，以解决现有技术中数据解析成本高、效率低、维护困难以及解析结果不准确的技术问题。

为解决上述问题，本发明提供的技术方案如下：

第一方面，本申请实施例提供了一种数据解析方法，包括：

获取待解析的目标数据；

当所述目标数据满足预设分割条件时，根据预设分割规则进行任务分割，获得分割结果；

根据所述分割结果，对所述目标数据进行协助解析处理，获得解析结果；

当再次满足预设分割条件时，返回根据预设分割规则进行任务分割，并执行后续步骤。

可选的，所述预设分割条件为单位数据粒度的解析时长大于单位粒度生产时长的80％。

可选的，所述当所述目标数据满足预设分割条件时，根据预设分割规则进行任务分割，获得分割结果，包括：

当所述目标数据满足预设分割条件时，确定参加数据解析的子节点；

确定主节点和所述子节点的文件识别码；

计算所述目标数据中各个文件的HashCode；

根据所述HashCode和所述文件识别码确定所述HashCode所属文件是否在当前节点进行处理，以便确定是否利用当前节点对所述文件进行数据解析。

可选的，所述根据所述HashCode和所述文件识别码确定所述HashCode所属文件是否在当前节点进行处理，以便确定是否利用当前节点对所述文件进行数据解析，包括：

将所述HashCode和节点总数进行取余运算，得到余数；

判断所述余数与所述文件识别码是否相同；

若是，则确定所述HashCode所属文件是在当前节点进行处理，以便确定利用当前节点对所述文件进行数据解析；

如否，则确定所述HashCode所属文件不是在当前节点进行处理。

可选的，所述方法还包括：

当满足预设合并条件时，根据预设合并规则进行子节点合并，获得合并结果；

根据所述合并结果，对所述目标数据进行解析处理，获得解析结果。