[发明专利]一种数据处理方法及系统、计算机设备、计算机存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

基于接收的任务发起指令生成数据处理任务；

读取所述数据处理任务指向的待处理数据所在的文件路径信息；

根据所述文件路径信息将所述数据处理任务分解为多个子任务；

创建用于处理所述子任务的集群子角色；

为各个所述集群子角色分别分配至少一个子任务；

利用各个所述集群子角色分别处理各自接收到的至少一个子任务，以对所述待处理数据进行采集和解析。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述文件路径信息将所述数据处理任务分解为多个子任务包括：

基于所述文件路径信息读取各个文件的上层文件夹路径信息；

以单个文件的上层文件夹路径作为任务分解的依据，对所述数据处理任务进行分解，并将所述数据处理任务分解为多个子任务。

3.根据权利要求1或2所述的数据处理方法，其特征在于，还包括：

收到所述数据处理任务时判断当前子任务队列是否为空；

根据所述当前子任务队列为空读取所述数据处理任务指向的待处理数据所在的文件路径信息；

或者根据所述当前子任务队列不为空将所述数据处理任务加入任务队列，所述任务队列中的数据处理任务等待当前子任务队列中的子任务均被处理完成后再执行。

4.根据权利要求3所述的数据处理方法，其特征在于，所述基于接收的任务发起指令生成数据处理任务包括：

基于所述任务发起指令生成即时的数据处理任务或定时的数据处理任务；

将所述即时的数据处理任务加入任务队列；

或者将所述定时的数据处理任务加入任务定时执行队列，并根据到达任务执行时间将所述定时的数据处理任务加入任务队列。

5.根据权利要求1所述的数据处理方法，其特征在于，还包括：

生成所述数据处理任务时基于待处理数据对应的元数据生成字段映射信息；

处理所述子任务时根据预先读取的所述字段映射信息对所述待处理数据进行解析。

6.根据权利要求5所述的数据处理方法，其特征在于，还包括：

根据待处理数据的解析结果生成任务解析成功信息或任务异常日志信息。

7.根据权利要求1所述的数据处理方法，其特征在于，还包括：

根据所述数据处理任务处理完成结果产生毒丸消息，以根据所述毒丸消息销毁所述集群子角色。

8.一种数据处理系统，其特征在于，包括：

网页前端模块，用于基于接收的任务发起指令生成数据处理任务；

调度服务模块，用于将所述数据处理任务转发至集群处理模块；

集群处理模块，包括主节点和从节点；

所述主节点，用于读取所述数据处理任务指向的待处理数据所在的文件路径信息，以及用于根据所述文件路径信息将所述数据处理任务分解为多个子任务；所述主节点用于在至少一个从节点中创建用于处理所述子任务的集群子角色，以及用于为各个所述集群子角色分别分配至少一个子任务；

所述从节点，用于利用各个所述集群子角色分别处理各自接收到的至少一个子任务，以对所述待处理数据进行采集和解析；

数据来源模块，用于提供数据源；

数据存储模块，用于存储处理完成的数据。

9.一种计算机设备，其特征在于，该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述的数据处理方法的步骤。

10.一种计算机存储介质，其特征在于，该计算机存储介质上存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述的数据处理方法的步骤。