[发明专利]数据处理方法、装置、系统、计算机设备和存储介质

权利要求书

1.一种数据处理系统，所述数据处理系统包括任务管理节点以及数据处理节点，其中，

所述任务管理节点，用于从分布式存储集群中获取任务信息，根据所述任务信息生成目标数据处理任务，将所述目标数据处理任务发送给所述数据处理节点，所述任务信息是所述分布式存储集群根据用户请求存储的；

所述数据处理节点，用于根据所述目标数据处理任务生成数据查询请求，向所述分布式存储集群发送所述数据查询请求，以使得所述分布式存储集群根据所述目标数据处理任务对应的数据处理范围获取对应的目标待处理数据，根据所述目标数据处理任务对应的数据处理规则对所述目标待处理数据进行处理，得到所述数据查询请求对应的查询结果；

所述数据处理节点，还用于将所述查询结果解析为符合预设数据格式的目标数据，将所述目标数据写入到所述分布式存储集群中。

2.根据权利要求1所述的系统，其特征在于，

所述任务管理节点，还用于获取所述分布式存储集群的集群资源配置信息，根据所述集群资源配置信息确定任务并发数量；

所述将所述目标数据处理任务发送给所述数据处理节点包括：

将所述目标数据处理任务加入到任务等待队列中，基于所述任务并发数量从所述任务等待队列获取对应数量的目标数据处理任务，并发送到所述数据处理节点。

3.根据权利要求2所述的系统，其特征在于，所述将所述目标数据处理任务加入到任务等待队列中，基于所述任务并发数量从所述任务等待队列获取对应数量的目标数据处理任务，并发送到所述数据处理节点包括：

创建所述目标数据处理任务对应的任务等待队列，将所述目标数据处理任务加入到任务等待队列中；

根据所述任务并发数量创建对应数量的任务调度单元；

利用所述任务调度单元从所述任务等待队列中依次获取目标数据处理任务并发送给所述数据处理节点；

当所述任务调度单元获取的目标数据处理任务在所述数据处理节点执行完成时，返回利用所述任务调度单元从所述任务等待队列中依次获取目标数据处理任务并发送给所述数据处理节点的步骤，直至所述任务等待队列的目标数据处理任务发送完毕。

4.根据权利要求3所述的系统，其特征在于，所述数据处理节点包括多个，所述利用所述任务调度单元从所述任务等待队列中依次获取目标数据处理任务并发送给所述数据处理节点包括：

获取各个所述数据处理节点对应的任务执行状态，当查找到任务执行状态为完成的目标数据数据处理节点时，利用所述任务调度单元从所述任务等待队列中依次获取目标数据处理任务，发送给所述目标数据数据处理节点。

5.根据权利要求1所述的系统，其特征在于，至少一个所述数据处理节点与所述分布式存储集群中的至少一个数据存储节点设置在同一计算机设备上，设置于同一计算机设备上的数据处理节点与数据存储节点之间相互独立运行，所述向分布式存储集群发送所述数据查询请求包括：

根据所述目标数据处理任务生成数据查询请求，向位于同一计算机设备上的数据存储节点发送所述数据查询请求。

6.根据权利要求1所述的系统，其特征在于，所述将所述查询结果解析为符合预设数据格式的目标数据，将所述目标数据写入到所述分布式存储集群中包括：

获取所述查询结果对应的属性名称以及属性值，将所述属性名称作为属性对象中的键名，将所述属性值作为所述属性对象中的键值，得到所述属性对象；

将所述查询结果作为查询结果对象中的键值，将查询结果名称作为所述查询结果对象中的键名，得到所述查询结果对象；

将所述属性对象以及所述查询结果对象组合成文本格式的目标对象，将所述目标对象作为所述目标数据写入到所述分布式存储集群中。

7.根据权利要求6所述的系统，其特征在于，所述将所述目标对象作为所述目标数据写入到所述分布式存储集群中包括：

在所述分布式存储集群中创建数据存储索引，将所述目标对象写入到所述数据存储索引中。