[发明专利]一种数据处理方法及装置

摘要

本发明涉及数据处理领域，尤其涉及一种数据处理方法及装置，用以减轻SQL on hadoop系统中数据分布不均匀的问题。该方法为主要应用于SQL on hadoop系统，SQL服务器获取Hadoop系统中至少一个数据节点分配待处理文件的文件分配结果，根据文件分配结果从至少一个数据节点中确定至少一个待调度数据节点，确定与至少一个待调度数据节点中每个待调度数据节点相对应的目标数据节点集合，并向至少一个目标数据节点集合中的目标数据节点发送第一调度指示。因此，采用该方法能够将待调度数据节点的处理负荷分担至目标数据节点，减轻SQL on hadoop系统中数据分布不均匀的问题，提升系统性能。

主权项

一种数据处理方法，所述方法应用于基于Hadoop的结构化查询语言SQL on hadoop系统，所述系统中包括SQL服务器和Hadoop系统，所述Hadoop系统包括系统节点和数据节点，其特征在于，包括：SQL服务器获取所述Hadoop系统中至少一个数据节点分配待处理文件的文件分配结果，所述文件分配结果包括所述至少一个数据节点中每个数据节点对应的待处理文件数量；根据所述文件分配结果从所述至少一个数据节点中确定至少一个待调度数据节点，所述待调度数据节点是指待处理文件数量与待处理文件数量平均值的差值高于预设阈值的数据节点，所述待处理文件数量平均值是根据所述文件分配结果中每个数据节点对应的待处理文件数量计算得到的；确定与所述至少一个待调度数据节点中每个待调度数据节点相对应的目标数据节点集合,其中，每个所述目标数据节点集合中包括的目标数据节点数目小于等于与所述目标数据节点集合相对应的待处理数据节点的待处理文件数量与待处理文件数量平均值的差值；向至少一个所述目标数据节点集合中的目标数据节点发送第一调度指示,其中,所述目标数据节点是指保存相应待调度数据节点的待处理文件的文件副本，且待处理文件文件数量低于所述待处理文件数量平均值的数据节点，所述第一调度指示用于指示对应的目标数据节点处理保存的目标文件以及将处理的结果返馈至相应的待调度数据节点，所述目标文件与所述目标文件所在的目标数据节点相应的待调度数据节点中保存的待处理文件相对应，所述目标文件是该待处理文件的文件副本。