[发明专利]数据处理方法及系统

说明书

本发明提供一种数据处理方法及系统，所述数据处理系统包括相对独立运行的数据存储单元、处理单元及计算服务单元；所述方法包括：所述处理单元逐条读取所述数据存储单元中的待处理数据；根据预设的计算任务，判断所述待处理数据是否需要进行聚合计算；在不需要进行聚合计算时，通过所述处理单元或将该处理数据发送至所述计算服务单元进行普通计算；在需要进行聚合计算时，将该待处理数据发送至计算服务单元进行聚合计算。通过对数据进行相对独立的存储、处理及计算，并采用将批次处理转换为了流式处理的方法，增强了所述数据处理系统的可扩展性，并提高了所述数据处理系统在进行数据处理时对计算资源的利用率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法及系统。

背景技术

随着数字技术的发展，对大批量数据进行数据处理时往往需要采用批次计算的方法对数据进行处理。现有技术的批次计算系统需要精细和复杂的人工配置，任务进程的功能和性能复杂度都比较大。在存储和计算规模发生较大变化的时候，需要对各种资源参数做复杂的调整，在复杂场景中的性能调优十分困难，导致了整个数据处理系统的可扩展性差。

发明内容

为了克服现有技术中的上述不足，本发明的目的在于提供一种数据处理方法，应用于数据处理系统，所述数据处理系统包括相对独立运行的数据存储单元、处理单元及计算服务单元，所述数据存储单元支持数据的顺序读取及随机写入；所述方法包括：

所述处理单元逐条读取所述数据存储单元中的待处理数据；

根据预设的计算任务，判断所述待处理数据是否需要进行聚合计算，其中，所述聚合计算包括需要结合多条待处理数据进行的计算；

在判定所述待处理数据不需要进行聚合计算时，通过所述处理单元或将该处理数据发送至所述计算服务单元进行普通计算，其中，所述普通计算为针对每条所述待处理数据独立进行的逐条计算；

在判定所述待处理数据需要进行聚合计算时，将该待处理数据发送至计算服务单元进行聚合计算；

将处理完成的数据通过随机写入的方式保存至所述数据存储单元。

本发明的另一目的在于提供一种数据处理系统，所述数据处理系统包括相对独立运行的数据存储单元、处理单元及计算服务单元，所述数据存储单元支持数据的顺序读取及随机写入；所述数据存储单元、处理单元及计算服务单元之间通过数据接口进行数据交互以实现以下功能：

所述处理单元逐条读取所述数据存储单元中的待处理数据；

根据预设的计算任务，判断所述待处理数据是否需要进行聚合计算，其中，所述聚合计算包括需要结合多条待处理数据进行的计算；

在判定所述待处理数据不需要进行聚合计算时，通过所述处理单元或将该处理数据发送至所述计算服务单元进行普通计算，其中，所述普通计算为针对每条所述待处理数据独立进行的逐条计算；

在判定所述待处理数据需要进行聚合计算时，将该待处理数据发送至计算服务单元进行聚合计算；

将处理完成的数据通过随机写入的方式保存至所述数据存储单元。

相对于现有技术而言，本发明具有以下有益效果：

本发明提供的数据处理方法及系统，通过对数据进行相对独立的存储、处理及计算，并采用将批次处理转换为了流式处理的方法，增强了所述数据处理系统的可扩展性，并提高了所述数据处理系统在进行数据处理时对计算资源的利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。