[发明专利]批量与流式结合的数据处理方法及装置

权利要求书

1.一种批量与流式结合的数据处理方法，其特征在于，所述方法包括：

根据需要执行计算的数据节点类型和数据节点数量，确定对应的计算模型，其中，所述数据节点类型包括批量数据节点和流式数据节点，若所述数据节点数量为单个，则执行单源计算模型，否则执行多源计算模型；

根据所述计算模型根据预设执行模式进行数据处理。

2.根据权利要求1所述的批量与流式结合的数据处理方法，其特征在于，所述根据所述计算模型根据预设执行模式进行数据处理，包括：

若所述计算模型为单源计算模型且所述数据节点类型为批量数据节点，则一次性批量获取所述批量数据节点的目标数据并根据预设执行模式进行数据处理；

若所述计算模型为多源计算模型且所述数据节点类型为流式数据节点，则依次获取所述流式数据节点的各条目标数据或获取设定时间周期内所述流式数据节点的目标数据，并根据预设执行模式进行数据处理。

3.根据权利要求1所述的批量与流式结合的数据处理方法，其特征在于，所述根据所述计算模型根据预设执行模式进行数据处理，包括：

若所述计算模型为多源计算模型且需要执行计算的数据节点类型为多个批量数据节点，则通过预设计算引擎或预设数据索引规则对各批量数据节点的目标数据进行数据处理；

若所述计算模型为多源计算模型且需要执行计算的数据节点类型包含批量数据节点和流式数据节点，则预先对所述批量数据节点进行数据索引，并根据预设规则确定所述流式数据节点中与之匹配的目标数据并进行数据处理；

若所述计算模型为多源计算模型且需要执行计算的数据节点类型为多个流式数据节点，则根据所述流式数据节点在设定时间周期内的目标数据和所述批量数据节点的目标数据，通过预设计算引擎或预设数据索引规则进行数据处理。

4.根据权利要求1所述的批量与流式结合的数据处理方法，其特征在于，所述预设执行模式包括：一次性执行模型、设定时间周期的持续执行模式以及定时更新执行模式中的至少一种。

5.一种批量与流式结合的数据处理装置，其特征在于，包括：

计算节点确定模块，用于根据需要执行计算的数据节点类型和数据节点数量，确定对应的计算模型，其中，所述数据节点类型包括批量数据节点和流式数据节点，若所述数据节点数量为单个，则执行单源计算模型，否则执行多源计算模型；

目标数据计算模块，用于根据所述计算模型根据预设执行模式进行数据处理。

6.根据权利要求5所述的批量与流式结合的数据处理装置，其特征在于，所述计算节点确定模块包括：

批量数据节点单源计算单元，用于若所述计算模型为单源计算模型且所述数据节点类型为批量数据节点，则一次性批量获取所述批量数据节点的目标数据并根据预设执行模式进行数据处理；

流式数据节点单源计算单元，用于若所述计算模型为单源计算模型且所述数据节点类型为流式数据节点，则依次获取所述流式数据节点的各条目标数据或获取设定时间周期内所述流式数据节点的目标数据，并根据预设执行模式进行数据处理。

7.根据权利要求5所述的批量与流式结合的数据处理装置，其特征在于，所述计算节点确定模块包括：

多批量数据节点多源计算单元，用于若所述计算模型为多源计算模型且需要执行计算的数据节点类型为多个批量数据节点，则通过预设计算引擎或预设数据索引规则对各批量数据节点的目标数据进行数据处理；

批量数据节点与流式数据节点组合计算单元，用于若所述计算模型为多源计算模型且需要执行计算的数据节点类型包含批量数据节点和流式数据节点，则预先对所述批量数据节点进行数据索引，并根据预设规则确定所述流式数据节点中与之匹配的目标数据并进行数据处理；

多流式数据节点多源计算单元，用于若所述计算模型为多源计算模型且需要执行计算的数据节点类型为多个流式数据节点，则根据所述流式数据节点在设定时间周期内的目标数据和所述批量数据节点的目标数据，通过预设计算引擎或预设数据索引规则进行数据处理。