[发明专利]用于处理大数据的方法和装置

权利要求书

1.一种用于处理大数据的方法，其特征在于，包括：

获取源数据；

根据所述源数据创建大数据模型的第一数据分片，其中，所述第一数据分片包括数据存储位置、存储数据源、数据范围、聚合维度中的至少一项。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

持续监听多个所述第一数据分片；

在多个所述第一数据分片满足所述大数据模型的第二数据分片的分片条件时，对多个所述第一数据分片进行批量处理。

3.根据权利要求2所述的方法，其特征在于，所述对多个所述第一数据分片进行批量处理，包括：

汇聚多个所述第一数据分片，得到所述第二数据分片，所述第一数据分片的分片条件与所述第二数据分片的分片条件不同。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

配置所述大数据模型的处理策略，所述处理策略包括所述第一数据分片的分片条件和所述第二数据分片的分片条件。

5.根据权利要求3或4所述的方法，其特征在于，所述汇聚多个所述第一数据分片，得到所述第二数据分片，包括：

基于预定维度或预定粒度，对多个所述第一数据分片进行汇聚，得到所述第二数据分片。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述源数据创建大数据模型的第一数据分片，包括：

在所述源数据满足所述第一数据分片的分片条件时，对所述源数据进行实时处理。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述源数据是离散数据，或基于卡夫卡Kafka消息中的连续数据。

8.根据权利要求2至7中任一项所述的方法，其特征在于，所述分片条件是基于结构化查询语言SQL的分片表达式。

9.一种用于处理大数据的装置，其特征在于，包括：

获取模块，用于获取源数据；

处理模块，用于根据所述获取模块获取的所述源数据创建大数据模型的第一数据分片，其中，所述第一数据分片包括数据存储位置、存储数据源、数据范围、聚合维度中的至少一项。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

监听模块，用于持续监听多个所述第一数据分片；

所述处理模块，还用于在多个所述第一数据分片满足所述大数据模型的第二数据分片的分片条件时，对多个所述第一数据分片进行批量处理。

11.根据权利要求10所述的装置，其特征在于，所述处理模块具体用于：

汇聚多个所述第一数据分片，得到所述第二数据分片，所述第一数据分片的分片条件与所述第二数据分片的分片条件不同。

12.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：

配置模块，用于配置所述大数据模型的处理策略，所述处理策略包括所述第一数据分片的分片条件和所述第二数据分片的分片条件。

13.根据权利要求11或12所述的装置，其特征在于，所述处理模块具体用于：

基于预定维度或预定粒度，对多个所述第一数据分片进行汇聚，得到所述第二数据分片。

14.根据权利要求9至13中任一项所述的装置，其特征在于，所述处理模块具体用于：

在所述源数据满足所述第一数据分片的分片条件时，对所述源数据进行实时处理。

15.根据权利要求9至14中任一项所述的装置，其特征在于，所述源数据是离散数据，或基于卡夫卡Kafka消息中的连续数据。

16.根据权利要求10至15中任一项所述的装置，其特征在于，所述分片条件是基于结构化查询语言SQL的分片表达式。