[发明专利]一种数据处理方法、系统及相关设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收数据查询请求，所述数据查询请求中包含统计字段；

采用流式读取的方式从数据库中读取包含所述统计字段的源数据；

在读取所述源数据期间，对读取到的每条数据进行第一层累计处理，所述第一层累计处理包括：查询第一缓存中已缓存的数据中是否存在与当前一条数据所有统计字段的字段值均相同的第一目标数据，若存在，则将所述当前一条数据的记录值叠加至所述第一目标数据对应的记录值，若不存在，则将所述当前一条数据缓存在所述第一缓存中；

将所述第一缓存中的数据在数据报表中进行显示；

其中，所述数据查询请求中包含至少两个统计字段形成的集合M，以及第一降维组合，所述第一降维组合中包含至少一个所述统计字段，若所述第一降维组合中的统计字段为集合N，则所述方法还包括：

当所述第一缓存中的数据条数超过第一预设数量时，在读取所述源数据期间，进行第二层累计处理，所述第二层累计处理包括：查询第二缓存中已缓存的数据中是否存在与当前一条数据的第一降维组合所有统计字段的字段值均相同的第二目标数据，若存在，则将当前一条数据的记录值叠加至所述第二目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第二缓存中；

将所述第二缓存中的数据在数据报表中进行显示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一缓存中数据进行所述第二层累计处理。

3.根据权利要求2所述的方法，其特征在于，所述数据查询请求中还包含第二降维组合，所述第二降维组合中包含至少一个所述统计字段，且所述第二降维组合中的统计字段的集合所述方法还包括：

当所述第二缓存中的数据条数超过第二预设数量时，在读取所述源数据期间，进行第三层累计处理，所述第三层累计处理包括：查询第三缓存中已缓存的数据中是否存在与当前一条数据的第二降维组合所有统计字段值相同的第三目标数据，若存在，则将当前一条数据的记录值叠加至所述第三目标数据对应的记录值，若不存在，则将当前一条数据缓存在所述第三缓存中；

对所述第二缓存中数据进行所述第三层累计处理；

将所述第一缓存、第二缓存、第三缓存中的数据在数据报表中分层进行显示。

4.根据权利要求1至3中任一项所述的方法，其特征在于，当所述数据查询请求中包含至少两个源数据时，根据所述数据查询请求生成至少两个并行执行程序对象，以实现对多个源数据的数据并行读取操作。

5.根据权利要求4所述的方法，其特征在于，还包括：

对多个源数据进行最高层累计处理之后的数据进行叠加处理，所述叠加处理包括：查询最高层累计处理之后的数据是否存在与当前一条数据所有统计字段的字段值均相同的第四目标数据，若存在，则将当前一条数据的记录值叠加至所述第四目标数据对应的记录值，若不存在，则将当前一条数据缓存在第四缓存中；

将所述第四缓存中的数据在数据报表中进行显示。