[发明专利]一种数据处理系统及方法

权利要求书

1.一种数据处理系统，其特征在于，包括：

数据采集模块、数据存储模块、计算模块、服务模块和应用模块；

数据采集模块，用于实时在预设的数据源中获取待处理的原始数据；

数据存储模块，用于在所述数据采集模块已获取的各个原始数据中获得目标流数据，并在到达预设的同步时间点时，将所述数据采集模块中的所有原始数据存储到预设的批量存储区域；到达预设的回流时间点时，将获得的所述目标流数据存储到所述批量存储区域中，并将所述批量存储区域中存储的数据确定为批量数据；

计算模块，用于对所述目标流数据进行加工计算，获得每个预设的业务指标对应的第一指标数据；并对所述批量数据进行加工计算，获得每个所述业务指标对应的第二指标数据；

所述服务模块，用于将每个所述业务指标对应的第一指标数据和第二指标数据存储到到预设的目标存储表中；

所述应用模块，用于获得查询指令，并将所述查询指令发送到所述服务模块；

所述服务模块，还用于当接收到所述应用模块发送的查询指令时，从所述目标存储表中获取与所述查询指令对应的指标数据，并将与所述查询指令对应的指标数据发送到所述应用模块。

2.根据权利要求1所述的数据处理系统，其特征在于，所述数据存储模块，用于：

确定所述数据采集模块的各个所述原始数据的获取时间点；

根据各个所述原始数据的获取时间点，在所述数据采集模块已获取的各个所述原始数据中获取目标流数据；所述目标流数据的获取时间点在预设的采集时间点之后。

3.根据权利要求1所述的数据处理系统，其特征在于，所述数据存储模块，用于：

确定所述数据采集模块中的每一所述原始数据的数据类型；所述数据类型包括结构化数据类型、半结构化数据类型和非结构化数据类型中的一种；

按每个所述原始数据的数据类型对应的存储方式将每个所述原始数据存储到预设的批量存储区域。

4.根据权利要求1所述的数据处理系统，其特征在于，所述应用模块，还用于：

获取所述目标存储表中存储的每个所述业务指标对应的第一指标数据和第二指标数据；

对于每个所述业务指标，利用所述业务指标对应的所述第二指标数据对所述业务指标对应的所述第一指标数据进行修正。

5.根据权利要求1所述的数据处理系统，其特征在于，所述应用模块，还用于：

接收所述服务模块发送的与所述查询指令对应的指标数据；

应用预设的数据挖掘算法对接收到的所述指标数据进行数据挖掘。

6.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据采集模块、数据存储模块、计算模块、服务模块和应用模块，所述方法包括：

所述数据采集模块实时在预设的数据源中获取待处理的原始数据；

所述数据存储模块在所述数据采集模块已获取的各个原始数据中获得目标流数据，并在到达预设的同步时间点时，将所述数据采集模块中的所有原始数据存储到预设的批量存储区域；到达预设的回流时间点时，将获得的所述目标流数据存储到所述批量存储区域中，并将所述批量存储区域中存储的数据确定为批量数据；

所述计算模块对所述目标流数据进行加工计算，获得每个预设的业务指标对应的第一指标数据；并对所述批量数据进行加工计算，获得每个所述业务指标对应的第二指标数据；

所述服务模块将每个所述业务指标对应的第一指标数据和第二指标数据存储到到预设的目标存储表中；

所述应用模块获得查询指令，并将所述查询指令发送到所述服务模块；

所述服务模块当接收到所述应用模块发送的查询指令时，从所述目标存储表中获取与所述查询指令对应的指标数据，并将与所述查询指令对应的指标数据发送到所述应用模块。