[发明专利]一种数据处理系统及方法

说明书

本发明提供了一种数据处理系统及方法，可应用于金融领域或其他领域，其中，系统中的数据采集模块实时在数据源中获取原始数据；数据存储模块在数据采集模块中获得目标流数据，并在到达同步时间点时，将数据采集模块中的所有原始数据存储到预设的批量存储区域；到达回流时间点时，将获得的目标流数据存储到批量存储区域中，并将批量存储区域中存储的数据确定为批量数据；计算模块对目标流数据和批量数据进行加工计算，获得每个业务指标的指标数据；服务模块将各指标数据存储到到目标存储表中；应用模块将查询指令发送到服务模块；服务模块从目标存储表中获取对应的指标数据，并发送到应用模块。能够提高数据处理效率，节约数据处理资源。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理系统及方法。

背景技术

银行大数据平台目前采用的数据处理系统通常是批处理和流处理分两套系统进行。这样会导致以下问题：一方面是数据不集中，重复存储、重复计算，导致存储、计算的资源消耗高，开发、维护的人力成本高；另一方面是使用两套引擎和两套代码，SQL逻辑无法复用，数据质量、数据一致性和执行效率无法保证。

发明内容

本发明所要解决的技术问题是提供一种数据处理系统及方法，能够提高数据处理效率，节约数据处理资源。具体方案如下：

一种数据处理系统，包括：

数据采集模块、数据存储模块、计算模块、服务模块和应用模块；

数据采集模块，用于实时在预设的数据源中获取待处理的原始数据；

数据存储模块，用于在所述数据采集模块已获取的各个原始数据中获得目标流数据，并在到达预设的同步时间点时，将所述数据采集模块中的所有原始数据存储到预设的批量存储区域；到达预设的回流时间点时，将获得的所述目标流数据存储到所述批量存储区域中，并将所述批量存储区域中存储的数据确定为批量数据；

计算模块，用于对所述目标流数据进行加工计算，获得每个预设的业务指标对应的第一指标数据；并对所述批量数据进行加工计算，获得每个所述业务指标对应的第二指标数据；

所述服务模块，用于将每个所述业务指标对应的第一指标数据和第二指标数据存储到到预设的目标存储表中；

所述应用模块，用于获得查询指令，并将所述查询指令发送到所述服务模块；

所述服务模块，还用于当接收到所述应用模块发送的查询指令时，从所述目标存储表中获取与所述查询指令对应的指标数据，并将与所述查询指令对应的指标数据发送到所述应用模块。

上述的数据处理系统，可选的，数据存储模块，包括：

确定所述数据采集模块的各个所述原始数据的获取时间点；

根据各个所述原始数据的获取时间点，在所述数据采集模块已获取的各个所述原始数据中获取目标流数据；所述目标流数据的获取时间点在预设的采集时间点之后。

上述的数据处理系统，可选的，所述数据存储模块，用于：

确定所述数据采集模块中的每一所述原始数据的数据类型；所述数据类型包括结构化数据类型、半结构化数据类型和非结构化数据类型中的一种；

按每个所述原始数据的数据类型对应的存储方式将每个所述原始数据存储到预设的批量存储区域。

上述的数据处理系统，可选的，所述应用模块，还用于：

获取所述目标存储表中存储的每个所述业务指标对应的第一指标数据和第二指标数据；

对于每个所述业务指标，利用所述业务指标对应的所述第二指标数据对所述业务指标对应的所述第一指标数据进行修正。

上述的数据处理系统，可选的，所述应用模块，还用于：