[发明专利]一种数据处理系统和方法

说明书

本发明公开了一种数据处理系统和方法，涉及大数据分析处理领域。该处理方法包括：可视化页面系统实时下发规则数据到数据库服务器中；预处理服务器从所述数据库服务器获取所述规则数据、业务基础数据和待处理的业务数据，根据所述规则数据和所述业务基础数据对所述业务数据进行流式预处理；数据库服务器获取并存储预处理后的业务数据。通过本发明，用户可利用可视化页面系统修改预处理规则，规则数据实时下发到数据库服务器，预处理服务器能够及时获取到新的规则数据并解析应用，无需重启系统，有效的预防系统重启导致的数据丢失和堆积。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据处理系统和方法。

背景技术

数据预处理技术主要实现对数据的去噪、重构、比对、富化等操作，涉及“数据预处理体系结构”、“基于元数据的异构数据处理”两个方面，为后续数据对象化存储和对数据的分析计算提供高质量的数据支持。

预处理业务主要根据预处理规则来执行，现有技术中，当预处理规则发生改变时，不能实时应用到当前的预处理中。增加或删减预处理规则后，系统需要重新编码和重新启动才能应用新的规则；系统重启会带来数据丢失或积压的问题，导致结果数据偏差或者不能实时反馈。

发明内容

本发明的目的在于提出一种数据处理系统和方法，能够实时更改并应用新的数据预处理规则，并实现可视化操作。

为达此目的，本发明采用以下技术方案：

一方面，本发明提供一种数据处理系统，包括：预处理服务器集群、数据库服务器集群、Web应用服务器集群和客户端；

预处理服务器集群、数据库服务器集群和Web应用服务器集群通过交换机组成分布式存储系统；

客户端通过Web应用服务器提供的应用接口访问所述Web应用服务器上的可视化页面系统。

其中，Web应用服务器集群与交换机之间架设有防火墙。

另一方面，本发明提供一种数据处理方法，包括：

可视化页面系统实时下发规则数据到数据库服务器中；

预处理服务器从所述数据库服务器获取所述规则数据、业务基础数据和待处理的业务数据，根据所述规则数据和所述业务基础数据对所述业务数据进行流式预处理；

数据库服务器获取并存储预处理后的业务数据。

其中，所述规则数据存储在数据库服务器的内存数据库中；

所述业务基础数据和所述业务数据存储在数据库服务器的数据库或者文件系统中。

进一步的，根据所述规则数据和所述业务基础数据对所述业务数据进行流式预处理，包括：

预处理服务器读取所述规则数据中的规则，根据所述规则将所述业务基础数据与所述业务数据比对，以进行预处理。

进一步的，预处理服务器从所述数据库服务器获取所述规则数据，包括：

预处理服务器按照周期从所述数据库服务器获取所述规则数据；或者

预处理服务器收到所述数据库服务器更新所述规则数据的消息后，从所述数据库服务器获取所述规则数据。

进一步的，预处理服务器从所述数据库服务器获取所述规则数据、业务基础数据和待处理的业务数据，包括：

预处理服务器接收所述数据库服务器推送的数据，根据所述数据的标志对所述数据进行分类，区分出规则数据、业务基础数据和业务数据。

进一步的，数据库服务器获取并存储预处理后的业务数据之后，还包括：