[发明专利]批量数据处理方法、服务器、系统及存储介质

说明书

本发明公开了一种批量数据处理方法、服务器、系统及存储介质，所述方法包括：服务器根据所述批量数据的数据类型将所述批量数据保存至预设数据库；将所述预设数据库中的数据通过本地预存的第一预设规则进行预处理；将所述预处理后的数据导入预设处理中心，以使所述预设处理中心根据本地预存的第二预设规则对所述预处理后的数据进行分类，并将分类后的数据送入相应的数据库进行分析；将分析后的数据通过第一预设算法进行计算，并根据计算结果得出所述批量数据的挖掘结果。本发明可对数据进行采集、预处理、导入、分析以及挖掘，并对所述数据采用相应的算法以及数据库进行分析，从而可根据用户需求对数据进行有效处理。

技术领域

本发明涉及互联网技术领域，尤其涉及一种批量数据处理方法、服务器、系统及存储介质。

背景技术

随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。

实时数据分析一般用于金融、移动和互联网商对客(Business-to-Customer，B2C)等产品，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验的目的。要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平台，或者采用机械硬盘(Hard Disk Driver，HDD)的架构，这些无疑都需要比较高的软硬件成本，并且在处理过程中的数据量大，每秒钟的数据量经常会达到百兆，甚至千兆。

发明内容

本发明的主要目的在于提出一种批量数据处理方法、服务器、系统及存储介质，旨在解决现有技术中面对批量数据处理经常出现堵塞的技术问题。

为实现上述目的，本发明提供一种批量数据处理方法，所述批量数据处理方法包括以下步骤：

服务器获取批量数据，根据所述批量数据的数据类型将所述批量数据保存至预设数据库；

提取所述预设数据库中的数据，将所述预设数据库中的数据通过本地预存的第一预设规则进行预处理；

将所述预处理后的数据导入预设处理中心，以使所述预设处理中心根据本地预存的第二预设规则对所述预处理后的数据进行分类，并将分类后的数据送入相应的数据库进行分析；

将分析后的数据通过第一预设算法进行计算，并根据计算结果得出所述批量数据的挖掘结果。

优选地，所述服务器获取批量数据，根据所述批量数据的数据类型将所述批量数据保存至预设数据库之后，所述方法还包括：

接收用户查询请求，根据所述查询请求访问所述预设数据库，以使所述预设数据库根据所述用户请求输出相应的查询结果。

优选地，所述提取所述预设数据库中的数据，将所述预设数据库中的数据通过本地预存的第一预设规则进行预处理之前，所述方法还包括：

获取用户的第一存储指令，提取所述所述第一存储指令中的第一预设规则，并将所述第一预设规则保存在本地。

优选地，所述提取所述预设数据库中的数据，将所述预设数据库中的数据通过本地预存的第一预设规则进行预处理之前，所述方法还包括：

获取所述预设数据库中的数据的数据格式，在所述数据格式不满足合法格式时，将不满足合法格式的数据进行过滤，并将过滤后的数据作为所述预设数据库中的数据。

优选地，所述提取所述预设数据库中的数据，将所述预设数据库中的数据通过本地预存的第一预设规则进行预处理，具体包括：

提取所述预设数据库中的数据，根据所述第一预设规则对所述数据通过第二预设算法进行实时处理。