[发明专利]一种具有双通道数据库的大数据快速处理系统及方法

说明书

本发明涉及大数据处理技术领域，公开了一种具有双通道数据库的大数据快速处理系统，包括条件判断模块、第一数据处理模块、第二数据处理模块和数据互通模块，其中条件判断模块用于在系统中预设参比值，将参比值与用户输入系统的条件形成的数据量进行大小比较；第一数据处理模块用于当条件数据量小于参比值时，选择该模块进行数据处理；第二数据处理模块用于当条件数据量大于参比值时，选择该模块进行数据处理；数据互通模块用于将第一数据处理模块的数据处理结果进行转换，转换为与第二数据处理模块的数据处理结果格式相同的系统统一的返回值，实现数据互通。本发明实现不同数据库之间的快速切换使用。

技术领域

本发明涉及大数据处理技术领域，特别是一种具有双通道数据库的大数据快速处理系统及方法。

背景技术

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，随着信息技术和市场的发展，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

MySQL 是一种关系型数据库管理系统，关系型数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL 所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。

MySQL自有它的不足之处，如规模小、功能有限等，面对日益增长的数据，传统的关系型数据库已经满足不了日益增加的数据的需求，在复杂查询上并不快，效率较低。

而Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。近年ElasticSearch发展迅猛，已经超越了其最初的纯搜索引擎的角色，现在已经增加了数据聚合分析和可视化的特性。

而如何平衡或者兼容大数据和关系型数据库MySQL和新型数据库Elasticsearch的联系是当下急需解决的问题。

发明内容

为了解决上述现有技术的不足，本发明公开了一种具有双通道数据库的大数据快速处理系统及方法，目的是实现平衡关系型数据库MYSQL和新型数据库Elasticsearch之间的相互切换使用，并能快速返回执行结果，增加产品的竞争力。

为实现上述技术目的，达到上述技术效果，本发明公开了一种具有双通道数据库的大数据快速处理系统，包括条件判断模块、第一数据处理模块、第二数据处理模块和数据互通模块，其中

所述的条件判断模块用于在系统中预设参比值，将参比值与用户输入系统的条件形成的数据量进行大小比较；

所述的第一数据处理模块用于当条件数据量小于参比值时，选择该模块进行数据处理；

所述的第二数据处理模块用于当条件数据量大于参比值时，选择该模块进行数据处理；

所述的数据互通模块用于将第一数据处理模块的数据处理结果进行转换，转换为与第二数据处理模块的数据处理结果格式相同的系统统一的返回值，实现数据互通。

进一步地，还包括应急处理模块，

所述的应急处理模块用于当条件数据量大于参比值时，而所述的第二数据模块出现故障而无法处理数据时，选择第一数据模块进行数据处理。

进一步地，所述的数据互通模块包括转换规则模块和转换输出模块，

所述的转换规则模块用于通过一份数据定义转换规则，来存储第一数据模块的数据处理结果格式与第二数据模块的数据处理结果格式进行转换的规则，