[发明专利]一种具有双通道数据库的大数据快速处理系统及方法

权利要求书

1.一种具有双通道数据库的大数据快速处理系统，其特征在于，包括条件判断模块、第一数据处理模块、第二数据处理模块和数据互通模块，其中

所述的条件判断模块用于在系统中预设参比值，将参比值与用户输入系统的条件形成的数据量进行大小比较；

所述的第一数据处理模块用于当条件数据量小于参比值时，选择该模块进行数据处理；

所述的第二数据处理模块用于当条件数据量大于参比值时，选择该模块进行数据处理；

所述的数据互通模块用于将第一数据处理模块的数据处理结果进行转换，转换为与第二数据处理模块的数据处理结果格式相同的系统统一的返回值，实现数据互通。

2.如权利要求2所述的一种具有双通道数据库的大数据快速处理系统，其特征在于，还包括应急处理模块，

所述的应急处理模块用于当条件数据量大于参比值时，而所述的第二数据模块出现故障而无法处理数据时，选择第一数据模块进行数据处理。

3.如权利要求2所述的一种具有双通道数据库的大数据快速处理系统，其特征在于，所述的数据互通模块包括转换规则模块和转换输出模块，

所述的转换规则模块用于通过一份数据定义转换规则，来存储第一数据模块的数据处理结果格式与第二数据模块的数据处理结果格式进行转换的规则，

所述的转换输出模块用于根据转换规则模块中所述的转换规则，将第一数据模块的数据处理结果格式转换成第二数据模块的数据处理结果格式，实现不同数据处理模块的数据互通。

4.一种具有双通道数据库的大数据快速处理方法，具有条件判断模块、第一数据处理模块、第二数据处理模块和数据互通模块，其特征在于，所述方法包括如下步骤：

S1：在系统中预设参比值，将参比值与用户输入系统的条件形成的数据量进行大小比较；

S2：根据S1的判断结果，如果条件数据量小于参比值，选择第一数据模块进行数据处理；

S3：根据S1的判断结果，如果条件数据量大于参比值，选择第二数据模块进行数据处理；

S4：将S2的数据处理结果通过数据互通模块进行转换，转换为与S3的数据处理结果格式相同的系统统一的返回值，实现数据互通。

5.如权利要求4所述的一种具有双通道数据库的大数据快速处理方法，其特征在于，还包括如下步骤：

S5：根据S1的判断结果，如果条件数据量大于参比值，当所述的第二数据模块出现故障而无法处理数据时，选择第一数据模块进行数据处理。

6.如权利要求5所述的一种具有双通道数据库的大数据快速处理方法，其特征在于，步骤S4所述的转换的具体步骤为：

S4-1：通过一份数据定义转换规则，用于存储第一数据模块的数据处理结果格式与第二数据模块的数据处理结果格式进行转换的规则；

S4-2：根据步骤S4-1中所述的转换规则，将第一数据模块的数据处理结果格式转换成第二数据模块的数据处理结果格式，实现不同数据处理模块的数据互通。

7.如权利要求6所述的一种具有双通道数据库的大数据快速处理方法，其特征在于，所述的第一数据模块采用的语句为MySQL可执行的SQL语句，所述的第二数据模块采用的语句为Elasticsearch可执行的json语句。

8.如权利要求7所述的一种具有双通道数据库的大数据快速处理方法，其特征在于，所述的条件包括用户设置的一条或多条规则，所述的多条规则之间可以采用求并集、差集或交集的方式形成一条复杂规则。

9.如权利要求8所述的一种具有双通道数据库的大数据快速处理方法，其特征在于，

所述的S1中，用户输入系统的条件形成XML数据；

所述的S2中，第一数据模块的数据处理具体方法指：读取XML数据，解析XML数据，获取各节点数据，拆分字段，进行条件拼接，然后把所有的条件进行合并，将XML数据转换为SQL语句，执行数据处理；

所述的S3中，第二数据模块的数据处理具体方法指：预设好将XML数据转换为json语句的输入输出规则，读取XML数据，根据输入输出规则进行转换，将XML数据转换为json语句，通过Elasticsearch执行数据处理；

所述的S4中，实现数据互通的具体方法指：通过一份数据定义MySQL表，用于存储SQL数据处理结果格式与json数据处理结果格式进行转换的规则；并根据该转换规则，将SQL数据处理结果格式转换成json数据处理结果格式，实现不同数据处理模块的数据互通。