[发明专利]一种用于对大数据进行处理的方法及系统

权利要求书

1.一种用于对大数据进行处理的方法，所述方法包括：

按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；

设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；

根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；

当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。

2.根据权利要求1所述的方法，所述设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还包括：

利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。

3.根据权利要求1所述的方法，还包括：

对获取的指定单位的数据调用结果进行缓存。

4.根据权利要求3所述的方法，还包括：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。

5.根据权利要求1所述的方法，还包括：

对数据库分表添加单位编码标识；

当有新增加数据时，按照新增加数据的所属单位的单位编码标识，查找与所属单位对应的数据库分表，将新添加数据添加到对应的数据库分表中。

6.一种用于对大数据进行处理的系统，所述系统包括：

初始单元，用于按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；

设置单元，用于设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；

第一调用单元，用于根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；

第二调用单元，用于当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。

7.根据权利要求6所述的系统，所述设置单元用于设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还用于：

利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。

8.根据权利要求6所述的系统，还包括存储单元，用于：

对获取的指定单位的数据调用结果进行缓存。

9.根据权利要求8所述的系统，所述存储单元还用于：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。

10.根据权利要求6所述的系统，还包括：

初始单元，还用于对数据库分表添加单位编码标识；

更新单元，用于当有新增加数据时，按照新增加数据的所属单位的单位编码标识，查找与所属单位对应的数据库分表，将新添加数据添加到对应的数据库分表中。