[发明专利]一种用于对大数据进行处理的方法及系统

说明书

本发明公开了一种用于对大数据进行处理的方法及系统，其中方法包括：按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；设置数据库的缓存区，数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；根据用户对指定单位的数据查询请求，判断缓存区中是否存储指定单位的数据，当缓存区中存储指定单位的数据时，直接从缓存区中调用指定单位的数据，获取指定单位的数据调用结果；当缓存区中未存储指定单位的数据时，通过指定单位对应的数据分表调用指定单位的数据，获取指定单位的数据调用结果。

技术领域

本发明涉及大数据应用与处理技术领域，更具体地，涉及一种于对大数据进行处理的方法及系统。

背景技术

粮食保管的温度和湿度直接影响着粮食的质量，以及决定后期粮食的处理过程，所以粮食局领导非常重视。在国家粮食系统信息化的背景下，粮温粮情也要作为一个业务点，纳入进系统，粮食监管解决方案是分级管理系统，分为两级管理，一级是在各个粮库库点，部署粮库出入库系统以及粮库业务管理系统，是一套完备的出入库流程的电子监控系统。二级是粮食监管平台，部署在省市县粮食局，粮库出入库系统通过网络将日常得的粮情业务数据传到粮食监管平台。如图2所示。

粮情粮温数据统计一般都用于每个粮仓之中，一个库点一般有20个仓房，一个省大概有库点100多个，一天一个仓房按照一条粮情粮温计算，那么一天的数据量大概有20*100＝2000条。那么一年大概有2000*365＝73 万条数据。由于列表中还要显示平均温的走势，平均湿度的走势，那么需要计算每个测温点的，那么一年的测温点的数据超过一亿，就会出现如下问题：

现有技术由于数据量太大，造成粮情粮温界面初始化需要10多分钟才可以展现出来。用户不能接受这样的速度，所以在系统架构上需要解决此问题。由于每年都会产生上亿条数据，数据库容量难以承受，一个单独表结构满足不了现在的业务量的增长。

因此，需要一种技术，以实现对大数据进行处理。

发明内容

本发明技术方案提供一种于对大数据进行处理的方法及系统，以解决如何对大数据进行处理及快速查询的问题。

为了解决上述问题，本发明提供了一种用于对大数据进行处理的方法，所述方法包括：

按预先设置的切分单位对数据库进行数据库分表处理，将数据库中的数据按所述预先设置的切分单位对数据库进行分表，将数据库中的数据按照切分单位分别存储于对应的数据库分表中；

设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据；

根据用户对指定单位的数据查询请求，判断所述缓存区中是否存储所述指定单位的数据，当所述缓存区中存储所述指定单位的数据时，直接从所述缓存区中调用所述指定单位的数据，获取指定单位的数据调用结果；

当所述缓存区中未存储所述指定单位的数据时，通过所述指定单位对应的数据分表调用所述指定单位的数据，获取指定单位的数据调用结果。

优选地，所述设置数据库的缓存区，所述数据库的缓存区用于存储预定时间区间内的所有单位的数据库分表中的数据，还包括：

利用远程字典服务Redis对预定时间区间内的所有单位的数据库分表中的数据进行缓存。

优选地，还包括：

对获取的指定单位的数据调用结果进行缓存。

优选地，还包括：对获取的指定单位的数据调用结果以哈希hash散列的形式进行缓存。

优选地，还包括：

对数据库分表添加单位编码标识；