[发明专利]一种基于mongodb的海量数据存储方法

说明书

本发明在此提供一种基于mongodb的海量数据存储方法，按照如下实施；1)数据存储请求：在数据存储和用户请求之间，加上一个数据逻辑分布处理中心；每条数据在进行存储之前，必须向处理中心发起请求，传入所需参数；2)数据集群存储：根据返回的存储信息找到对应的集群就行存储；3)数据分库存储：根据返回的存储信息找到对应的集群下的对应库就行存储；4)数据分表存储：根据返回的存储信息找到对应的表就行最终数据存储；5)取值：当查询一条数据时，需要去分布处理中心取得该数据的位置信息，即：传入所需参数，中心再根据存储的同一规则得到该条数据的位置信息并返回。查询再根据返回的位置信息去查找该条数据。

技术领域

本发明涉及一种海量数据存储方法，具体来讲是一种基于mongodb的海量数据存储方法，也可以适用其它数据库。

背景技术

目前，Mongodb数据库本身是一款设计用来存储信息的非关系型数据库，但是在实际使用过程中会有一下问题：

1、单数据集群支持的数据量还是有限，使用分片技术也会有类似问题；

2、要加快查询就需要加索引，加索引响应速度就会变慢；

3、即使是使用多集群来存储海量数据，如果没有好的存储方案，还是会有性能瓶颈问题，因为多集群意味着数据处理也会很复杂，在多集群的架构下，数据的调配就需要集中统一处理，同时需要相应的解决方案。

例：当mongodb的存储数据超过千亿的时候，必然是靠分集群分表分库来解决数据的存储和查询，那么如何对数据实施分集群分表分库，这就需要选择合适的分配方案才能达到理想的结果。

发明内容

因此，为了解决上述不足，本发明在此提供一种基于mongodb的海量数据存储方法(本发明也适用其它数据库)；本发明主要是用来处理大数据的存储方案。例：经过多次试验结果表明，当数据以亿为数量级以后，对唯一关键字加密后得到的md5关键字，根据上文规则拆分，基本可以平均分配到每个集群的每个库的每张表，每张表的数据量之间的悬殊不会很大。

本发明是这样实现的，构造一种基于mongodb的海量数据存储方法，其特征在于：按照如下实施；

1)数据存储位置请求：

在数据存储和用户请求之间，加上一个数据逻辑分布处理中心，该处理中心根据规则处理数据存储的发布；数据终端的第一步就是向规则中心请求该条数据所处的节点；

例：终端提交的数据为该数据的关键字，处理中心对关键字进行md5处理后，得到的一个32位的字符串，该字符有一个特点即是一个16进制的表示方法，即：字符串由0到9以及a,b,c,d,e,f组成；

2)数据分集群规则：在处理大数据的时候需要分集群，分库，分表；那么针对海量的数据，根据md5关键字来进行拆分，比如以字符串的第一个字符来进行拆分，那么可以将整个数据拆分到16个集群，以字符串的前二个字符来进行拆分则可以将所有数据拆分到256个集群；

3)数据分库规则：与分集群同理，依据md5关键字，取字符串的第2到第4个来进行分库；库名以取值的字符串命名；

4)数据分表规则：与分库同理，依据md5关键字，取字符串的第5到第6个来进行分表，表名以取值的字符串命名；

5)存储：当一条数据想处理中心请求到该数据所处位置时，根据返回的位置数据以及规则，就知道它应该存放在那个集群，那个库，那张表，即可以存储在对应的位置即可；

6)单一数据取值：当根据条件去获取单一数据时，向处理中心传入所需参数，处理中心返回该条数据所处位置，根据数据中心返回的位置信息和规则可以知道该数据存放在那个集群，那个库，那张表，然后去对应的位置取值即可。

7)多数据查询：根据条件利用mapreduce去各集群取值即可。