[发明专利]一种基于mongodb的海量数据存储方法

摘要

本发明在此提供一种基于mongodb的海量数据存储方法，按照如下实施；1)数据存储请求：在数据存储和用户请求之间，加上一个数据逻辑分布处理中心；每条数据在进行存储之前，必须向处理中心发起请求，传入所需参数；2)数据集群存储：根据返回的存储信息找到对应的集群就行存储；3)数据分库存储：根据返回的存储信息找到对应的集群下的对应库就行存储；4)数据分表存储：根据返回的存储信息找到对应的表就行最终数据存储；5)取值：当查询一条数据时，需要去分布处理中心取得该数据的位置信息，即：传入所需参数，中心再根据存储的同一规则得到该条数据的位置信息并返回。查询再根据返回的位置信息去查找该条数据。

主权项

1.一种基于mongodb的海量数据存储方法，其特征在于：按照如下实施；1)数据存储位置请求：在数据存储和用户请求之间，加上一个数据逻辑分布处理中心，该处理中心根据规则处理数据存储的发布；数据终端的第一步就是向规则中心请求该条数据所处的节点；2)数据分集群规则：在处理大数据的时候需要分集群，分库，分表；那么针对海量的数据，根据md5关键字来进行拆分，比如以字符串的第一个字符来进行拆分，那么可以将整个数据拆分到16个集群，以字符串的前二个字符来进行拆分则可以将所有数据拆分到256个集群；3)数据分库规则：与分集群同理，依据md5关键字，取字符串的第2到第4个来进行分库；库名以取值的字符串命名；4)数据分表规则：与分库同理，依据md5关键字，取字符串的第5到第6个来进行分表，表名以取值的字符串命名；5)存储：当一条数据想处理中心请求到该数据所处位置时，根据返回的位置数据以及规则，就知道它应该存放在那个集群，那个库，那张表，即可以存储在对应的位置即可；6)单一数据取值：当根据条件去获取单一数据时，向处理中心传入所需参数，处理中心返回该条数据所处位置，根据数据中心返回的位置信息和规则可以知道该数据存放在那个集群，那个库，那张表，然后去对应的位置取值即可。7)多数据查询：根据条件利用mapreduce去各集群取值即可。