[发明专利]一种大数据存储系统

权利要求书

1.一种大数据存储系统，其特征在于，包括控制器，控制器连接有信息传输模块与若干个分布式数据库，分布式数据库数量可拓展，所述分布式数据库包括存储数据库与数据处理模块，所述信息传输模块连接有分级模块、阅览模块、信息评阅模块、访问模块与检索模块，所述分级模块连接有数据编录模块，所述控制器还连接有标识模块、暂存模块、自动检索模块、统计模块、验证模块与数据分类模块；

所述访问模块通过信息传输模块与控制器向验证模块传输访问认证信息，当访问认证信息通过验证模块的验证时，对应用户能够登录并对数据库中的数据进行访问查看；

所述验证模块用于对访问模块发出的访问认证信息进行验证，并对通过验证的账号登录状况进行监督；

所述标示模块用于生成账号并对账号标记，所标记账号分为高权限用户账号与普通权限用户账号，标记模块生成的账号分至各用户；

所述数据编录模块用于输入待存储数据，同时高权限用户能够通过数据编录模块对二级数据进行修改，数据编录模块中输入的待存储数据经分级模块设定权限后传输至暂存模块；

所述存储数据库用于存储数据编录模块输入的数据；

所述数据处理模块用于响应控制器的控制命令对存储数据库中的数据进行处理；

所述数据编录模块输入的待存储数据进入存储数据库的流程为：

步骤一：待存储数据传输至分级模块，分级模块将待存储数据分为一级数据与二级数据，其中一级数据为所有用户可发布、所有用户不可修改只可查阅的数据，二级数据为高权限用户可发布，所有用户可以查阅，高权限用户能够进行修改的数据；

步骤二：待存储数据传输至暂存模块，自动检索模块对待存储数据的标题进行检索，当待存储数据的标题中θ％的字符包含于分布式数据库中已经存储的数据A₁、A₂、......、A_n的标题中，则定义此待存储数据与已经存储的信息A₁、A₂、......、A_n为同一类数据，其中θ为预设值；

步骤三：控制器分析已经存储的数据A₁、A₂、......、A_n在分布式数据库中的分布状况，得到已经存储的数据A₁、A₂、......、A_n在各个分布式数据库中的存储数量B₁、B₂、......、B_n，取B₁、B₂、......、B_n中最小的存储数量B_k对应的分布式数据库C_k中，将该待存储数据传输至C_k中，若同时出现多个存储数量为B_k的分布式数据库C₁、C₂、......C_n，则待存储数据随机存储分布式数据库C₁、C₂、......C_n中的一个；

所述阅览模块用于查询阅览数据库中的现有数据；

所述信息评阅模块用于对数据库中的现有数据进行评价，评价分为赞同与不赞同，评价由接入存储系统的用户进行，每一个账号能够对一条数据信息进行一次评价；

所述数据分类模块用于对数据编录模块输入的数据按照所属检索领域进行分类，检索领域包括但不限于建筑、娱乐、军事、政治、社会与航天；

用户通过所述访问模块输入关键词对存储数据库中的数据进行检索与查看，访问模块的关键词信息传输入统计模块；

所述统计模块用于对一段时间内访问模块输入的关键词信息进行统计与分析，并将分析结果传输至自动检索模块；

所述自动检索模块用于对分布式数据库中的数据的标题与内容进行检索，并根据检索结果对冗余文件进行删除以释放存储数据库的存储空间；

所述冗余文件的删除方法为：

SS1、将检索领域分为R₁、R₂、......、R_n，预设每个检索领域的检索时间为T₁、T₂、......T_n，所述统计模块按照检索领域R_k每隔T_k时间对关键词信息进行统计，提取排名为S_k的关键词，其中1≤k≤n，且k为自然数，T_k与S_k均为预设值；

SS2、自动检索模块根据上一步骤中提取的关键词对存储数据库中的数据进行检索并提取，各个存储数据库中被提取的数据首先传输至数据处理模块，数据处理模块对其所在的分布式数据库内的被提取数据的标题与内容进行读取并进行相似度比较，当至少两个数据的相似度达到预设值ω％时，定义其为同一内容数据，每个检索领域的预设值ω％均不相同，且ω为预设值；

SS3、被定义为同一内容的数据之间根据X值与X₁值进行比较，其中其中X₁为数据的赞同的数量，X₂为数据的不赞同的数量，X₁≥X₃，X₃为设定数值，对同一内容的数据的X值进行比较并保留X值最大的数据Y₁的以及X₁值最大的数据Q₁，X₁≤X₃的数据与其它不符合要求的冗余数据均从存储数据库中进行删除；

SS4、自动检索模块将各分布式数据库中得到的数据Y₁、Y₂、......Y_n、Q₁、Q₂、......Q_n后，对各数据的标题与内容进行读取并进行相似度比较，当至少两个数据的相似度达到预设值ω％时，定义其为同一内容数据，按照步骤SS3中的操作方法对冗余数据进行删除，其中ω为预设值。

2.根据权利要求1所述的一种大数据存储系统，其特征在于，所述访问模块与所述验证模块验证账号信息与账号登录状况的方法如下：

S1、访问模块在登录账号后向验证模块发出登录认证信息，验证模块接收到该登录认证信息后，向访问模块反馈第一验证信息，第一验证信息包括但不限于验证码，用于初步验证账号登录为计算机自动操作或真人操作；

S2、访问模块在接收到反馈的第一验证信息后，向验证模块发出链接申请信息，验证模块在接收到链接申请信息后向访问模块开放部分分布式数据库，开放的分布式数据库占分布式数据库的总数量比例不超过λ％，λ为预设值；

S3、验证模块在设定时间t内该登录账号对开放的分布式数据库内的检索次数G₁，若G₁＜G₂时，对该账号开放所有分布式数据库，G₂为预设值，若G₁≥G₂，断开该账号与数据库的连接。