[发明专利]一种大数据块结构化存储方法

说明书

本发明公开了结构化存储技术领域的一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，通过数据接收端口的数据接收模块统一接收多种数据类型的原始数据，数据接收模块将接收到的原始数据传输到中央处理器，利用多个自主分类处理单元进行分类，将经过分类的数据按照分类一一单独存储；本发明通过将经过自主分类处理单元处理分类后的数据分门别类存储到分布式数据库中，所有分布式数据库中的所有数据信息再次统一存储到主数据库，形成备份，通过多组分布式数据库分别分担存储任务，扩展存储容量，通过直接访问经过分类的分布式数据库中的分类数据信息，访问调用数据快速，访问效率高。

技术领域

本发明涉及结构化存储技术领域，具体涉及一种大数据块结构化存储方法。

背景技术

任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。传统的数据系统就是所谓的“大数据”技术，这是一个被创造出来的名词，代表着新的技术门槛。

“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。

但大数据的存储方法是通过部署运维监控软件收集大数据运行日志数据以纯文本格式存储到本地文件系统或者关系型数据库系统，难以解决大数据存储数据量庞大的问题，海量数据的访问效率极慢。基于此，本发明设计了一种大数据块结构化存储方法，以解决上述问题。

发明内容

本发明的目的在于提供一种大数据块结构化存储方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，具体步骤如下：

第一步，数据接收

通过数据接收端口的所述数据接收模块统一接收多种数据类型的原始数据；

第二步，数据分类

所述数据接收模块将接收到的原始数据传输到中央处理器，利用多个所述自主分类处理单元进行分类；

第三步，数据存储

将经过分类的数据按照分类一一单独存储。

优选的，所述第一步数据接收模块的信号输出端将原始数据经过信号转换输送至中央处理器的信号输入端。

优选的，所述第二步中通过中央处理器对接收到的原始数据进行数据清洗过滤，以对原始数据进行审查校验、删除重复数据、纠正错误数据。

优选的，所述第二步中多个所述自主分类处理单元通过计算机网络互连来协作完成分配的任务。

优选的，所述第三步中数据存储到大数据库，所述大数据库包括主数据库和多个分布式数据库，多个所述分布式数据库的数据信号输出端口与所述主数据库的数据信号输入端口之间连接。

优选的，所述分布式数据库的数据输出端口电性连接有数据访问模块。