[发明专利]一种大数据采集处理存储的通用方法

说明书

一种大数据采集处理存储的通用方法，包括：若大数据平台接收到数据存储请求则将待存储的数据信息分割成等份数据量的第一数据包及第二数据包，通过大数据平台将第一数据包传输至存储设备内并生成匹配的公钥，将第二数据包存储至数据库并为生成匹配的私钥，将公钥与私钥绑定生成密钥信息组并将其存储至数据库，且为存储设备进行存储标识，若大数据平台接收到存储标识则提取存储设备的第一数据包的公钥并根据公钥在数据库内检索匹配的私钥，通过大数据平台将对应的第二数据包提取并在导出第一数据包至终端设备时，将对应的第二数据包同步下载至终端设备，通过大数据平台将第一数据包及第二数据包组合成数据信息；提高存储设备存储量并防止数据丢失。

技术领域

本发明涉及大数据存储领域，特别涉及一种大数据采集处理存储的通用方法。

背景技术

“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。

因此，需要将大数据与存储设备相结合，将待存储的数据信息进行分割存储，以节省存储设备的存储空间，提高存储设备的存储数据量，并在存储设备多次使用后为数据信息进行智能备份是目前急需解决的问题。

发明内容

发明目的：为了克服背景技术中的缺点，本发明实施例提供了一种大数据采集处理存储的通用方法，能够有效解决上述背景技术中涉及的问题。

技术方案：

一种大数据采集处理存储的通用方法，所述方法包括以下步骤：

若大数据平台接收到存储设备反馈的数据存储请求，则将终端设备内待存储至存储设备的数据信息进行分割成等份数据量的第一数据包以及第二数据包；

通过大数据平台将第一数据包传输至与终端设备连接的存储设备内并为该第一数据包计算生成匹配的公钥；

通过大数据平台将第二数据包上传存储至连接的数据库指定位置并为该第二数据包计算生成匹配的私钥；

通过大数据平台将第一数据包匹配的公钥与第二数据包匹配的私钥绑定生成密钥信息组并将密钥信息组存储至第二数据包所在数据库位置，且为插入终端设备的存储设备进行存储标识；

若大数据平台接收到存储设备反馈的存储标识，则提取所述存储设备存储的第一数据包的公钥并根据所述公钥在数据库内检索匹配的私钥；

通过大数据平台将与所述公钥匹配的私钥对应的第二数据包进行提取并在所述存储设备导出第一数据包至终端设备时，将所述第一数据包匹配的第二数据包同步下载至所述终端设备；

通过大数据平台将导出完成的第一数据包以及下载完成的第二数据包组合形成初始的数据信息。

作为本发明的一种优选方式，在通过大数据平台将第一数据包匹配的公钥与第二数据包匹配的私钥绑定生成密钥信息组时，所述方法还包括以下步骤：

通过大数据平台提取与终端设备连接的存储设备编码信息并将其与所述存储设备内存储的第一数据包匹配的公钥绑定生成身份信息；

通过大数据平台将所述身份信息与所述第一数据包对应的第二数据包匹配的私钥绑定生成密钥信息组。