[发明专利]一种海量数据快速存储的方法和装置

权利要求书

1.一种海量数据快速存储的方法，其特征在于，包括：

步骤1：针对网络中实时获取的数据包，将所述数据包中的结构化数据存储为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；

步骤2：按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件迁移到非结构化数据库中；

步骤3：将结构化数据库中的结构文件存储到数据库服务器中；将非结构化数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各压缩文件在非结构化服务器中的存储地址存储到数据库服务器中；

所述步骤3，具体包括：

按照设定的第二时间间隔，定期通过多线程方式从结构化数据库中获取结构文件，并将所述结构文件分解为结构正文文件和结构统计文件，再将所述结构正文文件中的结构化数据和结构统计文件中的结构化数据存储到数据库服务器中的数据表中；

按照设定的第三时间间隔，定期通过多线程方式从非结构化数据库中获取压缩文件，根据所述压缩文件的协议类型，将所述压缩文件分别对应的存储到不同协议类型的非结构化服务器中，并将所述压缩文件中的非结构化数据存储到所述非结构化服务器中的数据表中；再将所述非结构化数据在非结构化服务器中的存储地址存储到数据库服务器中的数据表中；

根据结构化数据与非结构化数据之间的关联关系，在数据库服务器中，将存储有所述结构化数据的数据表与存储有所述非结构化数据的存储地址的数据表进行关联。

2.根据权利要求1所述的海量数据快速存储的方法，其特征在于，所述步骤1，包括：

步骤11：针对网络中实时获取的数据包，对所述数据包进行解析，通过分析所述数据包的包头获得所述数据包的协议类型与协议参数；

步骤12：根据所述数据包的协议类型与协议参数，将所述数据包中的数据分解为结构化数据与非结构化数据；

步骤13：将所述数据包中的结构化数据存储为结构文件，将所述数据包中的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中。

3.根据权利要求1所述的海量数据快速存储的方法，其特征在于，所述海量数据快速存储的方法，还包括：

根据用户的检索要求，在数据库服务器中找到满足所述检索要求的数据表；

获取满足所述检索要求的数据表中的结构化数据以及非结构化数据的存储地址，并将其返回显示出来；

根据所述非结构化数据的存储地址，在对应的非结构化服务器中获取所述非结构化数据，并将其返回显示出来。