[发明专利]一种海量网络流数据的存储方法及装置

权利要求书

1.一种海量网络流数据的存储方法，其特征在于，包括以下步骤：

步骤1：采集任一时段内用户提交的数据查询请求，并根据数据查询请求得到查询条件，所述数据查询请求用于查询待查询数据；

步骤2：分析查询条件中的时间属性及特征属性，统计时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性作为聚簇属性；

步骤3：根据聚簇属性及时间跨度为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；

步骤4：采集机接收网络流数据，并将网络流数据转发给文件服务器，文件服务器上的接收进程接收转发来的网络流数据；

步骤5：文件服务器读取配置文件，按照配置文件存储接收到的网络流数据。

2.根据权利要求1所述的存储方法，其特征在于，还包括步骤6：客户端向文件服务器发送查询请求，文件服务器解析查询请求得到查询信息，根据查询信息及配置文件对待查询的网络流数据进行查找和分析，得到查询结果，文件服务器将查找结果发送给客户端。

3.根据权利要求1所述的存储方法，其特征在于：所述步骤4中当网络正常、文件服务器正常且采集机上无暂存数据时，采集机将网络流数据转发给文件服务器上的数据接收进程；

数据接收进程将接收到的网络流数据存储于文件服务器中的数据仓库中。

4.根据权利要求1所述的存储方法，其特征在于：所述步骤4中当网络出现故障或者文件服务器发生故障时，采集机将网络流数据保存在采集机的本地暂存目录中。

5.根据权利要求1所述的存储方法，其特征在于：所述步骤4中当网络及文件服务器在故障修复后恢复正常的一段时间内：

在采集机的本地暂存目录中存储有网络流数据时，采集机上的数据补发进程将存储于本地暂存目录中的网络流数据转发给文件服务器上的数据接收进程，与此同时，采集机上的数据转发进程将正常的网络流数据转发给文件服务器上的数据接收进程；

直到采集机的本地暂存目录中的网络流数据全部转发完毕时，采集机恢复到正常的数据转发流程，由采集机上的数据转发进程将网络流数据转发给文件服务器上的数据接收进程。

6.根据权利要求1所述的存储方法，其特征在于：所述步骤5中数据存储过程具体包括以下步骤：

步骤5.1：文件服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；

步骤5.2：每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；

步骤5.3：将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。

7.一种海量网络流数据的存储装置，其特征在于：包括采集机(1)和文件服务器(2)；

所述采集机(1)，用于接收网络流数据，并将网络流数据转发给文件服务器；

所述文件服务器(2)，用于采集任一时段内用户提交的数据查询请求，并根据数据查询请求得到查询条件，所述数据查询请求用于查询待查询数据；分析查询条件中的时间属性及特征属性，统计时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性作为聚簇属性；根据聚簇属性及时间跨度为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件，并存储配置文件；接收网络流数据；读取配置文件，按照配置文件存储接收到的网络流数据。

8.根据权利要求7所述的存储装置，其特征在于：还包括客户端(3)，所述客户端(3)用于向文件服务器(2)发送查询请求，接收文件服务器(2)发送的查询结果；

文件服务器(2)还用于解析查询请求得到查询信息，根据查询信息及配置文件对待查询的网络流数据进行查找和分析，得到查询结果，将查询结果发送给客户端。

9.根据权利要求7所述的存储装置，其特征在于：所述文件服务器(2)上设置有数据接收进程和数据存储进程；

所述数据接收进程用于将网络流数据转发给数据存储进程；

所述数据存储进程用于按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。