[发明专利]一种海量网络流数据的存储方法及装置

摘要

本发明涉及一种海量网络流数据的存储方法及装置，包括以下步骤采集任一时段内用户提交的数据查询请求，根据数据查询请求得到查询条件；分析查询条件中的时间属性及特征属性，选择超出预设出现频率的阈值的特征属性作为聚簇属性；为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件；采集机接收网络流数据并转发给文件服务器，文件服务器按照配置文件存储接收到的网络流数据。本发明使查询条件直接映射到相应的空间划分中，直接进行数据的写入或查询，在最大程度上降低加载和存储的开销的同时，保证查询性能。

主权项

一种海量网络流数据的存储方法，其特征在于，包括以下步骤：步骤1：采集任一时段内用户提交的数据查询请求，并根据数据查询请求得到查询条件，所述数据查询请求用于查询待查询数据；步骤2：分析查询条件中的时间属性及特征属性，统计时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性作为聚簇属性；步骤3：根据聚簇属性及时间跨度为待查询数据选定分段的数量和分段的端点，根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小，根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；步骤4：采集机接收网络流数据，并将网络流数据转发给文件服务器，文件服务器上的接收进程接收转发来的网络流数据；步骤5：文件服务器读取配置文件，按照配置文件存储接收到的网络流数据。