[发明专利]数据采集存储方法及系统

说明书

技术领域

本发明涉及移动互联网领域，尤其涉及数据采集存储方法及系统。

背景技术

作为移动网络的运营商来说，往往需要监测移动终端对互联网数据业务的使用情况，进而获取相关业务信息并存储，如移动终端的上网记录、通话记录等。现有技术中，一般通过数据采集存储系统去采集移动终端在互联网中所进行的数据传输，以实现对网络传输数据的采集存储。

然而，传统的数据采集存储系统，在对数据传输节点之间的传输信号进行采集的过程中，只能做到将采集点的所有数据全部采集，进而对采集到的所有数据进行存储；但对于运营商来说，采集到的所有数据并不全是所需要的数据，其中包含了大量的垃圾数据；因而在存储数据的过程中，对这些大量的垃圾数据也进行了存储，从而降低了存储性能，导致存储效率较低。

发明内容

本发明提出了数据采集存储方法及系统，能够提高存储效率。

为了达到上述目的，本发明的技术方案是这样实现的：

数据采集存储方法，包括：

采集数据传输节点之间传输的数据；

将采集到的所述数据送入第一缓存；

当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

将经过滤处理得到的所述有效数据进行存储。

优选地，所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包；

所述采集数据传输节点之间传输的数据包括：采集所述二进制数据包。

优选地，在采集到所述二进制数据包之后，所述采集数据传输节点之间传输的数据还包括：

向所述二进制数据包中添加时间戳标识；

将添加了时间戳标识的二进制数据包送入所述第一缓存中；

当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中，以执行所述对采集到的所有数据进行过滤处理的步骤。

优选地，在所述对采集到的所有数据进行过滤处理之后，该方法进一步包括：根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

所述将经过滤处理得到的所述有效数据进行存储，进一步包括：将经分流处理得到的每一股数据进行分别存储。

优选地，所述过滤条件包括数据传输节点中数据发送方或接收方的IP地址；

对采集到的数据进行过滤和/或分流处理，包括：

设置有IP地址的哈希表，该哈希表中存储了一个以上的IP地址；

在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；

若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。

优选地，所述对经分流得到的每一股数据进行分别存储，包括：

设置有磁盘阵列，将所述每一股数据均分存储在磁盘阵列中每一个小磁盘里。

优选地，所述磁盘阵列中的每一个小磁盘为固态硬盘。

本发明还提供了数据采集存储系统，包括：

采集模块，用于采集数据传输节点之间传输的数据；

第一发送模块，用于将采集到的所述数据送入第一缓存；

第二发送模块，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

过滤模块，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

存储模块，用于将经过滤处理得到的所述有效数据进行存储。

优选地，进一步包括：分光器，用于将数据传输节点之间传输的信号分出一部分；转换模块，用于将分出的这部分信号转换为二进制数据包；

所述采集模块，用于采集所述二进制数据包。

优选地，进一步包括：时间戳模块，用于向所述二进制数据包中添加时间戳标识；

所述第一发送模块，用于将添加了时间戳标识的二进制数据包送入所述第一缓存中；

所述第二发送模块包括DMA单元，用于当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中。