[发明专利]数据采集的方法、系统、存储介质及电子设备

权利要求书

1.一种数据采集的方法，其特征在于，包括：

接入数据源，并利用布隆过滤器对获取的数据进行去重过滤；

将过滤后的数据压缩后进行加密处理；

利用内存映射技术将加密后的数据存储到本地，或同时将本地存储的数据通过网络发送给服务器或外部服务接口。

2.根据权利要求1所述的数据采集的方法，其特征在于，基于位图实现所述布隆过滤器，所述布隆过滤器的位数组的元素默认为0。

3.根据权利要求2所述的数据采集的方法，其特征在于，利用布隆过滤器对获取的数据进行去重过滤的方法包括：

抽取数据中的唯一特征标识；

将所述特征标识输入布隆过滤器中，并利用所述布隆过滤器中的多个哈希函数生成不同的哈希值，将所述哈希值对应的位数组的元素设置为1，并存储；

若数据经过所述布隆过滤器后得到的位数组已经存在，则舍弃；

若数据经过所述布隆过滤器后得到的位数组不存在，则保留。

4.根据权利要求1所述的数据采集的方法，其特征在于，利用哈夫曼编码压缩算法对数据进行压缩。

5.根据权利要求1所述的数据采集的方法，其特征在于，采用DES对称加密算法对压缩后的数据进行加密。

6.根据权利要求1所述的数据采集的方法，其特征在于，利用MMAP内存映射技术将加密后的数据存储到本地。

7.根据权利要求1所述的数据采集的方法，其特征在于，基于sendfile零拷贝技术将本地存储的数据通过网络发送给服务器或外部服务接口。

8.一种数据收集的系统，其特征在于，包括采集接口单元、过滤单元、压缩加密单元、存储单元及传输单元，其中，

所述采集接口单元用于接入数据源；

所述过滤单元用于利用布隆过滤器对获取的数据进行去重过滤；

所述压缩加密单元用于将过滤后的数据压缩后进行加密处理；

所述存储单元利用内存映射技术将加密后的数据存储到本地；

所述传输单元用于将本地存储的数据通过网络发送给服务器或外部服务接口。

9.一种计算机可读存储介质，其特征在于，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行权利要求1至7中任一项所述的数据收集的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的数据收集的方法。