[发明专利]数据采集的方法、系统、存储介质及电子设备

说明书

本发明公开数据采集的方法、系统、存储介质及电子设备，其中，该方法包括：接入数据源，并利用布隆过滤器对获取的数据进行去重过滤；将过滤后的数据压缩后进行加密处理；利用内存映射技术将加密后的数据存储到本地，或同时将本地存储的数据通过网络发送给服务器或外部服务接口。本发明提供的数据采集的系统，采用上述数据采集的方法，实现了在高流量下，保证收集系统稳健的同时还进一步提高了数据的采集和传输效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及数据采集的方法、系统、存储介质及电子设备。

背景技术

随着现代业务的高速发展，人们会逐渐对服务的业务健康状态和服务性能状态变得越来越密切关心，因此需要监测服务的数据，被监测的数据源可以是来自各种形式的：诸如主动式的埋点上报或是被动式的日志采集。

与此同时，也诞生了一个问题：对于一个流量稍高的服务，伴随着数据源种类的增多，这些服务数据若在同一时刻汇总所产生的数据量也变得不容小觑，如何应对大数据量下的数据收集，是一个非常需要迫切解决的问题。

发明内容

本发明的目的在于提供数据采集的方法、系统、存储介质及电子设备，在高流量下，保证收集系统稳健的同时还进一步提高了数据的采集效率。

为了实现上述目的，本发明提供如下技术方案：

一种数据采集的方法，包括：

接入数据源，并利用布隆过滤器对获取的数据进行去重过滤；

将过滤后的数据压缩后进行加密处理；

利用内存映射技术将加密后的数据存储到本地，或同时将本地存储的数据通过网络发送给服务器或外部服务接口。

优选地，基于位图实现所述布隆过滤器，所述布隆过滤器的位数组的元素默认为0。

进一步地，利用布隆过滤器对获取的数据进行去重过滤的方法包括：

抽取数据中的唯一特征标识；

将所述特征标识输入布隆过滤器中，并利用所述布隆过滤器中的多个哈希函数生成不同的哈希值，将所述哈希值对应的位数组的元素设置为1，并存储；

若数据经过所述布隆过滤器后得到的位数组已经存在，则舍弃；

若数据经过所述布隆过滤器后得到的位数组不存在，则保留。

较佳地，利用哈夫曼编码压缩算法对数据进行压缩。

较佳地，采用DES对称加密算法对压缩后的数据进行加密。

优选地，利用MMAP内存映射技术将加密后的数据存储到本地。

较好地，基于sendfile零拷贝技术将本地存储的数据通过网络发送给服务器或外部服务接口。

一种数据收集的系统，包括采集接口单元、过滤单元、压缩加密单元、存储单元及传输单元，其中，

所述采集接口单元用于接入数据源；

所述过滤单元用于利用布隆过滤器对获取的数据进行去重过滤；

所述压缩加密单元用于将过滤后的数据压缩后进行加密处理；

所述存储单元利用内存映射技术将加密后的数据存储到本地；

所述传输单元用于将本地存储的数据通过网络发送给服务器或外部服务接口。

一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行上述数据收集的方法。

一种电子设备，所述电子设备包括：