[发明专利]一种基于实时数据流的数据采样方法、装置及电子设备

说明书

本发明实施例提供了一种基于实时数据流的数据采样方法、装置及电子设备。方法包括：在预设采样周期到达时，获取最近预设采样周期内所接收到的待采样数据的数据量，并将所述待采样数据的数据量作为参考数据量；确定预设的期望采样数据量与所述参考数据量的比值，并将所述比值作为采样比例；按照所述采样比例，对当前预设采样周期内所接收到的待采样数据进行采样。可以将最近预设采样周期内所接收到的待采样数据的数据量，作为当前预设采样周期将要接收到的待采样数据量的参考，来确定当前预设采样周期的采样比例，使得每个采样周期采集到的样本数据维持在期望采集到的样本数据量的附近，即实现了单位时间内采样得到的数据的数据量相对稳定。

技术领域

本发明涉及大数据分析技术领域，特别是涉及一种基于实时数据流的数据采样方法、装置及电子设备。

背景技术

在面对数量庞大的待处理数据的时候，如果对这些数据全部进行处理，将会带来很大的资源开销。现有技术中，为了降低这种资源开销，可以对待处理数据，按照一个预设的采样比例进行采样，得到其中一部分数据，并只对这一部分数据进行处理。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

对于流量随时间可能发生变化的数据流，如果按照固定的采样比例进行采样，那么单位时间内采样得到的数据的数据量，会随着时间变化产生波动，可能与期望采样得到的数据量相差较远。

发明内容

本发明实施例的目的在于提供一种基于渐变数据流的采样方法，以减小采样得到的数据的数据量随时间的波动。具体技术方案如下：

在本发明实施例的第一方面，提供了一种基于实时数据流的数据采样方法，所述方法包括：

在预设采样周期到达时，获取前一个预设采样周期内所接受到的待采样数据的数据量，并将所述待采样数据的数据量作为参考数据量；

确定预设的期望采样数据量与所述参考数据量的比值，并将所述比值作为采样比例；

按照所述采样比例，对当前预设采样周期内所接收到的待采样数据进行采样。

进一步的，所述按照所述采样比例，对当前预设采样周期内所接收到的待采样数据进行采样，包括：

在当前预设采样周期内每接收到一条数据，生成一个取值范围为0到1的伪随机数；

如果所述伪随机数小于所述采样比例，采集该条数据。

进一步的，在所述确定预设的期望采样数据量与所述参考数据量的比值之前，还包括：

确定预设的期望采样数据量与所述参考数据量之间的大小关系；

如果所述期望采样数据量小于所述参考数据量，执行所述确定预设的期望采样数据量与所述参考数据量的比值的步骤；或者，

如果所述期望采样数据量不小于所述参考数据量，采集当前预设采样周期内所接收到的所有待采样数据。

进一步的，所述获取前一个预设采样周期内所接收到的待采样数据的数据量，包括：

获取前一个预设采样周期内所接收到的数据中不符合预设特征的数据的数据量，并将所述不符合预设特征的数据的数据量作为前一个预设采样周期内所接收到的待采样数据的数据量。

进一步的，在所述确定预设的期望采样数据量与所述参考数据量的比值之前，还包括：

确定所述参考数据量是否为0；

如果所述参考数据量不为0，则执行所述确定预设的期望采样数据量与所述参考数据量的比值的步骤；或者，

如果所述参考数据量为0，按照预设采样比例，对当前预设采样周期内所接收到的待采样数据进行采样。