[发明专利]一种在线流数据近似处理方法及装置

摘要

本发明公开了一种在线流数据近似处理方法，包括以下步骤：对流数据进行数据学习，获得流数据基于二叉树的数据分布情况，根据数据分布情况，对流数据进行采样，得到采样数据，对采样数据进行计算，获得流数据的近似处理结果。对流数据基于二叉树结构进行数据学习，确定流数据的数据分布情况，根据数据分布情况对流数据进行采样，得到采样数据，根据采样数据计算流数据的近似处理结果。基于流数据进行学习所得到的数据分布情况进行采样，使得采样数据符合流数据的数据分布情况，对样本数据进行计算得到的流数据的近似处理结果同样符合流数据的数据分布情况，提高了近似处理的准确性。本发明还公开了一种在线流数据近似处理装置，具有相应技术效果。

主权项

1.一种在线流数据近似处理方法，其特征在于，包括：对流数据进行数据学习，获得所述流数据基于二叉树的数据分布情况；如果所述流数据的当前流速小于预设第一流速阈值，则分别使用第一随机采样算法和与所述数据分布情况对应的第二随机采样算法对所述流数据进行采样；如果所述当前流速大于预设第二流速阈值，则并行使用所述第二随机采样算法对所述流数据进行采样；对所述采样数据进行计算，获得所述流数据的近似处理结果；其中，所述第二随机采样算法为：根据所述数据分布情况，确定所述二叉树的底层中每个子层的权值信息；根据每个子层的权值信息，确定每个子层可容纳的子样本数量；针对所述流数据的每个数据项，确定该数据项对应的目标子层；如果所述目标子层中已存在的子样本数量小于所述目标子层对应的可容纳的子样本数量，则将该数据项加入到所述目标子层中；如果所述目标子层中已存在的子样本数量等于所述目标子层对应的可容纳的子样本数量，则将该数据项替换所述目标子层中的一个子样本。