[发明专利]计算滑动窗口下数据流最大值和最小值的方法和系统

说明书

技术领域

本发明属于数据分析处理领域，尤其涉及实时计算动态变化数据的最大值和最小值的方法。

背景技术

数据流的应用领域越来越广泛。数据流不同于传统关系数据，不是存储在磁盘上的有限数据集合，而是无限的、连续的、快速的、实时的，以流的形式出现的数据集合。数据流的应用场景有证券股票交易所的股票价格信息，网络监测系统与道路交通监测系统的监测数据、电信部门的通话记录数据以及互联网网站上的数据等。

对数据流的一个重要应用就是对数据流数据的查询，例如，证券交易所需要知道当前一段时间内股票价格最大和最小的是哪两只股票。但是采用传统的关系数据库的方式并不能有效的解决此问题，因为：实际应用中，存储空间是有限的，但是数据流是源源不断的到达的。对数据流的应用来说，要满足实时性的要求。传统的关系数据库技术往往需要扫描外存中的数据来获得查询结果，针对数据流系统的要求，这种实现方式不现实。传统的数据库技术不能满足持续增长和快速变化的数据流数据的查询要求。因此必须提出与数据流特点相适用的数据流数据查询方法。

最大值和最小值的计算是数据流数据查询中的一个重要问题。但是目前的解决方法需要扫描当前的全部数据，而且需要保存一段时间窗口内的全部历史数据，对计算机的内存和计算能力都要求较高，远远不能满足当前日益增长数据流量和实时性要求，有必要提出新的占有内存少和计算能力要求低的计算方法。

发明内容

为了解决现有技术需要扫描当前窗口下的全部数据，并保存当前窗口下的全部数据的不足，不能满足当前日益增长数据流量和实时性要求的问题，本发明的目的是提供一种能满足实时性要求的计算滑动窗口下数据流最大值和最小值的方法和系统。

为了实现上述目的，本发明是通过以下技术方案实现一种计算滑动窗口下数据流最大值和最小值的方法，包括步骤如下：

生成历史数据步骤：对当前滑动窗口下的数据流进行计算，生成需要保存的历史数据；

计算当前最大值或最小值步骤：当增加新数据或删除旧数据时，此数据与保存的历史数据比较计算出当前的最大值或最小值；

更新历史数据步骤：根据新数据增加或旧数据删除，更新需要保存的历史数据。

为了实现上述目的，本发明是通过以下技术方案实现一种计算滑动窗口下数据流最大值和最小值的系统，包括：计算最大和最小值装置、历史数据存储器、更新历史数据装置、数据输入端、数据输出端；计算最大和最小值装置分别与数据输入端和数据输出端连接，数据输入端即有新的数据进入滑动窗口，数据输出端即有旧的数据移出滑动窗口，也即数据增加和数据删除，计算最大和最小值装置根据历史数据存储器输入的当前的历史数据和外部数据输入端和数据输出端输入的增加数据或删除数据进行比较获得当前的最大和最小值；历史数据存储器的两个输出端分别与更新历史数据装置的输入端和计算最大和最小值装置的输入端连接，历史数据存储器提交历史数据给更新历史数据装置，并从更新历史数据装置处获得当前最新的需保持的历史数据，并将保存的历史数据提交给计算最大和最小值装置以获得当前的最大和最小值；更新历史数据装置分别与两个外部数据输入端和数据输出端连接，数据输入端和数据输出端分别是数据增加和数据删除；更新历史数据装置的输入端和输出端与历史数据存储器的输入端和输出端互连，更新历史数据装置首先从历史数据存储器处获得保存的历史数据，然后根据外部数据输入端和数据输出端是增加新数据还是删除旧数据，计算出新的需保持的历史数据，将其输出给历史数据存储器保存。

本发明有益效果：与现有技术相比，本发明通过减少需要保存的历史数据，降低系统对计算机存储和计算能力的要求，使系统能够满足当前日益增长数据流量和实时性的要求。

本发明的特点是只需要保存当前窗口下的部分历史数据，而且计算新的最大值或最小值的时候，不需要扫描全部保存下来的历史数据。

本发明计算新的最大(小)值的时候不需要扫描全部的保存下来的历史数据。使用本发明的新方法提高了数据分析系统的性能。本发明适用于证券股票信息、统计分析、网站日志内容统计分析、无线传感器网络中的各种监测数据，网络监测系统数据和互联网网站数据的统计分析等领域。

附图说明

通过以下结合附图的详细描述，本发明的上述和其它方面、特征和优点将变得更加显而易见。附图中：

图1是本发明计算滑动窗口下数据流数据的最大最小值系统原理图

图2是本发明当前滑动窗口下数据流的数据拟合的波形曲线(计算最大值情况)。