[实用新型]实时数据库的数据过滤压缩存储系统

说明书

技术领域

本实用新型涉及数据处理，尤其是涉及一种实时数据的数据过滤压缩存储系统。

背景技术

实时数据库(Real Time DataBase，RTDB)用于采集装置的运行数据，掌握装置的运行状况，并对生产过程的关键数据进行监控和分析，对出现的问题进行及时处理，对历史数据进行科学分析，使生产运行状态平稳，物料供应平衡，减少单耗，提高经济效益，降低成本。

目前少数美国公司垄断着工业实时数据库领域。他们的产品价格昂贵，通常只针对大型巨型企业，中等规模企业所需要的实时数据库产品报价可能要上百万人民币，高额的配置成本成为了过程控制自动化与信息化的一道门槛，制约了国内中小型企业的发展。

数据压缩方法是实时数据库的核心方法之一。在数据压缩过程中，数据在从数据源采集后，在内存中缓存后，经过压缩，然后存储到硬盘。在这一过程中，压缩系统的设计是否合理，将影响到数据流速率和压缩效率。

实用新型内容

本实用新型所要解决的技术问题是提供一种实时数据库的数据过滤压缩存储系统，其具有较高的压缩效率，并使提高数据持久化时硬盘读写性能。

本实用新型为解决上述技术问题而采用的技术方案是提出一种实时数据库的数据过滤压缩存储系统，包括依次连接的一级缓存器、压缩过滤器、二级缓存器以及数据存储装置；该一级缓存器用以缓存来自一数据源的数据；该压缩过滤器用以对一级缓存器中的数据进行数据压缩，并且存储重要数据至该二级缓存器；该二级缓存器结构化存储数据，并在归档条件被触发时，存储该重要数据到该数据存储装置。

在上述的实时数据库的数据过滤压缩存储系统中，还包括一事件过滤器，连接该一级缓存器，该事件过滤器过滤来自一数据源的数据，并且将可信数据存储至该一级缓存器，以提高压缩算法性能与可靠性。

在上述的实时数据库的数据过滤压缩存储系统中，该二级缓存器包含一临时数据缓存器，用以响应进行数据压缩的该压缩过滤器的请求。

在上述的实时数据库的数据过滤压缩存储系统中，该一级缓存器是由非易失性存储器构成。

在上述的实时数据库的数据过滤压缩存储系统中，该二级缓存器是由非易失性存储器构成。

在上述的实时数据库的数据过滤压缩存储系统中，该数据存储装置是由硬盘构成。

本实用新型由于采用以上技术方案，使之与现有技术相比，通过设置二级缓存器，提高数据持久化效率和检索性能。并且，二级缓存器所包括的临时参数存储器器，可临时存储压缩过滤器在压缩流程中使用的数据，以便响应压缩过滤器快速请求，提高压缩效率。

附图说明

为让本实用新型的上述目的、特征和优点能更明显易懂，以下结合附图对本实用新型的具体实施方式作详细说明，其中：

图1示出本实用新型一实施例的工业实时数据库的数据过滤压缩存储系统结构。

图2示出本实用新型一实施例的工业实时数据库的数据压缩流程。

图3示出本实用新型另一实施例的工业实时数据库的数据压缩流程。

图4A-4C示出本实用新型一实施例的压缩算法原理。

具体实施方式

图1示出根据本实用新型一实施例的工业实时数据库的数据过滤压缩存储系统。参照图1所示，系统包括事件过滤器20、一级缓存器30、压缩过滤器40、二级缓存器50和数据存储装置60。一级缓存器30和二级缓存器50可由易失性存储器，如计算机的内存构成，数据存储装置60则可由持久性存储媒体，例如计算机硬盘构成。

事件过滤器30用来去除噪声。从数据源10取出的数据进入事件过滤器30，根据某些预设的过滤依据判断数据是否为可信数据，将可信数据存入一级缓存器30，并丢弃非可信数据。

一级缓存器30中的数据将经过压缩过滤器40进行进一步过滤，将重要数据存入二级缓存器50中。压缩过滤器40还可对一级缓存器30进行清空重置。二级缓存器50中的重要数据经过归档，成为多个历史数据，经过合并后，持久地保存在数据存储装置60中。实际实施的结果证明，二级缓存结果50的设置，有利于使经过压缩后的数据结构化，便于后续的存储和检索。此外，二级缓存器50包括一临时参数存储器，以临时存储压缩过滤器40在压缩流程中使用的数据，以便响应压缩过滤器40快速的请求。

实际应用中，硬件采集的数据包含着大量的噪音，这些因素都影响着原数据的波形，如果不进行有效的控制，会对算法效率造成严重的影响。因此，在数据进入压缩流程之前，必须进行适当的过滤。数据进入压缩过滤器50前，需先经过事件过滤器30。