[发明专利]基于特征点提取的地铁综合监控系统三级数据压缩方法

说明书

技术领域

本发明涉及一种对地铁综合监控自动化系统中的数据进行压缩的方法，属于数据处理技术领域。

背景技术

地铁综合监控自动化系统通过先进的计算机集成和网络互连技术，对地铁各个自动化监控系统所管辖的机电设备、车辆运营状况以及客运组织情况进行全方位监视，在一个统一的硬件平台与软件平台实现资源共享、信息互通，形成数据处理方式一致，用户界面统一的综合监控系统，从而为地铁运营组织和维护管理提供直观信息界面。它可以对现场的运行设备进行监测和控制，实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能。从地铁用户操作的数据来源分析，实时监控与实时报警等操作需要的实时数据，来源于实时数据库从现场设备采集到的数据；趋势分析与报表查询等操作需要的历史数据，则完全靠历史数据库来提供。简单地讲，历史数据库记录下生产过程中的实时数据，按照自身的存储策略予以记录保存，为了以最小的空间存储最丰富的信息，数据压缩技术尤为关键。

要研究和分析历史数据的压缩技术，首先要对历史数据的冗余信息特性有很好的把握，因此，在这里有必要详细分析历史数据的特点。地铁控制中的历史数据是指基于时间的、随着地铁运行过程进行而连续产生的数据，其显著的特点可以用如下四个方面来归纳：

(1)一套自动化系统设备从投入使用到换代更新，一般都要经历少则几年多则数十年的时间，期间需要不断记录地铁运行过程中的关键数据作为系统运行维护的重要参考。在这个过程中积累的数据量非常多，可以用海量来形容，数据接入总体规模大概在10万点-30万点左右，模拟量大概占30%左右。 目前地铁综合监控系统数据存储是按照模拟量每一分钟进行存储，假设一个仅有30000个记录点的历史数据库，记录点均为模拟量，记录周期1分钟，每条记录中，浮点型的数据值和整型的时间戳各自占用4字节，则该系统运行1年产生的原始数据量为：2*4×30000×60×24×365=126144000000字节，合计约117.5GB。因此如何更好地压缩数据，提高数据的查询效率具有很重要的意义。

(2)从工程应用角度看，历史数据有I／O整型、模拟型、离散型、内存整型等多种数据类型。从相应技术角度看，都可以归纳为1字节，2字节和4字节的数据类型三种情况。

(3)每个记录点的值都与记录时间关系密切，通常来说，上一个周期的数据与下一个周期的数据不允许混淆，因此，历史数据的记录必须保证实时性。

(4)有些信号量每秒钟记录一次，而有些信号量一个小时甚至是一天才记录一次，数据保存的时间间隔相差很大。由此可见，对于历史数据记录周期差异较大的情况，研究时要统筹兼顾，细化要求。

针对过程工业历史数据压缩技术的研究有着较为广泛的基础，其压缩方法大致可以分为3类，包括分段线性方法、矢量量化方法以及信号变换法。分段线性方法又包括矩形波串法、后向斜率法、旋转门趋势法及PLOT法，其中旋转门趋势法应用最广，尽管它的压缩比不如信号变换方法高，但其突出的优点是算法简单，执行速度快，对信号趋势有很好的追踪分析能力。矢量量化方法由于要花很多时间来计算“码书”，而且一个数据集的“码书”不能用于另外的数据集，因此矢量量化方法对于工业历史数据的压缩现实性与通用性不强。信号变换包括了许多种方法，如离散余弦变换、小波变换等，其中小波变换应该是最有前途的过程数据压缩方法，不过还有许多实际的技术问题有待解决。而地铁综合监控系统数据存储是数据点按固定时间周期进行存储，导致地铁控制的硬盘容量要求很大，数据查询速度较慢，而针对地铁控制领域中的历史数据压缩算法还没有被提及。

发明内容

本发明所要解决的技术问题是提供一种基于特征点提取的地铁综合监控系统三级数据压缩方法，针对不断增长的历史数据量，提供了一种数据的压缩方法，可以更节省历史数据占用的存储空间，降低对硬盘数据库的操作时间，提高历史数据库的读写效率。

尽管随着计算机硬件的飞速发展，磁盘和内存容量越来越大，放松了对数据压缩方面的需求，但在面向地铁控制工业的应用中，由于数据量巨大，采取灵活配置的压缩方式以实现数据精度、存储空间和存取速度几方面在不同应用环境下的要求，对于提高实时数据库的适应性，保证实时数据库中数据的完整性、实现海量数据存储、提高运行速度都是非常重要的。

针对以上特点，分析历史数据库中采用压缩技术的必然性，从以下几个角度考虑：