[发明专利]一种调度监控系统历史数据两级缓存多阶段提交方法

说明书

技术领域

本发明属于自动化调度监控领域（譬如电网调度监控），尤指一种调度监控系统历史数据两级缓存多阶段提交方法，用于调度监控系统高效、可靠提交历史数据。

背景技术

对于大型自动化调度监控系统，一般都存在大量甚至海量的实时数据、计算数据采样到历史数据库的要求。一次提交一个测点的方式效率较低，且不能充分利用历史数据库批量提交的高效特性，这就需要将数据缓存，以便于批量提交。另外一方面，自动化调度监控系统在运行中，可能会出现商用数据库特别忙或者短时提交数据量特别大的情况，如果没有缓存，可能导致历史采样过程丢失历史数据。

传统的历史数据提交技术采用了文件缓存手段，这种方式简单可靠，对于中小型自动化调度监控系统，能够较好地保证历史采样数据的可靠提交。但是随着系统规模的扩大，这种方式带来的大文件I/O问题，该问题不仅会影响历史数据库库采样本身的性能，还会对调度系统其他模块的正常运行带来不利影响。

当前已有关于两级缓存的专利（基于两级缓存的快速组流方法，公告号：CN101986611A），但是上述两级缓存技术中，低速缓存存储大量待查询信息，告诉缓存存储频繁访问到的信息，该技术本质上是一种查询（“读”）用的两级缓存。

发明内容

本发明的目的是是提供一种调度监控系统历史数据两级缓存多阶段提交方法。解决无缓存的历史数据提交的性能和可靠性问题及硬盘缓存带来的大I/O问题。

为了解决上述技术问题，本发明披露了一种调度监控系统历史数据两级缓存多阶段提交方法，其特征在于，包括以下步骤：

1)历史数据提交服务包含内存队列缓存和文件缓存两种缓存，围绕这两种缓存有三个处理线程或进程。

2) 当外部请求提交的时候，请求处理线程/进程将请求以结构化的方式存入内存队列缓存。

3)正常情况下，历史数据库提交线程/进程会及时提交内存队列缓存中的请求，并清空内存已提交缓存队列，不会有信息写入文件缓存。

4) 但是当出现异常情况时（譬如历史数据库故障），已用内存队列缓存长度超过阈值后，内存转储线程/进程将把内存队列缓存的信息写入文件缓存，并清空内存队列缓存。

5) 当异常情况处理后，历史数据库提交线程/进程将优先提交文件缓存保存的采样数据。

6) 当所有文件缓存中的历史数据提交完毕后，然后再提交内存队列缓存中的数据。

分别以内存缓存和硬盘缓存做为内存队列缓存和文件缓存，通过两级缓存，进行历史数据提交。

历史数据提交线程或进程从两级缓存中批量读取历史信息，并提交到历史数据库中；优先从硬盘缓存中提交历史数据，只有硬盘缓存中所有数据提交到历史数据库后，才从内存缓存中提交数据。

本申请中的两级缓存是一种为了解决短时间内超过历史数据库处理能力的过多历史数据提交请求问题而设计的一种提交“写”的缓存，且与现有两级缓存不同的是，在向历史数据库提交成功后，缓存中的信息将被清除，减少了数据冗余，提高了数据处理能力和效率。

历史数据提交通过多个阶段完成。多个阶段是通过多个线程或多个进程来进行处理。

接收请求处理、内存转储硬盘、历史数据提交通过锁机制来防止两级缓存使用上的冲突。

本发明的工作原理为：

以内存、硬盘两级缓存为核心，存在三个线程或三个进程：请求处理线程/进程、内存转储线程/进程、历史数据提交线程/进程。请求处理线程在收到请求后，将请求以结构化的方式写入内存；内存转储线程/进程发现内存缓存使用超过阈值时，自动将内存中的缓存信息写入硬盘缓存，并清除内存缓存中已经写入硬盘缓存的内容；历史数据提交线程/进程从两级缓存中批量读取历史信息，并提交到历史数据库中，为了保证提交的时序性，优先从硬盘缓存中提交历史数据，只有硬盘缓存中所有数据提交到历史数据库后，才从内存缓存中提交数据。历史数据提交线程/进程在完成提交完数据后，将清除掉缓存中的数据。通过使用锁机制，保证三个线程/进程有序使用两级缓存，避免读写冲突的发生。

本发明所达到的有益效果:

采用本发明的方法，解决了无缓存历史数据提交方法的性能和可靠性问题及只用硬盘缓存带来的大I/O问题，为大型自动化调度监控系统提供了高效、可靠、安全的历史数据提交方式。

附图说明

图1为本发明的历史数据两级缓存多阶段提交方法原理图。

具体实施方式