[发明专利]一种存储事件日志自动过滤重复抖动数据的方法

说明书

技术领域

本发明涉及抖动数据的检测及滤除，具体说是一种存储事件日志自动过滤重复抖动数据的方法。

背景技术

当前电信设备朝着高速、高效的方向发展，长期不间断的运行，难免会出现意想不到的特殊状况，也许有些异常现象一闪而过，并未及时被人们发觉，但经过长时间的累积，或多或少会对系统造成影响，所以自动记录设备异常信息变得尤为重要，然而庞大的数据量对后期原因分析带来极大的不便，如何有效合理的规划异常信息的存储更值得重视。由此，事件日志规范性存储得以诞生。我们把这些异常信息作为事件日志记录逐条进行分类存储形成事件日志，同时增加时间戳，庞大的数据得以有效的管理。

经过实际测试验证，尽管任意一条事件日志记录都能瞬间记录，但堆积了大量重复冗余的数据，即重复抖动数据，亦可简称为抖动数据，这不仅对设备存储容量造成威胁，也大大降低了问题定位及原因分析的效率。

事件日志存储过程如图1所示，一条全新的事件日志记录从产生到存储要经过三个阶段：事件日志记录进入消息队列等候，分析事件日志记录，存储事件日志记录形成事件日志。事件日志记录经过分析，会插入存储介质的适当位置。然而大量抖动的事件日志记录所带来的数据冗余，不仅对问题分析毫无价值，还给存储介质带来严重负担。所谓抖动数据即一定时间间隔内重复出现的相同记录。如果单纯的通过记录间的一一比较判断其是否为抖动数据，不仅耗时，而且频繁的访问硬件存储介质还会减少硬件寿命，最终会延误系统的整体运作。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种存储事件日志自动过滤重复抖动数据的方法，在形成事件日志的分析阶段，通过增加有效的抖动数据过滤算法，废弃传统的数据遍历比较算法，高效过滤抖动数据，减少冗余数据。

为达到以上目的，本发明采取的技术方案是：

一种存储事件日志自动过滤重复抖动数据的方法，其特征在于：设置两层过滤，当从消息队列中取出等候分析的记录时，通过第一层过滤筛选出正常的事件日志记录，并将正常的事件日志记录送入记录缓存，节省逐一比较的时间；然后对经过第一层过滤后剩余的从消息队列中取出的等候分析的记录，再通过第二层过滤舍弃掉抖动数据，减少数据的冗余度，将经过第二层过滤后剩余的事件日志记录送入非易失性存储介质；

当经过一段预先约定的定时时间后，将记录缓存内的数据依次按类型存储到相应的存储区。

在上述技术方案的基础上，事件日志记录增加字段标记抖动次数以及抖动时长，当通过第二层过滤舍弃掉抖动数据时，计算抖动次数以及抖动时长并写入相应的事件日志记录的对应字段内。

在上述技术方案的基础上，设置时间数组，保存各类型事件日志存储的最后时间，以此作为第一层过滤条件；

增加一个临时的记录缓存，通过小范围的遍历筛选作为第二层过滤条件，遍历采用从后向前的方式，减少比较次数。

在上述技术方案的基础上，为了避免临时的记录缓存溢出，实现实时获取事件记录，启用看门狗，定时同步临时的记录缓存到非易失性存储介质。

本发明所述的存储事件日志自动过滤重复抖动数据的方法，在形成事件日志的分析阶段，通过增加有效的抖动数据过滤算法，废弃传统的数据遍历比较算法，高效过滤抖动数据，减少冗余数据。具有以下有益效果：

一，算法可以高效过滤抖动数据，无需人工干预，节省人力物力。

二，减少冗余数据，增大存储空间，为后期数据分析提供便利。

三，算法层次清晰明了，易于后期维护与扩展。

附图说明

本发明有如下附图：

图1：事件日志存储过程，

图2：分析阶段两层过滤，

图3：抖动数据算法流程。

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图2所示，本发明所述的存储事件日志自动过滤重复抖动数据的方法，设置两层过滤，当从消息队列（亦称为事件日志队列）中取出等候分析的记录（事件日志记录）时，通过第一层过滤筛选出正常的事件日志记录，并将正常的事件日志记录送入记录缓存，节省逐一比较的时间；然后对经过第一层过滤后剩余的从消息队列中取出的等候分析的记录，再通过第二层过滤舍弃掉抖动数据，减少数据的冗余度，将经过第二层过滤后剩余的事件日志记录送入非易失性存储介质（按类型存储到相应的存储区）。

当经过一段预先约定的定时时间（通过看门狗实现此功能）后，即可将记录缓存内的数据依次按类型存储到相应的存储区（指非易失性存储介质中的存储区）。