[发明专利]一种存储事件日志自动过滤重复抖动数据的方法

摘要

本发明涉及一种存储事件日志自动过滤重复抖动数据的方法，设置两层过滤，当从消息队列中取出等候分析的记录（事件日志记录）时，通过第一层过滤筛选出正常的事件日志记录，并将正常的事件日志记录送入记录缓存，节省逐一比较的时间；然后对经过第一层过滤后剩余的从消息队列中取出的等候分析的记录，再通过第二层过滤舍弃掉抖动数据，减少数据的冗余度，将经过第二层过滤后剩余的事件日志记录送入非易失性存储介质。当经过一段预先约定的定时时间后，将记录缓存内的数据依次按类型存储到相应的存储区。本发明所述的方法，在形成事件日志的分析阶段，通过增加有效的抖动数据过滤算法，废弃传统的数据遍历比较算法，高效过滤抖动数据，减少冗余数据。

主权项

一种存储事件日志自动过滤重复抖动数据的方法，其特征在于：设置两层过滤，当从消息队列中取出等候分析的记录时，通过第一层过滤筛选出正常的事件日志记录，并将正常的事件日志记录送入记录缓存，节省逐一比较的时间；然后对经过第一层过滤后剩余的从消息队列中取出的等候分析的记录，再通过第二层过滤舍弃掉抖动数据，减少数据的冗余度，将经过第二层过滤后剩余的事件日志记录送入非易失性存储介质；当经过一段预先约定的定时时间后，将记录缓存内的数据依次按类型存储到相应的存储区；其中，设置时间数组，保存各类型事件日志存储的最后时间，以此作为第一层过滤条件；增加一个临时的记录缓存，通过小范围的遍历筛选作为第二层过滤条件，遍历采用从后向前的方式，减少比较次数；具体地，第一层过滤，比较当前记录接收时间与时间数组中对应类型记录最后接收时间，超过指定时间间隔则省去二次过滤，更新对应时间数组，直接将此记录存入临时记录缓存，否则继续等待第二层过滤，其中，指定时间间隔一般不超过5s；第二层过滤，从后向前依次遍历临时记录缓存，找到匹配记录且时间间隔小于指定时间间隔，判断其为抖动记录，抛弃，否则存入临时记录缓存。