[发明专利]一种移动互联网告警关联规则获取方法

摘要

本发明提供一种移动互联网告警关联规则获取方法，系统由告警数据的获取、数据的预处理、参数的设定、告警关联规则获取算法、关联规则的表述与解释五部分组成。首先对通信告警数据进行数据集成、数据选取、数据清洗和数据变换；其次，设定告警时间窗和告警滑动步长，将预处理后的关系型数据转换为事务型数据，便于告警关联规则获取；接下来设置支持度和置信度参数，调用基于全项集的告警关联规则获取算法，根据所设定的参数，对告警数据进行关联规则获取工作，最后对获得的告警关联规则进行表述与解释。基于本发明的告警关联规则获取方法，可在不需要专家和运维人员的参与下实现移动互联网的告警关联分析工作，而且能够在较低的运营成本情况下，成倍地提高处理效率，该方法不依赖于通信网络的拓扑结构，可以适应复杂多变、异构的电信网络，自动发现告警关联规则，特别适合于移动互联网的告警监控，具有广泛的应用前景和良好的实用价值。

主权项

一种移动互联网告警关联规则获取方法，系统包括告警获取模块、告警处理模块、参数设置模块、算法模块、结果处理模块，其特征在于，系统在获取到告警数据以后，对告警数据进行合并，根据挖掘工作的需要，从中选取数据并对进行数据的处理，进行关联规则提取工作，最后将获取到的结果进行表述和解释，其中：(1)告警数据获取模块①建立告警信息存储数据库；②构建数据表：活动告警表，历史告警表，告警编号表；③活动告警和历史告警：告警在没有清除以前是活动告警，需要入到活动告警表中，告警清除以后被清除的告警需要入到历史告警表里面，一条告警同一时刻的状态是唯一的，要么是活动告警，要么是历史告警，但是肯定是先活动后经处理之后清除，活动告警在清除了以后，需要从活动告警表中移植到历史告警表中，清除时每个厂家的告警都有自己的清除规则，活动告警表和历史告警表里面的告警加起来是全部完整的告警，因此告警关联规则获取应该将两个表中的数据合在一起，作为最终的待处理数据；④告警标题编号：为每个告警标题加上一个编号；⑤告警关联规则获取用到的存储字段，包括：设备厂家，网元名，告警对象，告警的发生时间，告警标题，告警标题编号；(2)告警处理模块数据处理是告警关联规则获取中的一个重要步骤，数据准备是否做好将直接影响到规则获取的效率、准确度以及最终结果的有效性，这个阶段又进一步分成几个子步骤，包括：数据集成、数据选取、数据预处理和数据变换，其中：①数据集成：数据集成是将多文件或多数据库运行环境中的数据进行合并处理；②数据选取：从告警数据库中将不同网元发送的告警进行统一格式处理；③数据清洗：通常包括去噪声、缺值数据处理、消除重复记录操作，包括删除告警数据中由于各种原因引起的无法识别的数据，或者在重要关键告警信息上缺失的数据；④数据变换：将目标数据处理成便于规则获取的形式；数据变换的一个重要的步骤就是为每个告警标题加上告警编号，形成一个告警编号表，将告警标题和告警编号的一一对应；这样使得在规则获取过程中更加容易处理，并且速度快；(3)参数设置模块，包括：告警时间窗及滑动步长：由于移动互联网设备的告警是不间断的实时发生的，很难确定一个完整的告警序列的开始时间和结束时间，如果随意的获取，很可能将本来是一个完整的告警序列拆分成部分，因此告警的连续性为告警关联规则获取工作带来了很多困难。为了使数据能够适合关联规则获取工作的需要，以时间窗的方式划分告警数据，这种转换机制需要用户预先设定好时间窗口大小以及滑动步长，并且保证每一个告警时间窗和其前面的时间窗和后面的时间窗互有重叠，在最大程度上保证时间窗中取得完整的告警序列数据，这样可以将告警关系型数据转换为告警事务型数据，告警时间窗和滑动步长的具体的设置方法为：首先读入数据库中的告警数据，获得第一条告警发生时间，作为窗口开始时间，由开始时间加上窗口大小得到窗口终止时间，逐次将接下来的告警数据读入，时间不晚于终止时间的告警都为一个事务保存下来，一旦有一条告警的开始时间晚于终止时间，则由刚才的开始时间加上滑动步长得到新的开始时间，再加上窗口大小得到新的终止时间，然后将读取告警的指针移动到与新的开始时间最接近的记录开始读入，重复上述过程，这样，把预处理表中的关系型数据转化为事务型数据，若干条告警对应一个事务，这里需要注意的是，告警滑动步长的设置不能大于告警时间窗口宽度的一半；支持度和置信度：在关联规则的获取过程中，需要设置两个重要的参数：支持度阈值与置信度阈值，其中，支持度阈值用来生成告警频繁项集，置信度阈值用来生成告警关联规则；支持度阈值对关联规则结果集和算法运行时间影响都很大，而置信度阈值则对算法的运行时间没有太大的影响，如果支持度阈值太低，规则中偶尔发生的关联规则也会包含到最终输出的规则集当中，如果置信度阈值过低会同样会导致一些无意义的关联规则出现在结果规则集中；较低的阈值意味着较多的关联规则以及较长的规则发现时间；如果阈值过高则会导致丢失一些潜在有意义的关联规则；给定了以上参数之后，挖掘算法最终输出满足给定条件的关联规则集，由于参数的选择对挖掘结果影响极大，因此需要在实际工作中选择合适的参数，尽量在不耗费过多的算法运行时间的前提下找出所有意义的关联规则模式；(4)算法模块基于全项集的频繁模式增长告警关联规则获取算法，具体描述如下：①读入告警事务数据库，生成一阶频繁项集，并将一阶频繁项集按照支持数进行排序；②再次读入事务数据库，按照频繁一项集，扫描每一条事务，如果事务中的某项不在频繁一项集中，则删除该项，然后按照频繁一项集的顺序对每一条事务排序；③对每一条事务产生全项集，对全项集的每一个项集进行扫描，将当前项集与前面所有项集进行比较，如果当前项集中的前i个项与前面某项集的前i个项相同，则标记为false，其余标记为true；⑤生成全项集的编码规则：将全项集的每一条项集插入到树中，事务中的第一个节点插入到根节点下，后面的每一个项作为前一项的子节点，扫描频繁模式树，如果当前节点下的孩子节点中，没有包含当前项的节点，则建立此节点，已经有包含当前项的节点，检查项集中该项下面的标记，如果为true则节点支持数加1，否则不加1；(5)结果处理模块结果的表述和解释，是对获取到的关联规则进行解释、评估，告警关联规则获取阶段发现的告警关联规则，可能存在冗余模式或无用规则，将其剔除；对一些近似的规则，为了便于用户理解、使用，对其进行归纳整理，合并为具有更高信息量的模式；对发现的规则进行一致性检查，避免发现的规则之间存在矛盾，根据用户的需要，也可以对获取到的规则执行修改等操作。