[发明专利]一种基于机器学习的数据异常监测模型构建方法

说明书

本发明涉及一种基于机器学习的数据异常监测模型构建方法，考虑到单一特征分析结果的片面性和不足，在对平台业务数据的分析中，引入了皮尔逊相关系数和方差扩大因子来对不同特征进行特征提取，提取出合适的特征数据进入聚类模型，对提升模型准确率有很大的提升；并且针对聚类模型，选用K‑means算法的改进算法I‑K‑means算法模型，由于设计的主要目的是做异常处理，所以该算法不用将聚类进行到底再找异常，相比较于其它原始算法速度较快；综上基于机器学习建立的模型具有自学习、自演化的特性，可以适应复杂多变的网络环境，能够检测出未知异常，满足实时准确的需求。

技术领域

本发明涉及一种基于机器学习的数据异常监测模型构建方法，属于数据异常检测技术领域。

背景技术

当前煤炭、冶金、化工、机电等行业正面临自动化、数字化、智能化改造的关键时期，大量传统工业控制系统向工业互联网方向转型升级，信息安全形式日趋严峻。近年来网络安全事件频发，网络攻击愈演愈烈，网络安全防御技术相对比较滞后。在网络安全问题日益突出的今天，及时并有效的发现网络异常通信行为显得尤为重要。异常通信行为是指在网络环境中偏离正常数据的情形，当然正常行为也不是固定不变的，它是根据用户的操作、业务流程、网络管理的变化而变化的；传统的方法是通过静态规则匹配对网络异常行为进行检测，在动态、复杂的网络环境中难以检测未知异常和攻击类型，不能满足网络安全检测的要求。

发明内容

本发明所要解决的技术问题是提供一种基于机器学习的数据异常监测模型构建方法，基于机器学习建立的模型具有自学习、自演化的特性，可以适应复杂多变的网络环境，能够检测出未知异常，满足实时准确的需求。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于机器学习的数据异常监测模型构建方法，用于获得工业互联网中目标应用所对应的数据异常监测模型，包括如下步骤：

步骤A.提取目标应用在目标历史时间段内通信流量所对应的各识别指纹特征，构建特征集合，然后进入步骤B；

步骤B.针对特征集合中的各识别指纹特征进行预处理，更新特征集合，然后进入步骤C；

步骤C.针对特征集合中的各识别指纹特征进行筛选，更新特征集合，然后进入步骤D；

步骤D.采用特征集合，针对预设指定聚类模型进行模型训练，获得训练后的模型，作为目标应用所对应的数据异常检测模型。

作为本发明的一种优选技术方案：还包括步骤E如下，执行完步骤D之后进入步骤E；

步骤E.针对目标应用所对应的数据异常检测模型，应用交叉验证法或网格搜索法，进行参数调整，更新数据异常检测模型。

作为本发明的一种优选技术方案：还包括步骤F如下，执行完步骤E之后进入步骤F；

步骤F.应用兰德指数算法和轮廓系数算法，针对数据异常检测模型进行评估。

作为本发明的一种优选技术方案：所述步骤B中，针对特征集合中的各识别指纹特征，依次进行数据清洗、数据标准化、数据归一化操作，实现对特征集合的预处理，然后进入步骤C；

其中，数据清洗，用于对特征集合中各识别指纹特征进行分析，找出各识别指纹特征中缺失的数据，对其进行数据填充，并将缺失数据占比大于预设比例阈值的识别指纹特征删除，由此实现对特征集合的更新；

数据标准化，用于对特征集合中各识别指纹特征进行标准化处理，获得各识别指纹特征之间的统一格式，实现对特征集合的更新；

数据归一化，用于针对特征集合中各识别指纹特征，应用Logistic函数方法进行归一化处理，实现对特征集合的更新。