[发明专利]一种分布式物联网安全态势感知方法

说明书

技术领域

本发明涉及计算机网络安全领域，具体的说是涉及一种分布式物联网安全态势感知方法。

背景技术

随着计算机技术的不断发展以及应用的不断普及，网络安全事件的快速感知已成为网络技术人员面临的一个极为重要的课题，许多有关网络安全技术的研究也日趋成熟。网络安全态势感知作为网络管理员对网络安全状态检测监控的一种技术，也是目前信息安全的研究热点之一。开展这项研究，对于提高网络系统的应急响应能力、缓解网络攻击所造成的危害、发现潜在恶意的入侵行为等具有十分重要的意义。但由于网络规模的增长，网络安全事件特征主要包括以下4点：体量巨大（volume）、类型繁多（variety）、价值密度低（value）、快速处理（velocity）。由于这几大特征，安全态势生成需要综合分析多种的网络安全要素,比如系统漏洞等, 而不只是入侵攻击，网络态势感知特征的高维度。

网络态势感知的发展从研究方向、评测指标以及关键技术等方面对机器学习都提出了新的需求和挑战，训练实例的数量是非常大的， 每天汇合大量安全数据集。另外，越来越多的设备包括传感器，持续记录观察的数据可以作为训练数据， 这样的数据集可以轻易地达到几百TB，输入数据的高维度。主成分分析（PCA）就是设法将原来众多的变量，重新组合为一组新的相互无关的综合变量来代替原来变量，即从多个变量中综合得到少数几个代表性变量，使其能够代表原始变量的绝大多数信息，又互不相关。处理方法就是将原来的变量做线性组合，作为新的综合变量，如果将选取的第一个线性组合即第一个综合变量记为F₁，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即方差越大，F₁包含的信息越多，因此在所有的线性组合中所选取的F₁应该是方差最大的，故称为第一主成分。如果第一主成分不足以代表原来N个变量的信息，再考虑选取第二个线性组合F₂，称F₂为第二主成分，依此类推可以构造出第三、四……第P个主成分。使用约简后的特征进行学习在保证准确度的情况下可以大大减少学习时间和资源占用率，提高系统响应时间。

随着数据收集技术的发展，获取大量未标注的样本已经相当容易，而标注样本需要艰苦的手工劳动。显然，仅使用少量的标注样本，即采用监督学习方式，那训练出的学习模型往往很难有较强的泛化能力；另外，如果仅使用少量标注样本，而放弃使用大量未标注样本的话，则浪费了大量的数据。半监督自训练学习方法（Semi-supervised training learning method，SSTLM）就是研究如何综合利用少量已标识数据和大量未标识数据，获得具有良好性能和泛化能力的学习机器。半监督学习的基本思想是已知一个有标注样本集                                                和一个无标注样本集期望训练得到一个模型函数可以对样本x 预测其标注y。这里 均为维向量， 为样本的标注，L是标注样本所包含的样本个数，为未标注样本所包含的样本数。半监督学习中，学习器自行利用未标注样本，整个过程自动完成，仅基于学习器自身对未标注数据进行标注。

系统之间的信息交互仅和相邻的系统节点交换训练信息。如果两个节点之间的通信只需经过一个路由器，那么这两个节点是相邻的，不相邻的节点之间不交换信息。交换的信息是当前节点新感知的全部信息，即自己的增量信息。通过设置时间阈值，节点按照固定的事件交互信息，如每隔1小时，节点根据收到相邻节点的信息跟新自己的特征训练库。信息交互技术可以减少节点特征数据的数量，增加系统的实时性。

发明内容

本发明为了解决现有的安全态势感知方法资源占用率高、处理时间长、系统之间无法实时交互信息等问题，提出一种分布式物联网安全态势感知方法，本方法采用主成份分析约简安全事件属性特征，降低属性特征维数，对约简后的属性特征采用增量自学习方法进行数据训练，从而减少系统训练时间，提高系统的泛化能力。

本发明所采用的技术方案是：一种分布式物联网安全态势感知方法，所述的方法包括以下步骤：

步骤1、特征提取：通过系统运行日志、漏洞扫描工具、入侵检测系统SNORT、VDS 、FireWall或内嵌在交换机和路由器中的流量采集器从物联网中提取事件特征，将所提取的特征按顺序组合为相应的特征集合，；

步骤2、特征约简：采用主成分分析法对步骤一中得到的特征集合进行特征约简；