[发明专利]一种基于近邻传播聚类算法的多步异常点检测方法

说明书

本发明公开一种基于近邻传播聚类算法的多步异常点检测方法，通过挖掘正常应用程序以获取到正常数据流模式，然后采用多步异常点检测方法来检测恶意软件，最终实现不依赖已知恶意软件模型可以在Android恶意软件出现初期做到有效预警的目的。本发明可有效解决异常点检测时所面临的“维数灾难”问题，从而避免冗余特征或过多的无关特征的数据噪音对异常点检测技术的干扰；同时克服传统的基于聚类或基于距离的异常点检测技术对初始值选择的过度依赖，通过Virusshare与Google Play获取的实际数据集结合十折交叉验证法验证本发明的有效性，综上，本发明在网络安全领域具有广阔的应用前景。

技术领域

本发明属于网络安全技术，具体涉及一种基于近邻传播聚类算法的多步异常点检测方法。

背景技术

伴随着互联网的飞速发展带来的多样化的传播途径和复杂的应用环境，给恶意软件的传播和攻击带来了巨大的方便，其攻击性和危害性比传统的计算机病毒更强。由于Android的开放性、应用商店审核不严格、用户能随意的从第三方应用市场发布和下载Android应用程序等特点，导致Android已成为恶意软件的主要攻击目标，据最新研究数据显示高达97％的移动恶意软件将Android设备列为攻击目标。恶意软件是指那些未经明确提示或未经许可的情况下私自安装，且怀有恶意目的或完成恶意功能导致用户合法权益受到侵犯的软件的通称。恶意软件常常有着一些显著的特征，比如频繁访问文件、使用网络、发送短信、获取用户通讯录等等。《网络隐私安全及网络欺诈行为研究分析报告(2018年上半年)》显示通过Android应用程序窃取用户通信录、用户地理位置、以及其它娱乐和支付等隐私信息，伪造银行短信等欺诈行为高居网络安全问题的榜首。因此基于Android平台的恶意软件分析与检测在网络安全的研究中扮演着至关重要的角色。

但是传统的恶意软件检测方法往往是“回顾性的”，即在恶意软件广泛传播之后，才能依赖其充足的已知样本挖掘出对应的恶意软件模式。针对Android恶意软件检测的这个现实情况，本发明引入异常检测技术。异常检测(Outlier Detection)旨在检测出不符合正常行为的数据。异常检测在数据库、数据挖掘、机器学习和统计学等领域有着广泛应用，包括信用卡或保险业的欺诈检测、网络中的入侵检测及故障诊断、卫星图像分析中的新特征识别、健康医疗监控、公共安全中的突发事件的发生、药物研究中新型分子结构的识别等。基于距离和基于聚类的异常检测方法是两种比较典型的异常检测方法，但是在实际应用中会面临两大挑战：(1)高维数据的冗余特征或过多的无关特征带来的数据噪音导致异常点检测技术的准确率较低；(2)基于传统的聚类方法或基于距离的异常点检测技术(例如KNN，K-means,K-center)需要准确的先验知识，过度依赖初始值的选择，如簇的数量以及簇中心的初始化等，该类解决方案的效率很大程度取决于初始值的设置是否合理。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于近邻传播聚类算法的多步异常点检测方法，本发明能够自动化检测和评估Android系统安全，充分考虑Android平台在移动用户信息方面的安全威胁，帮助Android用户来完成常用应用程序的自动、综合且高效的检测，并且保证对一个新的Android应用程序预测结果的客观性和准确性。

技术方案：本发明的一种基于近邻传播聚类算法的多步异常点检测方法，包括以下步骤：

步骤1、从Android官方网站Google Play获取正常Android应用程序，并从病毒数据样本库(例如http://virusshare.com/)中获取恶意App，构建应用程序App样本集(含正常样本和恶意样本)，并划分为训练集和测试集；

步骤2、使用FLOWDROID工具提取样本集中的数据流，从而构造数据流频率的特征集X＝(x₁,x₂,...,x_n)∈R^m×n，m是指统计出来的数据流个数，即数据集的原始特征维度，n表示样本集中样本的数量；例如{用户信息→日志}；