[发明专利]一种基于N-gram和机器学习的恶意软件检测方法及系统

说明书

本发明提出了一种基N‑gram和机器学习的恶意软件检测方法和系统。通过结合基于人工智能技术的沙箱SNDBOX对样本文件进行动态行为分析，得出样本文件的关键信息，包括有API调用、参数信息等，然后利用N‑gram算法将这些信息转换为特征集合。之后利用TF‑IDF进行N‑gram特征集合的规约，规约后的特征集合只包含重要的特征，有利于提升后续训练机器学习分类器的效率。最后将特征集合转换为二元特征向量，传给多个机器学习分类器，包括朴素贝叶斯、决策树、随机森林以及逻辑规约等进行训练和测试。训练完的分类器可以辅助安全分析人员进行恶意软件的检测工作。

技术领域

本发明属于网络安全领域，尤其涉及一种基于N-gram和机器学习的恶意软件检测方法及系统。

背景技术

恶意软件是任意故意破坏计算机或网络正常功能的软件。恶意软件在植入或以某种方式进入目标计算机后会造成损害，并可采取可执行代码，脚本，活动内容和其他软件形式。恶意软件的行为包括有窃取敏感信息、获得对私人系统的未经授权访问或间谍活动等。目前恶意软件的攻击面广，从个人到大型组织的IT系统，以及核电站和供水系统这种全国性基础设施。随着恶意软件开发人员不断改进检测逃逸技术，现有的恶意软件变种也在不断进化。最新的SonicWall网络威胁报告指出，SonicWall服务在2019年发现了近44万个恶意软件变种，平均每天有超过1200个恶意软件被发布。此外，Panda Lab最近的一份安全报告中指出，2019年存在超过200万个新的恶意软件二进制文件。

恶意软件技术分为两类：基于签名的检测和基于异常的检测。传统的杀毒软件通过将给定软件的特征和包含已知恶意软件签名的数据库进行比较，来检测软件是否是恶意的。基于签名的检测依赖于已知的签名库，因此对未知的恶意软件检测能力有限。基于异常的检测算法可对未知的恶意软件进行检测。有相关研究提出了将数据挖掘应用在恶意软件检测的算法，通过使用数据挖掘技术，学习正常程序建立规则集合，应用规则集合来进行恶意软件检测。此外，还有基于机器学习的异常检测算法，其中PAYL工具，是一种为系统每个服务(端口)计算预期有效负载的工具，在学习阶段，PAYL学习正常程序行为为每一个端口建立一个质心模型。然后在检测阶段，将检测程序的有效载荷与质心模型进行比较，检测两者的马氏距离，如果检测程序与质心模型距离太远，则认为有效负载时恶意的。当前基于异常的检测算法种类繁多，但其中大多数的检测算法在精度以及性能方面难以满足实际应用的需求。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于N-gram和机器学习的恶意软件检测方法及系统。

为了解决上述技术问题，第一方面，公开了一种基于N-gram和机器学习的恶意软件检测方法，包括如下步骤：

步骤1，收集恶意软件样本和应用软件样本，动态分析样本，获得动态分析文件；

步骤2，基于动态分析文件，获得样本关键信息，生成第一N-gram特征集；

步骤3，对所述第一N-gram特征集进行特征规约，获得第二N-gram特征集；

步骤4，将所述第二N-gram特征集转换为二元特征向量集，输入机器学习分类模型进行训练和测试，获得恶意软件分类器；

步骤5，使用恶意软件分类器进行恶意软件检测，协助网络安全分析人员发现恶意软件。

结合第一方面，在一种实现方式中，所述步骤1中恶意软件样本包括蠕虫、木马和病毒，所述应用软件样本包括一种以上的应用软件；所述恶意软件样本和应用软件样本为PE(Portable Execute，可移植的执行体)文件格式。