[发明专利]一种基于深度强化学习的恶意域名检测方法和装置

说明书

本发明涉及一种基于深度强化学习的恶意域名检测方法和装置。该方法的步骤包括：获取待检测域名的真实DNS流量；查询并记录真实DNS流量中待检测域名的whois信息；根据待检测域名本身以及whois信息，对待检测域名进行特征提取，生成待检测域名的特征向量；将待检测域名的特征向量输入至深度强化学习模型中，判断待检测域名是否具有恶意行为。本发明使用基于深度强化学习的方法来解决真实DNS流量中良性与恶意样本数据不平衡的分类问题，能够快速有效地发现真实DNS流量中存在的低比例恶意样本，在低平衡率时依旧保持较好的效果。

技术领域

本发明属于网络安全技术领域，具体涉及一种基于深度强化学习的恶意域名检测方法和装置。

背景技术

域名系统(Domain Name System,DNS)是互联网的一项重要基础设施，提供域名和IP地址之间相互映射的服务，为识别网络上的服务、设备和其他资源提供了极大的便利。然而，域名系统在提供正常解析服务的同时，也成为各种网络非法活动的主要攻击路径之一，越来越多的攻击者通过滥用域名系统来达到恶意的目的。例如，网络诈骗者注册与知名合法网站近似的域名，并搭建钓鱼网站诱导用户访问，窃取用户的身份信息；僵尸网络通过域名生成算法(Domain Generation Algorithm,DGA)随机产生大量与命令控制服务器(Command and Control,CC)通信的域名，僵尸主机通过DGA域名与CC服务器进行通信，获取攻击指令并执行攻击活动。域名系统被攻击者恶意滥用，危害国家安全、造成企业损失、侵害个人隐私，因此，如何有效地检测和发现恶意域名已经成为网络安全领域的热点和难点问题。

现有的恶意域名检测方法主要分为基于特征的检测方法和基于关联关系的检测方法。基于统计特征的检测方法对DNS流量进行分析并从DNS流量中提取特征(例如域名长度、不同IP地址的数量等)，然后构建基于机器学习的分类器来区分良性域名和恶意域名。(Antonakakis等,2010)提出了Notos系统并利用域名的网络特征和区域特征来计算新域名的信誉分数。但是，Notos系统需要大量的历史恶意数据和大量的训练时间。为了克服Notos系统的局限性，(Bilge等,2011)构建了Exposure系统，该系统是一个基于15种行为特征的恶意域名检测系统，可以自动识别未知的恶意域。(Antonakakis等,2011)提出了Kopis系统，该系统在上层DNS结构收集DNS流量，可以从全局角度检测恶意域名。(Schüppen等,2018)针对不存在的域名(NXDomain)提取了大量域名字符串统计特征，并识别出与DGA相关的恶意域名。

基于关联关系的检测方法利用域名之间的关联来检测恶意域名。这些方法基于这样一种直觉，即与恶意域名密切相关的域名很可能是恶意的。(Manadhata等,2014)通过分析DNS查询日志构建了一个主机-域名二部图，并利用置信传播算法来查找未知的恶意域名。(Khalil等,2016)基于域名和IP之间的关联关系构建了域名解析图，然后设计了一种基于路径推理的方法来发现恶意域名。(Sun等,2019)提出了HinDom系统，并将DNS场景建模为具有客户端、域名和IP地址的异质信息网络。该系统设计了六种元路径来评估域名之间的相似性，并利用转导分类方法来查找恶意域名。

现有的恶意域检测方法在一定程度上都取得了很好的效果。然而，它们有两个不足之处：(1)它们忽略了已经正确分类的域名样本对后续分类的积极影响；(2)它们很少关注影响恶意域名检测有效性的数据不平衡问题。

发明内容

本发明使用一种基于深度强化学习的方法来解决真实DNS流量中良性域名与恶意域名样本数据不平衡的分类问题。本发明使用深度强化学习进行恶意域名分类问题时，将所有DNS流量中域名样本分类任务过程视为一个顺序决策过程，该过程中代理与环境交互以学习最佳的分类策略。

本发明采用的技术方案如下：

一种基于深度强化学习的恶意域名检测方法，包括以下步骤：

获取待检测域名的真实DNS流量；