[发明专利]一种基于深度强化学习的恶意域名检测方法和装置

权利要求书

1.一种基于深度强化学习的恶意域名检测方法，其特征在于，包括以下步骤：

获取待检测域名的真实DNS流量；

查询并记录真实DNS流量中待检测域名的whois信息；

根据待检测域名本身以及whois信息，对待检测域名进行特征提取，生成待检测域名的特征向量；

将待检测域名的特征向量输入至深度强化学习模型中，判断待检测域名是否具有恶意行为；

所述深度强化学习模型在训练时，设置少数类样本的绝对奖励价值高于多数类，恶意样本的回报设为1.0，良性样本的回报设为λ，0λ1，λ设为恶意域名数量与良性域名数量之比；回报值的设置方式如下：

其中，状态s_t表示D第t个域名的特征向量，a_t表示对s_t执行的分类动作，l_t表示第t个域名的标签，R(s_t,a_t,l_t)表示回报值，D_M表示恶意域名集，D_B表示良性域名集；

所述深度强化学习模型在训练时调整不平衡率，即在获得特征向量之后，通过随机弃用某些样本，将良性域名样本数和恶意域名样本数之比调整为1:λ，选用不同的λ值分别训练模型，用以模拟真实DNS流量中可能出现的不平衡比例。

2.根据权利要求1所述的方法，其特征在于，所述对待检测域名进行特征提取，提取的特征包括：语言特征，结构特征，统计特征。

3.根据权利要求2所述的方法，其特征在于，所述语言特征包括：元音字符数量，辅音字符数量，元音与辅音字符转换频率，是否存在数字字符，数字字符数量，数字与字母字符转换频率，特殊字符数量，字符种类数量，最长有意义子串长度占比；

所述结构特征包括：域名长度，子域名平均长度，是否有“www”前缀，顶级域名是否有效，是否存在单一字符作子域名，是否存在顶级域名字符串作子域名，数字作为子域比例，十六进制字符作为子域比例，下划线字符比例，是否包括IP；

所述统计特征包括：域名对应解析IP数量，MX数量，NS数量，CNAME数量，NS的平均相似度，共享IP的其他域名数量，whois信息完整度，域名生存天数，域名资源记录的TTL统计量，域名资源记录内容大小统计量；其中域名对应解析IP数量包括IPv4地址和IPv6地址的数量，域名资源记录的TTL统计量包括均值、标准差、中位数和种类数，域名资源记录内容大小统计量包括均值、标准差、中位数和种类数。

4.根据权利要求1所述的方法，其特征在于，所述深度强化学习模型采用DDQN网络实现。

5.根据权利要求1所述的方法，其特征在于，所述不同的λ值为：

6.一种采用权利要求1～5中任一权利要求所述方法的基于深度强化学习的恶意域名检测装置，其特征在于，包括：

真实DNS流量获取模块，用于获取待检测域名的真实DNS流量；

域名信息补充模块，用于查询并记录真实DNS流量中待检测域名的whois信息；

特征提取模块，用于根据待检测域名本身以及whois信息，对待检测域名进行特征提取，生成待检测域名的特征向量；

恶意域名检测模块，用于将待检测域名的特征向量输入至深度强化学习模型中，判断待检测域名是否具有恶意行为。

7.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～5中任一权利要求所述方法的指令。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～5中任一权利要求所述的方法。