[发明专利]一种虚拟机进程异常行为检测方法与系统

摘要

本发明公开了一种虚拟机进程异常行为检测方法与系统，其中，检测方法包括：捕获虚拟机进程调度事件，在Hypervisor中重构Linux操作系统与Windows操作系统虚拟机进程语义信息；在Hypervisor中设置虚拟机的虚拟CPU寄存器SYSENTER_EIP_MSR指向的系统调用入口函数地址为非法地址，捕获虚拟机进程系统调用事件，获取虚拟机进程系统调用数据，重新恢复虚拟机运行；将虚拟机进程语义信息与虚拟机进程系统调用数据存入虚拟机数据日志文件；对虚拟机数据日志文件进行行为特征建模；对待测情况下得到的虚拟机进程系统调用数据构造待测模型，根据检测算法，将检测结果输出到虚拟机检测日志文件。本发明能在一定程度上发现云平台上存在的安全风险。

主权项

1.一种虚拟机进程异常行为检测方法，其特征在于，包括以下步骤：步骤1：采用无代理监控方式，捕获虚拟机进程调度事件，在Hypervisor中重构Linux操作系统与Windows操作系统虚拟机进程语义信息；步骤2：在Hypervisor中设置虚拟机的虚拟CPU寄存器SYSENTER_EIP_MSR指向的系统调用入口函数地址为非法地址，捕获虚拟机进程系统调用事件，获取虚拟机进程系统调用数据，重新恢复虚拟机运行；步骤3：将虚拟机进程语义信息与虚拟机进程系统调用数据存入虚拟机数据日志文件；步骤4：在未受到任何攻击的系统环境下，对采集得到的虚拟机数据日志文件进行行为特征建模，生成特征模式库；步骤5：对待测情况下得到的虚拟机进程系统调用数据构造待测模型，根据检测算法，将检测结果输出到虚拟机检测日志文件；所述步骤4具体为：步骤4.1：计算权值系数Weight_i＝N/N_i，其中N为训练集合中的进程总数，N_i为训练集合中出现系统调用s_i的进程数；步骤4.2：计算进程P的系统调用频率向量Fre＝(fre₀,fre₁,…,fre_i,…,fre_n)，其中n为系统调用总数，0≤i≤n，fre_i为系统调用s_i在进程P中的频率；步骤4.3：计算系统调用s_i在进程P的行为权值步骤4.4：对每个进程的系统调用序列，采用滑动窗口技术分割为若干定长为M的系统调用短序列；对任意一个系统调用短序列s<s₀,s₁,…,s_i,…s_M‑1>，0≤s_i≤n‑1，表示为：其中，在V_s中，其他均为0；将矩阵V_s转化为一维行向量，构造系统调用短序列向量空间；对于所有互异的系统调用短序列，都由一个系统调用短序列向量空间唯一表示；步骤4.5：对虚拟机进程在运行过程中产生的系统调用序列，任意系统调用短序列s<s₀,s₁,…s_i,…s_M‑1>定义为向量空间：步骤4.6：对所有系统调用短序列向量空间，建立基于KD树的特征模式库；所述步骤5具体为：规则定义：1)特征模式库中的系统调用短序列NSeq＝<ns₀,ns₁,…,ns_i,…,ns_M‑1>与系统调用短序列向量空间N，待测系统调用短序列TSeq＝<ts₀,ts₁,…,ts_j,…,ts_M‑1>与系统调用短序列向量空间T；2)对于不存在特征模式库中的待测系统调用，权值系数为一个极大值max；3)系统调用短序列向量空间二进制相似度：其中，k代表求和的次数，M代表系统调用短序列的长度；4)系统调用短序列向量空间余弦相似度：5)系统调用短序列向量空间相似度：Sim(N,T)＝μ(N,T)*ω(N,T)6)系统调用短序列向量空间差异系数：Dif(N,T)＝1‑Sim(N,T)设定行为权重阈值为ε，对连续3M长度小于阈值ε的系统调用短序列进行告警；所述检测算法具体为：①当前待测进程是否存在待测系统调用短序列；若是，跳转至步骤②；否则，跳转至步骤⑥；②对当前待测进程的系统调用短序列向量空间T与特征模式库中进程的系统调用短序列向量空间N，若T＝N，跳转至步骤①；若T≠N，计算相似度：Sim(N,T)，计算差异系数：Dif(N,T)，跳转至步骤③；③遍历当前待测进程在特征模式库中进程KD树，在当前节点分割维度下，若待测进程的系统调用行为权值小于节点系统调用行为权值，遍历KD树左子树；若待测进程的系统调用行为权值大于节点系统调用行为权值，遍历KD树右子树，跳转至步骤④；遍历到达叶节点，跳转至步骤⑤；④计算新的相似度Sim(N,T)，并更新为较大值，跳转至步骤③；⑤逐层回溯，判断是否在Dif(N,T)内存在其他节点，计算新的相似度Sim(N,T)，并更新为较大值，跳转至步骤③；不存在，跳转至步骤①；⑥记录待测进程行为轨迹，检测结束。