[发明专利]一种基于虚拟机的0DAY/恶意文档检测系统及方法

权利要求书

1.一种基于虚拟机的0DAY/恶意文档检测系统，能动态检测加载在Ring3虚拟机上的文档进程，其特征在于，所述0DAY/恶意文档检测系统包括文档执行模块、Ring3虚拟机模块、Shellcode检测模块、Exception检测模块、ROP检测模块、日志模块，能加载在用于运行文档进程的Ring3虚拟机上；

所述文档执行模块，用于加载文档；

所述Ring3虚拟机模块，用于解析每条二进制指令并跟踪二进制指令的流向；

所述Shellcode检测模块，用于检测是否有shellcode；

所述Exception检测模块，用于记录崩溃及异常信息；

所述ROP检测模块，用于检测ROP行为；

所述日志模块，用于记录Shellcode检测模块、Exception检测模块和ROP检测模块的检测结果。

2.基于权利要求1所述的0DAY/恶意文档检测系统的检测方法，用于检测文档是否为恶意文档，其特征在于，具体步骤如下所述：

步骤A：加载所需检测文档的进程运行在Ring3虚拟机上；

步骤B：在Ring3虚拟机上加载Shellcode检测模块、Exception检测模块、ROP检测模块、日志模块；

步骤C：动态跟踪程序指令，各检测模块进行实时检测；

步骤D：日志模块将步骤C中检测到的结果，保存到日志文件中；若日志文件中存有检测结果信息，则说明该文档为恶意文档。

3.根据权利要求2所述的检测方法，其特征在于，所述步骤C中，Shellcode检测模块进行检测时，当同时满足以下两个条件时表示检测到shellcode：

条件1)记录进程及其调用的模块的地址空间，如遇到程序执行时二进制指令执行的地址不属于调用到的模块或进程所属的地址空间时，将进程标记为可疑；

条件2)判断运行条件1)中二进制指令执行的地址的内存属性，当指令地址不具备可执行属性时，将进程标记为可疑。

4.根据权利要求2所述的检测方法，其特征在于，所述步骤C中，Exception检测模块进行检测时，实时监控异常，当检测到的异常代码为0xc0000000到0xcfffffff之间或等于0x80000003时，表明该文档为异常文档。

5.根据权利要求2所述的检测方法，其特征在于，所述步骤C中，ROP检测模块针对指定函数，检测函数的返回地址所指向的指令的前一条指令是否为call指令，若不是Call指令则说明检测到ROP行为；

所述指定函数包括VirtualProtect、VirtualProtectEx、VirtualAlloc、VirtualAllocEx、HeapCreate、LoadLibraryA、LoadLibraryExA、LoadLibraryExW、CreateProcessA、CreateProcessW、CreateProcessInternalA、CreateProcessInternalW、CreateRemoteThread、WriteProcessMemory、WinExec、CreateFile、CreateFileA、CreateFileW、CreateFileMappingA、CreateFileMappingW、MapViewOfFile、MapViewOfFileEx、GetTempPathA、GetTempPathW。

6.根据权利要求2所述的检测方法，其特征在于，所述检测方法是指令级别的检测方法。

7.根据权利要求2所述的检测方法，其特征在于，所述检测方法是函数级别的检测方法。

8.根据权利要求2所述的检测方法，其特征在于，所述检测方法是轨迹级别的检测方法。