[发明专利]一种基于虚拟机的0DAY/恶意文档检测系统及方法

说明书

技术领域

本发明是关于软件漏洞检测与分析技术领域，特别涉及一种基于虚拟机的0DAY/恶意文档检测系统及方法。

背景技术

软件漏洞的成因是由于开发语言本身的局限性，或是由于软件作者因开发期时期编写程序不完善或安全意识不够而疏忽大意而造成的。缓冲区溢出即是一种最常见的软件漏洞。其原理是向程序的缓冲区写入超过其限定长度的内容，造成缓冲区数据的溢出，从而破坏程序的堆栈，使程序崩溃或转而执行其他指令，达到攻击的目的。软件漏洞还包括逻辑漏洞，SQL注入等。

恶意文档，是根据加载文档的软件存在的漏洞而故意制作的不正常文件。如文档可为DOC,PDF,XLS,PPT等文档，根据加载该文档的软件存在的漏洞(如缓冲区溢出漏洞)而特制的文档，在特定的环境下打开该文档后会成功执行恶意指令等。

目前对恶意文档的检测方法主要是静态检测，如OfficeMalScanner定位微软Office(DOC，XLS和PPT)文件中的shellcode和VBA宏；OffVis显示微软Office文件的原始内容和结构，并能鉴别一些常见的exploit等。但静态检测存在一定的误报和漏报。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种能通过动态执行的方法检测恶意文档的检测系统及方法。为解决上述技术问题，本发明的解决方案是：

提供一种基于虚拟机的0DAY/恶意文档检测系统，能动态检测加载在Ring3虚拟机上的文档进程，所述0DAY/恶意文档检测系统包括文档执行模块、Ring3虚拟机模块、Shellcode检测模块、Exception检测模块、ROP检测模块、日志模块，能加载在用于运行文档进程的Ring3虚拟机上；

所述文档执行模块，用于加载文档；

所述Ring3虚拟机模块，用于解析每条二进制指令并跟踪二进制指令的流向；

所述Shellcode检测模块，用于检测是否有shellcode；

所述Exception检测模块，用于记录崩溃及异常信息；

所述ROP检测模块，用于检测ROP行为；

所述日志模块，用于记录Shellcode检测模块、Exception检测模块和ROP检测模块的检测结果。

提供基于所述的0DAY/恶意文档检测系统的检测方法，用于检测文档是否为恶意文档，具体步骤如下所述：

步骤A：加载所需检测文档的进程(如WINWORD.EXE等)运行在Ring3虚拟机上；

步骤B：在Ring3虚拟机上加载Shellcode检测模块、Exception检测模块、ROP检测模块、日志模块；

步骤C：动态跟踪程序指令，各检测模块进行实时检测；

步骤D：日志模块将步骤C中检测到的结果，保存到日志文件中；若日志文件中存有检测结果信息，则说明该文档为恶意文档。

在本发明中，所述步骤C中，Shellcode检测模块进行检测时，当同时满足以下两个条件时表示检测到shellcode：

条件1)记录进程及其调用的模块的地址空间，如遇到程序执行时二进制指令执行的地址不属于调用到的模块或进程所属的地址空间时，将进程标记为可疑；

条件2)判断运行条件1)中二进制指令执行的地址的内存属性，当指令地址不具备可执行属性时，将进程标记为可疑。

在本发明中，所述步骤C中，Exception检测模块进行检测时，实时监控异常，当检测到的异常代码为0xc0000000到0xcfffffff之间或等于0x80000003时，表明该文档为异常文档。

在本发明中，所述步骤C中，ROP检测模块针对指定函数，检测函数的返回地址所指向的指令的前一条指令是否为call指令，若不是Call指令则说明检测到ROP行为；