[发明专利]一种基于实时日志的网站威胁检测的方法及系统

权利要求书

1.一种基于实时日志的网站威胁检测方法，其特征在于，所述方法包括：

实时采集监控网站日志服务器的日志数据；

对日志数据进行转换与实时分发；

对日志数据进行实时处理与检测；

对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警；

所述对日志数据进行转换与实时分发，包括：

将采集到的日志数据转换为消息队列，分别发送给历史数据存储集群及实时计算集群；

将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理；

所述对日志数据进行实时处理与检测，包括：

对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；

利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；

将实时匹配计算的结果保存在内存数据库中；

规则知识库支持对规则的增加、删除、修改及查询的操作；

利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。

2.根据权利要求1所述的方法，其特征在于，所述实时采集监控网站日志服务器的日志数据，包括：

实时监控网站日志服务器上的日志文件，当检测到日志文件内容发生变化时，对变化的数据进行增量采集；

将采集到的数据进行整合，添加网站名称及日志名称；

其中，所述日志文件内容包括：来访用户的IP地址、目的地址、目的端口、访问时间、请求内容、访问次数、访问深度、访问宽度及get文件访问比例。

3.根据权利要求1所述的方法，其特征在于，所述网站威胁包括：结构化查询语言SQL注入攻击、跨站脚本攻击、可疑的网站后门工具Webshell访问、异常对象访问、缓冲区溢出、目录遍历、敏感路径猜测、管理后台访问、密码暴力尝试、越权访问、非法大量下载、频繁登陆、参数异常。

4.根据权利要求1所述的方法，其特征在于，所述对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警的步骤后，所述方法还包括：

根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式实时推送给系统或管理员。

5.一种基于实时日志的网站威胁检测系统，其特征在于，该系统包括：

日志数据实时采集单元，用于实时采集监控网站日志服务器上的日志数据；

日志数据实时转换与分发单元，用于对日志数据进行转换与实时分发；

日志数据实时处理与检测单元，用于对日志数据进行实时处理与检测；

日志数据实时监控单元，用于对所述网站威胁检测结果进行实时展示，并根据所述检测结果的严重程度进行实时预警；

所述日志数据实时转换与分发单元，包括：

数据实时传输模块，用于将采集到的日志数据转换为消息队列，并对所述日志数据进行分发；

数据备份模块，用于将实时采集的日志数据备份到本地的文件系统，支持对日志数据的定期清理；

所述日志数据实时处理与检测单元，包括：

日志数据实时加工模块，用于对日志数据进行实时清洗、加工，及特征值提取，获取规则匹配所需的关键信息项；

网站威胁实时匹配模块，用于利用网站威胁规则知识库中所包括的规则，实时对日志数据的关键信息项进行匹配；

实时计算结果存储模块，用于将实时匹配计算的结果保存在内存数据库中；

规则库维护模块，用于支持对规则的增加、删除、修改及查询的操作；

历史数据学习模块，用于利用数据挖掘的频繁挖掘算法对历史数据进行分析，获取用户的行为特征，得到新的网站威胁规则。

6.根据权利要求5所述的系统，其特征在于，所述日志数据实时采集单元，具体用于：

实时监控网站日志服务器上的日志文件，当检测到日志文件发生变化时，对变化的数据进行增量采集；

将采集到的数据进行整合，添加网站名称及日志名称；

通过数据传输接口，将数据发送给数据实时分发单元。

7.根据权利要求5所述的系统，其特征在于，所述日志数据实时监控单元，包括：

数据结果实时展示模块，用于实时查询、显示威胁检测计算得到的关键指标数据；

实时预警模块，用于对出现的威胁根据严重程度进行实时预警；根据网站威胁检测结果，若判定为攻击行为，则根据预设的规则采取强制措施；若需要人工干预，则将所述网站威胁检测结果通过短信或邮件的方式推送给系统或管理员。