[发明专利]一种基于公司内部日志的安全可视化分析系统

说明书

一种在大数据场景下基于公司内部安全日志的安全可视化分析系统，基于内部网络用户行为的角度，以可视化的形式进行内部网络安全威胁事件的挖掘，并基于内部员工网络行为数据以多种可视化视图的形式展现，能够使员工的用户行为信息得以较好展现；所述安全可视化分析系统分为5个层级：数据清洗层、数据存储层、数据处理层、数据传输层以及数据可视化层。本发明能够使安全维护人员更直观、有效的发现内部用户行为异常情况。

技术领域

本发明设计安全监控领域，具体涉及一种基于公司内部日志的安全可视化分析系统。

背景技术

随着网络的快速发展，尤其是移动互联网等一些新的业务出现，网络攻击技术手段也在不断的发生改变，随着新的网络攻击技术的出现，传统的网络安全边界逐渐失效，网络安全形势日趋复杂。针对以上形势我们迫切的需要找到合适的方法能够更直观、便捷、快速的发现网络中的一系列威胁，例如病毒程序、木马程序、DDOS攻击、内部间谍攻击等一些列攻击行为，以便我们能够及时的应对这一系列的威胁行为作出调整。

网络安全数据指的是内部服务器的日志信息以及一些监控信息，例如：包括登录日志、网页访问日志、邮件日志、打卡日志和TCP流量日志。这些数据由不同物理位置和逻辑层次的监控设备所采集到的各种涉及到网络安全的数据和非监控网络数据(如计算机防火墙自身配置文件、病毒样本等本地区域下产生的数据)两部分组成。随着信息技术的不断发展，网络安全数据的数据量也在呈指数级增长。针对这些信息，我们目前仍没有比较有效的方式进行网络安全威胁事件的挖掘查找。

网络安全可视化作为新兴的交叉研究领域，为传统的网络安全数据分析方法注入了新的活力，它通过提供交互式分析工具，建立人与数据之间的图像通信，借助人的视觉处理能力，进一步提高了分析人员的感知、分析和理解网络安全问题的能力。它能够将抽象的网络和安全监测数据转化为可视图表呈现，帮助用户快速掌握网络状况，识别网络异常和入侵，全方位感知网络安全态势。

传统的网络分析中，侧重点往往在防范外部的攻击，而对于内部员工的攻击行为以及相应违规操作无法无效的监管。同时，针对内部员工安全行为的分析，在提取出员工行为信息后，往往通过人工打标签的方式，给与其定性的判断，往往只能展示员工行为的主要信息，忽略了一些次要却关键的信息。

发明内容

为了能够及时发现内部网络中所存在的一系列网络安全威胁事件，以及应对这些网络安全威胁，更好的做出相应的调整，本发明提出了一种在大数据场景下基于公司内部日志的安全可视化分析系统。

为了解决上述技术问题本发明提供如下技术方案：

一种在大数据场景下基于公司内部安全日志的安全可视化分析系统，基于内部网络用户行为的角度，以可视化的形式进行内部网络安全威胁事件的挖掘，并基于内部员工网络行为数据以多种可视化视图的形式展现，能够使员工的用户行为信息得以较好展现；

所述安全可视化分析系统分为5个层级：数据清洗层、数据存储层、数据处理层、数据传输层以及数据可视化层；

所述数据清洗层，用于将原始的内部安全日志通过Hadoop的API接口的形式，以天为单位存入Hadoop的分布式系统HDFS中相应的文件夹，文件夹的名称为日期；编写相应的MapReduce程序，对原始内部安全日志进行数据清洗，包括邮件日志数据拆分、TCP流量日志缺省值标注以及去重；数据清洗完后，将处理后的文件同样存储在HDFS中；

所述数据存储层，用于存放不同种类的内部安全日志数据，数据存储层采用MySQL数据库和ElasticSearch实时搜索引擎，满足不同的功能需求，其中MySQL满足基于IP和端口的聚合分析，ElasticSearch满足大数据场景下对于不同维度精确查找的秒级响应需求；

所述数据处理层，用于针对不同IP、端口和时间段，统计出相应的流量、端口调用频次数据，从而进一步的得出部门、时间段、IP段的统计特性，将处理好的数据存储在MySQL数据库中；