[发明专利]一种基于公司内部日志的安全可视化分析系统

摘要

一种在大数据场景下基于公司内部安全日志的安全可视化分析系统，基于内部网络用户行为的角度，以可视化的形式进行内部网络安全威胁事件的挖掘，并基于内部员工网络行为数据以多种可视化视图的形式展现，能够使员工的用户行为信息得以较好展现；所述安全可视化分析系统分为5个层级：数据清洗层、数据存储层、数据处理层、数据传输层以及数据可视化层。本发明能够使安全维护人员更直观、有效的发现内部用户行为异常情况。

主权项

1.一种在大数据场景下基于公司内部安全日志的安全可视化分析系统，其特征在于，基于内部网络用户行为的角度，以可视化的形式进行内部网络安全威胁事件的挖掘，并基于内部员工网络行为数据以多种可视化视图的形式展现，能够使员工的用户行为信息得以较好展现；所述安全可视化分析系统分为5个层级：数据清洗层、数据存储层、数据处理层、数据传输层以及数据可视化层；所述数据清洗层，用于将原始的内部安全日志通过Hadoop的API接口的形式，以天为单位存入Hadoop的分布式系统HDFS中相应的文件夹，文件夹的名称为日期；编写相应的MapReduce程序，对原始内部安全日志进行数据清洗，包括邮件日志数据拆分、TCP流量日志缺省值标注以及去重；数据清洗完后，将处理后的文件同样存储在HDFS中；所述数据存储层，用于存放不同种类的内部安全日志数据，数据存储层采用MySQL数据库和ElasticSearch实时搜索引擎，满足不同的功能需求，其中MySQL满足基于IP和端口的聚合分析，ElasticSearch满足大数据场景下对于不同维度精确查找的秒级响应需求；所述数据处理层，用于针对不同IP、端口和时间段，统计出相应的流量、端口调用频次数据，从而进一步的得出部门、时间段、IP段的统计特性，将处理好的数据存储在MySQL数据库中；所述数据传输层，用于针对清洗后的内部安全日志数据，采用Sqoop工具，将HDFS中的数据传输到MySQL数据库当中，其中相应的数据表和字段类型需要在数据存储层实现定义好；所述数据可视化层，用于针对HDFS中所处理好的员工IP的相关内部网络安全数据，基于内部网络数据的特性信息，进行用户行为的可视化分析，基于用户行为画像的可视化模块，进行相同部门员工之间工作模式的对比，从而可以直观地观察出员工之间个体行为上的差异；基于服务器登录日志、上下班打卡日志和TCP流量日志而开发的基于散点图的可视分析模块，此模块能有效地辨别出服务器登录异常信息等网络安全异常行为。