[发明专利]一种基于公司内部日志的安全可视化分析系统

权利要求书

1.一种在大数据场景下基于公司内部安全日志的安全可视化分析系统，其特征在于，基于内部网络用户行为的角度，以可视化的形式进行内部网络安全威胁事件的挖掘，并基于内部员工网络行为数据以多种可视化视图的形式展现，能够使员工的用户行为信息得以较好展现；

所述安全可视化分析系统分为5个层级：数据清洗层、数据存储层、数据处理层、数据传输层以及数据可视化层；

所述数据清洗层，用于将原始的内部安全日志通过Hadoop的API接口的形式，以天为单位存入Hadoop的分布式系统HDFS中相应的文件夹，文件夹的名称为日期；编写相应的MapReduce程序，对原始内部安全日志进行数据清洗，包括邮件日志数据拆分、TCP流量日志缺省值标注以及去重；数据清洗完后，将处理后的文件同样存储在HDFS中；

所述数据存储层，用于存放不同种类的内部安全日志数据，数据存储层采用MySQL数据库和ElasticSearch实时搜索引擎，满足不同的功能需求，其中MySQL满足基于IP和端口的聚合分析，ElasticSearch满足大数据场景下对于不同维度精确查找的秒级响应需求；

所述数据处理层，用于针对不同IP、端口和时间段，统计出相应的流量、端口调用频次数据，从而进一步的得出部门、时间段、IP段的统计特性，将处理好的数据存储在MySQL数据库中；

所述数据传输层，用于针对清洗后的内部安全日志数据，采用Sqoop工具，将HDFS中的数据传输到MySQL数据库当中，其中相应的数据表和字段类型需要在数据存储层实现定义好；

所述数据可视化层，用于针对HDFS中所处理好的员工IP的相关内部网络安全数据，基于内部网络数据的特性信息，进行用户行为的可视化分析，基于用户行为画像的可视化模块，进行相同部门员工之间工作模式的对比，从而可以直观地观察出员工之间个体行为上的差异；基于服务器登录日志、上下班打卡日志和TCP流量日志而开发的基于散点图的可视分析模块，此模块能有效地辨别出服务器登录异常信息等网络安全异常行为。

2.如权利要求1所述的在大数据场景下基于公司内部日志的安全可视化分析系统，其特征在于：所述数据清洗层、数据处理层由Hadoop开发而成，数据传输层由Sqoop开发而成，数据存储层由MySQL数据库、ElasticSearch实时搜索引擎开发而成，数据可视化层由D3、Echarts可视化类库开发而成。

3.如权利要求1或2所述的在大数据场景下基于公司内部日志的安全可视化分析系统，其特征在于：所述可视分析模块中，以可视化的行式进行关联分析，在视图中，可以进行目的IP、源IP、协议和时间条件的筛选，基于不同的时间维度，从各个角度挖掘其潜在的威胁。

4.如权利要求1或2所述的在大数据场景下基于公司内部日志的安全可视化分析系统，其特征在于：从内部安全日志中提取出用户行为信息后，用词云图展示其邮件主题和上网域名信息，用折线图和柱状图展示上下行流量和端口调用次数随时序的变化，力导向图展示其邮件通信情况，玫瑰图展示TCP流量日志中协议使用情况。

5.如权利要求1或2所述的在大数据场景下基于公司内部日志的安全可视化分析系统，其特征在于：各可视化视图中，随时序变化相关的视图中，采用伸缩时间轴的技术，展示不同时间粒度的视图信息。

6.如权利要求1或2所述的在大数据场景下基于公司内部日志的安全可视化分析系统，其特征在于：所述可视分析模块中，用户框选出感兴趣的视图元素，进行下钻分析，并基于视图元素所表示的信息，在ElasticSearch搜索引擎中进行全文索引，并在散点图视图的左下角进行呈现。