[发明专利]一种基于组织内部邮件日志分析的安全可视化方法及系统

权利要求书

1.一种基于组织内部邮件日志分析的安全可视化方法，包括：

S1、数据清洗，所述数据清洗包括：

将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入；

根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，并将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；

S2、数据传输，所述数据传输包括：

采用数据迁移工具从分布式文件系统中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；

S3、数据存储，所述数据存储包括：

存储邮件日志关联到的各类安全日志；

采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析，以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；

S4、数据处理，所述数据处理包括：

对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；

S5、数据可视化，所述数据可视化包括：

基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。

2.根据权利要求1所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，所述内部人员画像包括：根据某内部人员一段时间内邮件主题所绘制的词云信息图、内部人员的基于时间维度的邮件系统接入信息图和内部人员接收到垃圾恶意邮件统计信息图。

3.根据权利要求1或2所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，还包括；

对组织内部邮件日志进行整体统计，获取组织内部邮件日志的整体统计信息，并以可视化的形式展示，包括：内部人员邮件收发关联关系信息图，垃圾恶意邮件按填的数量统计信息图、垃圾恶意识别分类信息图和安全威胁重灾区的账户统计信息图。

4.根据权利要求3所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，将Hadoop作为所述大数据分析平台，将Hadoop的HDFS作为所述分布式系统，将Sqoop作为所述数据迁移工具，将ElasticSearch作为所述分布式搜索分析引擎，将MySQL作为所述关系型数据库；所述可视化呈现组件包括Echarts、Highcharts、inMap、D3和AntV。

5.一种基于组织内部邮件日志分析的安全可视化系统，包括：

数据清洗模块，数据传输模块、数据存储模块、数据处理模块以及数据可视化模块

所述数据清洗模块，用于将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入，根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；

所述数据传输模块，用于采用数据迁移工具从分布式文件系中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；

数据存储模块，用于存储邮件日志关联到的各类安全日志、采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；

数据处理模块，用于对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；

数据可视化模块，用于基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。