[发明专利]一种机务飞行保障大数据日志分析系统

说明书

本发明公开一种机务飞行保障大数据日志分析系统，由部署在服务器上的大数据流式计算模块和Web服务器两部分组成；其中，大数据流式计算模块分析机务飞行保障系统的运行日志，运行日志包含用户行为日志和系统运行日志两部分，分析用户行为日志可以统计分析用户操作行为，一旦发现用户有异常行为，立即通过短信或邮件进行报警；分析系统运行日志可以实时监控系统运行状态，一旦发现系统运行异常，同样可以通过短信或者邮件进行告警；Web服务器用于展示流式计算模块分析日志的结果，包含：人员登录统计管理、人员操作统计管理、系统异常数据分析、报警联系人管理、报警信息管理。

技术领域

本发明属于航空领域，具体涉及一种机务飞行保障大数据日志分析系统。

背景技术

“大数据”技术是下一个创新前沿，世界各国各行业都在努力发展大数据技术，扩展大数据技术应用范围。中国电子技术标准化研究院针对大数据在我国的发展状况，开展大数据标准研制，在《大数据标准化白皮书V1.0》中指出在数据建模、元数据、数据库、数据交换及管理等方面促进大数据相关标准的制定及应用，为跨行业交叉领域数据管理能力的提高而提供标准化支持。2015年12月颁布V2.0版本进一步补充和完善了对大数据的理解和实践。

在大数据技术中蕴含着丰富的数据信息资源，它们的科学有效应用能够切实为企业带来巨大的经济产值，产生更多经济收益。因此，要利用好信息资源就要进一步开放研究大数据技术。信息资源的有效应用离不开先进的数据技术和信息化思维，网络技术人员应当将传统信息资源开发管理方法与大数据技术有机地结合起来，通过将不同数据集进行重组和整合，发挥数据集不具有的新功能，从而为企业创造出更多的价值。而掌握了数据资源处理技术的企业，在未来还能够通过将数据使用权进行出租或者转让等方式获取巨大的经济收益。

大数据需要强大的技术支持，以有效地大批量地处理纷繁复杂的数据。云计算平台、互联网、分布式数据库、大规模并行处理数据库、可扩展的存储系统、分布式文件系统、Hadoop、Hive、Storm、Kafka 等大数据技术及软件为大数据在各行各业的应用提供了技术基础。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Hadoop框架最核心的是：HDFS和MapReduce。 HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、分布式锁和分布式队列等功能。在解决分布式数据一致性方面，ZooKeeper并没有直接使用Paxos算法，而是采用了一种称为ZAB的一致性协议。ZooKeeper可以保证如下分布式一致性特性：顺序一致性、原子性、单一视图、可靠性、实时性。

Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统，它支持在日志系统中定制各类数据发送方，用于收集数据。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、HBase、Hive、Kafka等众多外部存储系统中。对于一般的采集需求，通过 Flume的简单配置即可实现。另外，它针对特殊场景也具备良好的自定义扩展能力，因此，Flume可以适用于大部分的日常数据采集场景。