[发明专利]一种实现电子证照运行数据组件化收集的方法

说明书

本发明涉及一种实现电子证照运行数据组件化收集的方法，提供一运行数据收集平台；包括日志工具模块、微服务插件模块、分析系统和数据存储模块；日志工具模块和微服务插件模块采集数据，并通过日志工具模块将两者采集的数据发送到分析系统；分析系统将接收到的数据发送到所述数据存储模块进行数据存储；分析系统还能够通过人工检索或定时任务的方式，获取数据存储模块的数据，用以展示或报表统计。本发明不受机器账户限制，生产环境的机器为了安全性，仅有少数人有权限，但本发明的分析系统可以很便捷的给大家分配账户和权限，并且不影响生产环境主机的安全。能够有效对数据进行统计、分析；提高数据的利用率，并且检索方便有一个统一的检索空间。

技术领域

本发明涉及电子证照、数据收集、组件化领域，特别是一种实现电子证照运行数据组件化收集的方法。

背景技术

运行数据主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。但目前的现状是：电子证照平台拥有多个应用，这些应用有的有采集运行数据，有的没有。并且采集的方式以及存储的方式各不相同。技术方面，有的采用System.out.println，有的用logback，有的用log4j，也有一些运行数据直接存到mysql或mongoDB上。

通常，运行数据被分散在储存不同的设备上。如果要管理数十上百台服务器，但还在使用依次登录每台机器的传统方法查阅运行数据。这样会很繁琐和效率低下。所以使用集中化的运行数据管理。

集中化管理运行数据后，运行数据的统计和检索又成为一件比较麻烦的事情，一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。通过对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用：

1）信息查找：通过检索日志信息，定位相应的bug，找出解决方案。

2）服务诊断：通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。

3）数据分析：如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息，比如根据请求中的商品id，找出TOP10用户感兴趣业务。

4）调用链分析。收集系统还会收集用户标识、请求模块等重要信息、发起地址等信息。通过它，可以跟踪整个调用链，也便于排查问题。

发明内容

有鉴于此，本发明的目的是提出种实现电子证照运行数据组件化收集的方法，能统一对日志进行分析、检索，改善了运行数据的采集及利用流程。

本发明采用以下方案实现：一种实现电子证照运行数据组件化收集的方法，提供一运行数据收集平台； 所述运行数据收集平台包括日志工具模块、微服务插件模块、日志分析系统和数据存储模块；所述日志工具模块和所述微服务插件模块采集数据，并通过所述日志工具模块将两者采集的数据发送到所述日志分析系统；所述日志分析系统将接收到的数据发送到所述数据存储模块进行数据存储；所述日志分析系统还能够通过人工检索或定时任务的方式，获取所述数据存储模块的数据，用以展示或报表统计；

日志分析系统将数据存储到存储模块后，内置了一些定时任务。这些定时任务会根据数据模块中的数据，按日期或其它维度生成一些简单的报表。同时，日志分析系统也提供了可视化检索界面，用户可以在界面上输入关键词、时间段等检索条件，搜索他想要的数据（日志）。

所述平台按照如下步骤进行电子证照运行数据组件化收集：