[发明专利]基于大数据的微服务优化系统及方法

说明书

本发明公开了基于大数据的微服务优化系统，包含以下模块：代码生成模块，其用于配置代码的自动化生成，降低开发周期；数据处理模块，用于日志数据分析处理，进行数据统计展现。微服务优化模块，通过日志分析，更新微服务策略。本发明通过初始化项目配置，动态生成web前后端代码，用于解析数据直观展现，通过数据解析模块统计各微服务以及服务网关数据，调用具体微服务优化策略，进行服务部署优化。

技术领域

本发明涉及数据处理技术领域，尤其涉及基于大数据的微服务优化系统及方法。

背景技术

随着大数据以及大量开源轻量级技术的日渐发展，针对多模块大中型项目，为服务便于独立开发，测试，运维，部署，扩展，发现，演进一种新的服务结构-微服务。但随着服务规模越来越大，服务调用链变长，服务请求的响应时间和吞吐量问题愈发重要。目前，在微服务系统中，前端的一个请求可能对应后端多个系统的多个请求，错综复杂，当服务的出现故障或者性能问题时，现有技术主要是通过检查微服务容器系统监控信息以及请求调用，但缺陷是无法在短时间内发现问题详情。

发明内容

本发明的目的就在于为了解决上述问题而提供基于大数据的微服务优化系统，本发明利用Hadoop进行数据解析分析，利用Spring Quartz任务调度进行增量数据处理，解决现有技术方案的数据实时性问题，并通过java运算求最优解，对微服务进行实时优化控制。

本发明通过以下技术方案来实现上述目的：

基于大数据的微服务优化系统，包括代码生成模块，数据解析模块，微服务优化模块；

所述代码生成模块利用nginx Web反向代理服务进行log_format格式化日志配置，以二进制流方式从项目log目录下获取格式化解析日志文件gateway.log以及microservices.log；并

利用上述log_format格式化日志配置进行微服务配置平台初始化设置设定，并调用代码生成模块中的Freemarker模板引擎，依据配置属性构建java后端自动化生成代码，使用springframework依据java实体属性构建相应的mysql数据库表结构；利用Velocity模板引擎生成前端展示界面代码；

所述数据解析模块利用Spring Quartz任务调度获取实时数据，获取增量log_format格式化日志进行解析数据，利用Hadoop大数据处理框架进行MapReduce数据统计，对数据按各个微服务模块进行数据解析入库；

对单个微服务应用由mysql数据库中数据分别进行筛选统计，利用JAVA集合分组计算获取不同接口在一个时间窗内的响应时间；找出平均响应时间较长的时间段，作为Could服务关联环境的性能疑点；

统计各个服务由mysql数据库中数据分别进行筛选统讯利用JAVA集合分组获取所有实例在一个时间段内的平均响应时间、hystrix熔断次数以及服务所在系统的性能指标；

分析由Hadoop统计录入mysql数据库的网关监控数据信息，利用mysql聚合统计并利用java计算出一个时间窗里的请求数和吞吐量；

最后，得到各个服务的实例在一个时间窗里的分析结果，利用Bootstrap表格插件对数据进行前端展示，并利用阿里EasyExcel生成各性能指标的监控报告文档；

所述微服务优化模块基于所述数据解析模块的数据处理统计结果，该模块依据网关控制策略，利用java运算多维度求最优解，进行实现Spring Cloud Gateway网关路由的降级或者限流；并

依据服务注册策略，利用java运算多维度求最优解，进行Spring Could Eureka微服务动态调整，以达到负载均衡和中间层服务故障转移的目的。