[发明专利]基于salt的海量mongodb慢日志管理系统

摘要

本发明公开了一种基于salt的海量mongodb慢日志管理系统，包括salt管理端、mongodb节点和分布式存储；salt管理端用于注册和注销salt客户端，发送指令到salt客户端；mongodb节点是部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端；salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端；mongodb节点包括慢日志管理模块；分布式存储是指存储海量小文件的分布式文件系统，包括存储慢日志模块。本发明系统采用分布式存储，可以支持大规模mongodb慢日志存储；采用自动化方式管理慢日志，维护成本很低；解析mongodb慢日志，可以轻松查看效率低下的慢查询，大大提升性能调优效果。采用平台方式展示慢日志解析文件，更加直观，可视化效果更好。

主权项

一种基于salt的海量mongodb慢日志管理系统，其特征在于，包括salt管理端、mongodb节点和分布式存储；salt管理端是管理salt客户端的服务器，用于注册和注销salt客户端，发送指令到salt客户端；salt管理端包括salt管理模块、元信息管理模块、采集慢日志模块和解析慢日志模块；mongodb节点是部署mongodb服务的服务器，每个mongodb节点均需要部署salt客户端；salt客户端接收salt管理端的指令，完成相应的操作，返回结果给salt管理端；mongodb节点包括慢日志管理模块；分布式存储是指存储海量小文件的分布式文件系统，包括存储慢日志模块；所述salt管理模块包括：在所有mongodb节点部署salt客户端，salt管理端部署在单独的一台服务器上；salt管理模块定期调用salt管理端接口，检查所有的mongodb节点上的salt客户端是否注册到salt管理端，如未注册，调用salt管理端接口，注册所述salt客户端；如注册失败，则发送通知给管理员；可选择注销某个mongodb节点的salt客户端；所有的mongodb节点对应的salt客户端全部注册到salt管理端后，salt管理端就可以发送指令和文件给salt客户端，完成特定的操作；在salt管理端，定期检测salt客户端是否通达，如不通，发送通知给管理员；所述元信息管理模块包括：salt管理端定期调用元信息管理模块，及时获取最新的元信息；所述元信息包括mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名；首先，salt管理端获取所有的mongodb节点主机名；然后，针对每个mongodb节点，salt管理端通过发送指令给salt客户端，获取每个mongodb节点上所有的mongodb进程信息，通过mongodb进程信息，可以解析得到mongodb配置文件名，通过所述mongodb配置文件名，可以获取mongodb端口和mongodb慢日志文件名；同时，根据mongodb节点主机名获取到mongodb节点IP；所述mongodb节点主机名、mongodb节点IP、mongodb端口和mongodb慢日志文件名保存在元信息表中；存储慢日志模块运行结束后，慢日志文件名和存储路径保存在慢日志元信息表中；所述慢日志管理模块包括：需要传入的参数：mongodb节点主机名mongodb慢日志文件名慢日志管理模块定期切割慢日志文件和清理无用慢日志文件；在salt管理端，采用定时任务形式，定期切割所有mongodb节点上的mongodb慢日志文件：针对每个所述mongodb节点，根据所述mongodb慢日志文件名，执行归档操作，将mongodb慢日志文件内容打印到一个以日期为后缀的文件里，记为归档文件；同时，清空mongodb慢日志文件内容；所述日期是当天的日期；对于3天前的归档文件，定期删除；在salt管理端，定期清理3天前的mongodb慢日志文件和慢日志解析文件；所述解析慢日志模块包括：需要传入的参数：归档mongodb慢日志文件名分析归档mongodb慢日志文件内容，得到慢日志统计信息，保存在相应的慢日志解析文件；salt管理端在调用采集慢日志模块结束之后，所有的归档mongodb慢日志文件存放在salt管理端指定目录中，此时，定时任务调用慢日志解析脚本，解析每个归档mongodb慢日志文件，分别得到相应的慢日志解析文件；管理系统还包括慢日志管理平台，用于在web页面展示慢日志的详细信息，方便查看mongodb数据库存在的性能问题和及时进行调优；包括展示慢日志模块，存储慢日志模块执行结束后，慢日志管理平台调用慢日志元信息表展示所述慢日志解析文件，便于直观查看mongodb存在的性能问题，为性能调优提供准确参考。