[发明专利]一种分布式主机性能采集系统及性能采集方法

说明书

本发明涉及一种分布式主机性能采集系统及性能采集方法，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

技术领域

本发明涉及一种分布式主机性能采集系统及性能采集方法，属于分布式和信息采集技术领域。

背景技术

当前在大数据时代，主机的分布式系统也成为当前系统部署的主流方案，但分布式主机性能信息采集是分布式系统中很重要的一部分，一方面系统资源调度时，需要根据当前性能参数动态分配任务；另一方面，管理员可以通过主机性能参数优化分布式系统。但当前分布式性能参数采集往往出现信息不及时，且纯在数据丢失情况。

发明内容

本发明所要解决的技术问题是提供一种分布式主机性能采集系统，能够确保主机性能的实时采集，并且能够做到数据零丢失，有效提高了主机性能的采集效率。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种分布式主机性能采集系统，包括各个分布式主机节点、系统消息队列模块、系统实时校验模块、系统内存数据库、系统主机性能预测模块；其中，各个主机节点上分别设置性能采集模块；

各个主机节点上的性能采集模块，分别用于采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，将完整性合格的各项参数发送给系统消息队列模块；

系统消息队列模块用于按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数；

系统实时校验模块用于针对系统消息队列模块中各个主机节点分别对应的各项参数，实现数据完整性与数据正确性的校验，并针对校验成功的参数，将该参数所对应的主机、以及各项参数剪切至系统内存数据库中；针对校验不成功的参数，删除系统消息队列模块该参数的记录，同时在系统内存数据库中记录该参数所对应的主机、以及校验失败结果；

系统内存数据库用于接收来自系统实时校验模块的处理数据；

并且各个主机节点上的性能采集模块，还分别用于扫描系统内存数据库，若发现所对应主机为校验失败结果，则性能采集模块重新采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，再将完整性合格的各项参数发送给系统消息队列模块；

系统主机性能预测模块用于根据系统内存数据库中各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

作为本发明的一种优选技术方案：所述各个分布式主机节点上还分别包括节点缓存；节点缓存用于存放对应所述性能采集模块校验合格的各项参数，等待发送至所述系统消息队列模块。

本发明所述一种分布式主机性能采集系统采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种分布式主机性能采集系统，基于现有分布式系统，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

与上述相对应的，本发明还要解决的技术问题是提供一种基于分布式主机性能采集系统的性能采集方法，能够确保主机性能的实时采集，并且能够做到数据零丢失，有效提高了主机性能的采集效率。