[发明专利]一种基于Memcached的数据采集方法及系统

说明书

本发明公开了一种基于Memcached的数据采集系统及方法。本发明涉及的一种基于Memcached的数据采集系统，包括：数据层、业务层、表示层、底层；所述底层，与所述数据层连接，用于将底层的数据包发送至数据层；所述数据层，用于接收并存储底层发送的数据包；其中，所述数据层是基于Memcached实现的。所述业务层，与所述数据层连接，用于读取所述数据层中的数据包，并将所述读取的数据包发送至表示层；所述表示层，与所述业务层连接，用于接收所述业务层发送的数据包，并将接收到的数据展示给用户。

技术领域

本发明涉及计算机应用软件技术领域，尤其涉及一种基于Memcached的数据采集方法及系统。

背景技术

随着高性能计算机系统的规模越来越大，系统包含的节点、存储、通信、电源、散热等部件数量急剧上升，要及时准确地多层次全面了解系统各个设备的运行状态，需要一套高效的数据采集系统，来及时处理各种异构设备海量的历史和实时监测数据。

传统模式有“控制台+数据代理”两级通信模型，即数据代理与底层设备通信，并将所获数据发送到控制台；还有 “控制台+中间代理+节点代理” 三级通信模型，一个中间代理可以与多个节点代理通信，采集多个节点的监控信息，然后一次性将多个节点的数据发送到控制台，多个中间代理可以同时进行节点信息采集，而控制台负责业务逻辑处理。第一种模式适用于小规模系统，当规模增大时，信息的时效性及系统处理能力受限于控制台用户线程数限制，第二种模式可扩展性增强，同时也增加了并行度，效率有一定的提高，但随着规模的扩大，数据量急剧上升，常规的数据同步多级传送方式使得底层设备运行状态信息到达用户展示层时效性较差，而且数据与业务逻辑的紧耦合设计也让需求有变时，业务处理变得复杂，要删改或增加相关内容，往往“牵一发而动全身”，不利于代码的调试和扩展，结构化以及灵活性方面欠缺。

综上所述，常规方法是一种紧耦合的以控制为中心的数据采集模式，实时性差，难以满足及时高效地展示高性能计算系统实时运行状态。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于Memcached的数据采集方法及系统，把数据从业务层剥离，以数据为中心保证了系统的可扩展性以及流水线处理的时效性。

为了实现以上目的，本发明采用以下技术方案：

一种基于Memcached的数据采集系统，包括：数据层、业务层、表示层、底层；

所述底层，与所述数据层连接，用于将底层的数据包发送至数据层；

所述数据层，用于接收并存储底层发送的数据包；其中，所述数据层是基于Memcached实现的。

所述业务层，与所述数据层连接，用于读取所述数据层中的数据包，并将所述读取的数据包发送至表示层；

所述表示层，与所述业务层连接，用于接收所述业务层发送的数据包，并将接收到的数据展示给用户。

进一步的，所述底层还用于周期性的采集与设备运行状态相对应的数据包。

进一步的，所述业务层是基于多线程实现的；所述业务层周期性的读取所述数据层中的数据包。

相应的，还提供一种基于Memcached的数据采集方法，包括步骤：

S1.数据层接收并存储底层发送的数据包；其中，所述数据层是基于Memcached实现的；

S2.业务层读取所述数据层中存储的数据包，并将所述读取到的数据包发送至表示层；

S3.所述表示层接收所述业务层发送的数据包，并将接收到的数据展示给用户。

进一步的，所述步骤S1之前还包括：

S0.所述底层周期性的采集与设备运行状态相对应的数据包。