[发明专利]一种用于工业大数据汇聚的缓存层、汇聚系统及方法

权利要求书

1.一种用于基于分布式计算技术的数据汇聚系统中的缓存层，其特征在于，包括：

一级缓存，用于存储采集层所采集的数据；

二级缓存，所述二级缓存与所述一级缓存通信连接，用于拉取所述一级缓存中达到设定阈值的数据。

2.根据权利要求1所述的缓存层，其特征在于：所述一级缓存能够根据数控设备/数控系统的唯一的标识信息识别所述采集层所采集的数据的来源。

3.根据权利要求2所述的缓存层，其特征在于：所述一级缓存包括多个第一数据库，每一个所述第一数据库根据所述识别的结果对应的所述数据的来源存储所述采集层所采集的数据。

4.根据权利要求1或2所述的缓存层，其特征在于：所述一级缓存，还用于将所述采集层所采集的数据分为固有数据、热数据和冷数据。

5.根据权利要求4所述的缓存层，其特征在于：所述二级缓存，用于将所述一级缓存中所述采集层所采集的数据分为覆盖型数据和累计型数据；其中，所述覆盖型数据为始终保持最后一次的采集状态的数据，所述累计型数据为随着采集时间的推移而不断追加的数据。

6.根据权利要求5所述的缓存层，其特征在于：所述二级缓存，还用于监控所述一级缓存中各第一数据库中的累计型数据的数据量大小，并在所述第一数据库中所述累计型数据的数据量达到预设阈值时，将所述第一数据库中的所述累计型数据从所述一级缓存中拉取出来并持久化化至分布式计算存储层中。

7.根据权利要求5所述的缓存层，其特征在于，所述累计型数据以管道的方式在所述一级缓存和所述二级缓存之间传输。

8.根据权利要求5所述的缓存层，其特征在于：所述一级缓存在所述缓存层退出或数据量波动时将所述累计型数据固化至本地磁盘一次，待系统恢复后，再将所述累计型数据上传至分布式计算存储层。

9.一种基于分布式计算技术的数据汇聚系统，其特征在于，包括：采集层、权利要求1至8任意一项所述的缓存层以及分布式计算存储层；

所述采集层，用于从设备层中获取各数控设备的加工数据，并向所述缓存层传输各数控设备的加工数据；

分布式计算存储层，用于接收并存储所述缓存层写入的各数控设备的加工数据。

10.根据权利要求9所述的数据汇聚系统，其特征在于：所述采集层能够兼容地对多个具有不同通信方式、采集协议和/或数据结构的数控设备采集所述加工数据。

11.根据权利要求9～10任意一项所述的数据汇聚系统，其特征在于：所述分布式计算存储层与所述缓存层的二级缓存位于分布式计算存储集群中；其中，所述分布式计算存储集群包括多个节点；所述第二数据库用于拉取对应所述第一数据库中的累计型数据。

12.根据权利要求11所述的数据汇聚系统，其特征在于：所述分布式计算存储集群能够将数据从所述一级缓存向所述分布式计算存储层的汇聚任务分成多个子任务同时进行，每个子任务划分为两个线程，其中一个线程将所述一级缓存中各第一数据库中达到预设阈值的累计型数据拉取到所述二级缓存中，另一个线程将所述二级缓存中的数据持久化到所述分布式计算存储层的磁盘中。

13.根据权利要求12所述的数据汇聚系统，其特征在于：所述二级缓存根据固有数据、热数据和冷数据的数据量的增长速度，将所述一级缓存中所述采集层所采集的数据分为覆盖型数据和累计型数据；所述累计型数据以管道的方式在所述一级缓存、所述二级缓存和所述分布式计算存储层之间流动；其中，所述一级缓存到所述二级缓存的管道流速取决于所述节点间的网络带宽，所述二级缓存到所述分布式计算存储层的管道流速取决于磁盘写入速度。