[发明专利]一种用于工业大数据汇聚的缓存层、汇聚系统及方法

说明书

本发明公开了一种用于基于分布式计算技术的数据汇聚系统中的缓存层，包括：用于存储采集层所采集的数据的一级缓存；与所述一级缓存通信连接的二级缓存，用于拉取所述一级缓存中达到设定阈值的数据。本发明还提供一种用于基于分布式计算技术的数据汇聚系统及数据汇聚方法。本发明在采集层与分布式计算存储层之间设置两级缓存层，并在分布式计算存储层的写入端集成分布式计算框架实现数据的并行拉取与写入，是为智能工厂大数据中心建设进行指导的根本性方案。由此解决现有技术中数控设备或系统的数据采集仍然处于离散状态，无法形成一个有机整体的技术问题和采集/存储速度低下的效率问题。

技术领域

本发明属于数控系统数据采集与存储技术领域，更具体地，涉及一种用于基于分布式计算技术的数据汇聚系统中的缓存层、基于分布式计算技术的数据汇聚系统及数据汇聚方法。

背景技术

在新一代信息技术的推动下，以“工业4.0”、工业互联网等创新风潮为代表的德国、美国等制造强国，纷纷掀起以智能制造为特征的新一轮产业革命。中国也相继提出了“中国制造2025”战略规划促进其制造业从低端向中高端转型升级。“工业4.0”、“互联网+”和“中国制造2025”的核心都是智能工厂，智能工厂的构建首先是以信息物理系统(Cyber-physical System，CPS)为核心的，而各系统中采集、保存、运行的数据又是构成信息物理系统的基础，所以工业大数据是实现智能制造的根本，在智能工厂的构建中起着基础性、决定性的作用。

在传统制造转型为智能制造的过程中，数控机床、机器人、智能汽车、无人机等数控设备及系统已成为了制造业中最基础的制造装备。数控设备可产生多种多样的数据信息，除了设备上集成的各类传感器采集到的数据，还有数控系统加工过程中所产生的海量电控数据，包括加工程序信息、运动轴状态数据、主轴状态数据、数控设备操作状态数据和运行状态数据等，这些数据在生产状态实时监控、数控设备故障诊断及预警、产品加工质量分析及优化等方面都发挥着关键作用，并且能帮助管理者更好地分析、决策生产信息，及时预判并解决生产故障，实现智能工厂生产过程的智能管理，因此，对数控设备加工过程中的海量数据进行有效的收集与存储对实现智能制造至关重要。

工业数据具有产生频率高、单条数据量小、时序性严格、数据海量等特点。目前，大部分数控厂家采集架构一般如图1所示，包括设备层1、采集层2、数据存储层3和管理层4，各层之间通过网络进行交互，其中，设备层1是具有同类数控系统的数控设备集群，采集层2负责收集生产线各类数据信息，存储层3负责工业数据的存储，管理层4集成了对工厂生产过程的监视、管理、统计分析等各种应用。这种基于网络的数据采集方式较传统的基于串口的数据采集方式有一定的先进性，但在工业级数据的处理上，依然存在有很多弊端：第一，工业大数据单条数据量小、采集频率高、数据密度极大的特点，导致采用传统的数据采集技术会产生过高的响应延迟；第二，频繁的网络交互也会导致严重的网络拥塞，不利于整个系统资源的充分利用，采集效率低下；第三，工业大数据对数据完备性的要求很高，而生产线环境复杂，网络性能波动较大，上述方案难以保证数据传输的完整性，数据丢失的可能性很大，导致管理层做出错误的决策，影响生产线的正常运行；第四，目前这种即采即存的方式形成频繁的磁盘I/O交互，系统抵抗数据波动的能力差，也会造成数据的丢失。数据汇聚技术可以为上述问题提供有效的解决方法，数据汇聚有较强的针对性，对不同的数据量、数据密度、汇聚内容都应采取不同的汇聚系统架构，其中所涉及的数据采集方式、数据传输方式、中间缓存方式、数据存储方式都不尽相同。当前，数据汇聚技术在互联网领域应用较多，但是在工业场景下还没有得到深度应用，因此针对数控领域工业级的海量数据，设计高效的大数据采集与汇聚系统是将数据科学引入制造行业的第一步，对推进传统制造业转型升级具有十分重要的意义。