[发明专利]一种注塑成型装备大数据采集和存储系统及方法

说明书

本发明公开了一种注塑成型装备大数据采集和存储系统及方法。本发明的系统及方法中，Kubernetes集群通过docker容器虚拟化技术管理和部署Nifi数据流集群、Kafka集群、Kafka消费者集群和分布式数据库，Nifi数据流集群从数据源接收和处理数据，数据处理后根据数据类型将数据写入到Kafka集群对应的Topic分区中，Kafka消费者集群订阅Kafka集群中的Topic，将数据写入到分布式数据库中存储。本发明利用Nifi、Kafka和分布式数据库技术实现了海量生产数据的采集和存储，利用Kubernetes容器编排技术和容器虚拟化技术解决了大数据系统扩展性、稳定性和可靠性差的问题。

技术领域

本发明涉及大数据、云计算和注塑成型领域，具体涉及基于Kubernetes的注塑成型装备大数据采集和存储系统及方法。

背景技术

大数据技术的发展，推动了传统制造业的信息化，加速了制造业智能化转型进程，制造业向智能化转型首要解决的问题是海量数据采集与存储问题，在注塑成型领域，注塑装备生产数据的数据采集与存储的传统方法是利用工业过程控制标准OPC技术在生产现场采集到数据后再存储到本地数据库，OPC服务器连接现场设备，用户按照OPC协议编写OPC客户端连接OPC服务器，并以标准OPC读写方式访问OPC服务器接口获得所需数据，为了实现生产数据的大数据采集和存储，需要在传统数据采集基础上利用大数据采集技术对获取到的数据进行二次采集，并将数据存储到分布式数据库中，如中国专利申请（申请号CN201711387375）公开了一种注塑成型装备大数据采集系统和方法，通过OPC通讯采集到生产数据后再利用Kafka分布式发布订阅消息系统将数据写入到分布式数据库中，这种方式虽然解决了大数据采集和存储问题，但由于生产数据采集需求变化大，单一的分布式消息队列难以根据数据采集需求及时作出调整，数据流处理可拓展性差，对多种数据来源不能有效地整合处理，同时由于大数据应用环境部署配置复杂，需要专门构建高效稳定的运维系统，服务器故障后通常需要手工排查问题并修复，造成了系统的可移植性和可靠性差问题。

ubernetes基于容器技术，实现了资源管理的自动化，它具有完整的集群管理能力包括安全防护和准入机制、多租户支撑、服务注册和服务发现机制、内建负载均衡器、故障发现和修复、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制。同时，Kubernetes提供了完善的管理工具，这些工具涵盖包括开发、部署测试、运维监控在内各个环节。Kubernetes不仅是一个基于容器技术的分布式架构解决方案，也是一个完备的分布式系统开发和支撑平台。应用Kubernetes设计系统，可以从与业务无关的底层代码和功能模块中解脱出来，解决系统的服务治理、监控、故障处理和负载均衡难题，从而提高系统的可拓展性、可移植性和可靠性，如中国专利（CN201810856195）公开了一种基于Kubernetes组建Hadoop集群的实现方法，实现了对Hadoop集群的动态维护，提高了Hadoop集群的高可用性及高扩展性。

发明内容

本发明针对现有技术的不足和缺陷，提供一种注塑成型装备大数据采集和存储系统及方法，用以解决当前技术可拓展性、可移植性和可靠性差的问题。

为实现上述目的，本发明至少采用如下技术方案之一。

一种注塑成型装备大数据采集和存储系统及方法，其包括：

Kubernetes集群，通过docker容器虚拟化技术管理和部署Nifi数据流集群、Kafka集群、Kafka消费者集群和分布式数据库；

Nifi数据流集群，用于从各种数据源接收和处理注塑机数据；

分布式消息队列Kafka集群，用于为数据创建对应的Topic，并配置分区和数据备份，以接收Nifi数据流集群产生的大量数据；

Kafka消费者集群，用于订阅Kafka集群中的各Topic来获取数据并将数据存储到分布式数据库中；