[发明专利]一种基于流处理技术的生产数据采集方法及系统

权利要求书

1.一种基于流处理技术的生产数据采集方法，其特征在于：包括以下步骤：

S1：通过车间生产数据采集层获取产品生产过程中的各种信息，实现实时的在线采集，通过车间检测数据采集层实现对车间产品的监测，为区分产品是否合格部分提供必要的参考标准，同时提供生产车间的重要组成部分的相关数据；

S2：利用车间生产数据采集层和车间检测数据采集层采集的检测数据，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，利用条码和图形检测技术，对产品信息自动化检索和查看，并通过视觉传感技术对产品加工过程质量进行判别，判断加工产品、包装和检测质量是否合格；

S3：通过运行数据处理层对数据流进行实时处理；

S4：将生产车间现场状态与运行数据处理结果显示到采集数据应用层；

所述步骤S3中的所述实时处理具体包括以下步骤：

步骤一：通过分布式消息队列获取运行数据流；

步骤二：通过KafkaSpout对数据进行拆分；

步骤三：结合具体的运行数据监测需求，分别定义拆分后的数据流处理的操作；

步骤四：对每类数据流进行单独处理，以得到不同处理的中间结果；

步骤五：定义中间计算结果的汇总策略，完成运行数据流处理结果的汇总和聚合；

步骤三中所述数据流处理的操作包括数据统计、数据异常检测、稼动率分析；所述步骤五中所述汇总策略包括按字段分组，全局分组。

2.根据权利要求1所述的一种基于流处理技术的生产数据采集方法，其特征在于：所述采集数据应用层包括服务器端和网页端，用户可通过网页点击向服务器端发送请求，服务器根据不同的请求做出相应的响应，通过查询数据库并返回查询结果，来获取步骤S4中所述现场状态与运行数据处理结果信息。

3.一种基于上述权利要求1或2中所述的基于流处理技术的生产数据采集方法的生产数据采集系统，包括车间生产数据采集层、车间检测数据采集层、车间运行数据存储、运行数据处理层和采集数据应用层，其特征在于：所述车间生产数据采集层是通过传感器技术、视觉检测技术对生产现场所所涉及的信息数据进行识别和实时采集，所述车间检测数据采集层是通过条码读写器以及嵌入式采集终端，自动识别信息载体，然后再通过系统内部解析系统，将获取的数据信息传送至指定数据库，所述车间运行数据存储是使用基于传统数据库、实时数据库并用的集成存储模式实现生产车间现场运行数据的存储，所述运行数据处理层采用数据流处理方法，流处理层这种基于开源的大数据流处理技术能实现生产车间现场运行数据流的实时处理，完成生产车间现场数据预处理、数据统计与异常监测和设备稼动率，实现生产车间现场监测，所述采集数据应用层是完成生产车间现场状态与运行数据处理结果的可视化显示。

4.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间生产数据采集层具体是实现对于产品物料的追踪和定位，通过扫描条形码方式获取产品生产过程中的各种信息，实现实时的在线采集，包括上料、加工、测试过程中产品所具有的的所属产线数据信息。

5.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间检测数据采集层具体主要实现对车间产品的监测，可用于在区分产品是否合格部分提供必要的参考标准，比如产品单体温度、焊接形貌数据，贯穿于整个产品的组装和测试模块，用于提取生产车间的重要组成部分的相关数据。

6.根据权利要求3所述的生产数据采集系统，其特征在于：所述运行数据处理层包括消息队列、Storm集群、Redis数据库和SqlServer数据库，所述消息队列、Storm集群和Redis数据库之间数据是依次传递的，所述SqlServer数据库是单独进行存储和传递的，并且与消息队列、Storm集群和Redis数据库是并列关系。

7.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间生产数据采集层和车间检测数据采集层根据车间生产现场不同的数据来源，分别采取自动识别技术、传感器技术、PLC通信技术手段对车间生产现场数据进行采集。