[发明专利]面向工业大数据的数据处理方法及系统

说明书

本发明公开了一种面向工业大数据的数据处理方法及系统，其中方法包括：与工业设备通信连接的蓝牙网关将采集到的工业设备数据传输给前端数据过滤应用；所述前端数据过滤应用对所述工业设备数据进行数据过滤、筛选，并将经过滤筛选后的所述工业设备数据传输给后端服务器作进一步的数据分析和数据可视化处理。本发明通过前端数据过滤应用在服务器前端对工业设备数据作了数据过滤、筛选，大幅减少了工业设备数据的数据量，可明显提升后端服务器对工业设备数据的数据分析处理速度。

技术领域

本发明涉及数据处理技术领域，具体涉及一种面向工业大数据的数据处理方法及系统。

背景技术

目前，对工业设备运行产生的数据进行数据分析处理的方法通常是，将工业设备数据传输给服务器，服务器根据预设的运算逻辑进行数据分析、数据可视化处理等。但当工业设备数据的数据量较为庞大时，服务器对数据进行分析处理的耗时延长，无法及时对工业设备数据进行分析、处理，难以确保数据分析处理的实时性，并且数据处理更加容易出错，影响数据处理分析的准确性。

发明内容

本发明的目的在于提供一种面向工业大数据的数据处理方法，在服务器前端对工业设备数据进行过滤、筛选，以减少服务器的数据处理量，确保数据分析处理的及时性和准确性。

为达此目的，本发明采用以下技术方案：

提供一种面向工业大数据的数据处理方法，包括：

与工业设备通信连接的蓝牙网关将采集到的工业设备数据传输给前端数据过滤应用；

所述前端数据过滤应用对所述工业设备数据进行数据过滤、筛选，并将经过滤筛选后的所述工业设备数据传输给后端服务器作进一步的数据分析和数据可视化处理。

作为本发明的一种优选方案，所述蓝牙网关通过Topic通信机制将采集到的所述工业设备数据传输给所述前端数据过滤应用。

作为本发明的一种优选方案，所述前端数据过滤应用过滤所述工业设备数据的方法包括如下步骤：

步骤M1，将不包含产量数据的所述工业设备数据直接进行过滤；

步骤M2，将经数据过滤保留的所述工业设备数据的数据格式统一转换为key-value式的map结构数据，所述map结构数据以工业设备的MAC地址为唯一key，以关联所述工业设备的所述产量数据为value；

步骤M3，根据预设的数据筛选方法，对所述map结构数据进行数据筛选；

步骤M4，对筛选保留的所述map结构数据进行降维处理，以将各所述map结构数据统一转换为同一种类型的数据数组格式；

步骤M5，通过卡尔曼滤波算法对将步骤M4生成的数据数组进行进一步的数据过滤、筛选，并将处理后的多维数据进行降维抛出；

步骤M6，对降维抛出的数据进行打包压缩后传输给所述后端服务器。

作为本发明的一种优选方案，所述步骤M3中，预设的所述数据筛选方法为：

当在指定时间段内，相同的所述MAC地址在所述map结构数据中出现的次数小于或等于2次，则过滤掉所述指定时间段内从关联所述MAC地址的所述工业设备处采集的所述工业设备数据。

作为本发明的一种优选方案，步骤M3中，预设的所述数据筛选方法为：

根据所述蓝牙网关蓝牙连接所述工业设备的信号强弱，估算所述蓝牙网关与所述工业设备间的距离，并当两者间的估算距离大于一距离阈值时，则过滤掉从所述工业设备处采集的所述工业设备数据。

作为本发明的一种优选方案，步骤M3中，预设的所述数据筛选方法包括：