[发明专利]用于工业互联网和智能制造的数据处理方法及大数据平台

说明书

本说明书公开的用于工业互联网和智能制造的数据处理方法及大数据平台，首先周期性地从每个工业设备中采集待处理工业数据，其次基于获取到的处理记录确定与待处理工业数据对应的线程配置参数并对业务处理线程进行更新，然后运行更新后的业务处理线程以对待处理工业数据进行分类得到有效工业数据和冗余工业数据，在将有效工业数据上传至云端时并行地提取冗余工业数据的冗余特征以识别得到冗余标签，最后将冗余标签进行存储并删除冗余工业数据。如此，将进行冗余数据筛选和剔除的大数据平台部署在云端之前，这样能够确保进入云端的数据是有用的工业数据，进而在确保工业控制系统的安全可靠运行的前提下降低云端负载并提高工业控制的时间精度。

技术领域

本申请涉及工业互联网的数据处理技术领域，尤其涉及用于工业互联网和智能制造的数据处理方法及大数据平台。

背景技术

随着科技的发展，制造业在发展过程中逐渐由满足产品和服务功能的阶段转向个性化定制的阶段，生产模式也由单一的管道型转变为生态型。在这种大环境下，工业制造与工业互联网的联系越来越紧密，工业制造正朝着数字化、网络化、自动化和智能化方向发展。

然而，随着工业制造规模的不断扩大，一些问题也逐渐暴露出来。例如，在规模较大的工业制造体系中，常常出现云端负载过高且工业控制的时间精度差的技术问题。

发明内容

本说明书提供了一种用于工业互联网和智能制造的数据处理方法及大数据平台，以解决或者部分解决现有技术存在的技术问题。

本说明书公开了一种用于工业互联网和智能制造的数据处理方法，所述方法包括：

根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；

基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；

运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；

在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；

将所述冗余标签进行存储并删除所述冗余工业数据。

可替换地，所述方法还包括：

在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。

可替换地，采用所存储的冗余标签对业务处理线程进行更新，包括：

根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；

确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；

基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；

将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。

可替换地，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：