[发明专利]用于工业互联网和智能制造的数据处理方法及大数据平台

权利要求书

1.一种用于工业互联网和智能制造的数据处理方法，其特征在于，所述方法包括：

根据基于每个工业设备的协议层标识与每个工业设备预先建立的api接口，周期性地从每个工业设备中采集待处理工业数据；

其中：

不同工业设备的协议层标识不同，api接口用于传输对应的工业数据，待处理工业数据中包括有效工业数据和冗余工业数据；

基于获取到的预先建立的业务处理线程在上一时段的处理记录确定与所述待处理工业数据对应的线程配置参数，并基于所述线程配置参数对所述业务处理线程进行更新；

其中：

不同时段根据采集工业设备中的工业数据的周期性设定参数确定；

运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据；

在将所述有效工业数据上传至云端时并行地提取所述冗余工业数据的冗余特征，并对所述冗余特征进行识别得到冗余标签；

将所述冗余标签进行存储并删除所述冗余工业数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在对下一时段的待处理工业数据进行筛分时，采用所存储的冗余标签对业务处理线程进行更新。

3.如权利要求2所述的方法，其特征在于，采用所存储的冗余标签对业务处理线程进行更新，包括：

根据所述冗余标签对应的标签编码序列在所述业务处理线程中的映射编码序列，提取所述业务处理线程的线程配置清单以及业务互动轨迹曲线；分别构建所述线程配置清单对应的线程配置列表以及所述业务互动轨迹曲线对应的互动轨迹列表；

确定所述线程配置列表的第一列表特征数组以及所述互动轨迹列表对应的第二列表特征数组，确定所述第一列表特征数组与所述第二列表特征数组之间的逐位比较结果集，确定所述逐位比较结果集中用于表征所述第一列表特征数组和所述第二列表特征数组在相同数组位上的数值为相同的目标比较结果的数量在所述逐位比较结果集中的占比；

基于所述占比确定所述业务处理线程对应的参数更新列表并从所述参数更新列表中抽取存在列表分隔标识的多个列表单元，计算每两个列表单元之间的列表距离；对列表距离大于设定距离的列表单元进行标记，并确定标记次数最大的列表单元为目标列表单元；

将所述目标列表单元对应的列表描述数据列出，并生成与所述列表描述数据对应的描述轨迹曲线；计算所述描述轨迹曲线与所述业务互动轨迹曲线的曲线特征相似度，并根据所述曲线特征相似度确定所述描述轨迹曲线与所述业务互动轨迹曲线之间的目标曲线交点对应的待更新数据；将所述冗余标签以目标格式添加到所述待更新数据中以实现对业务处理线程的更新。

4.如权利要求1-3任一项所述的方法，其特征在于，运行更新后的业务处理线程以对所述待处理工业数据进行分类得到有效工业数据和冗余工业数据，包括：

运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度；

根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集；其中，所述第一筛分集用于表征所述有效工业数据，所述第二筛分集用于表征所述冗余工业数据；

计算所述第一筛分集与所述第二筛分集的重叠率；在所述重叠率大于设定比率时基于确定出的所述第一筛分集的第一数据分布矩阵以及所述第二筛分集的第二数据分布矩阵对所述待处理工业数据的筛分维度进行增加，以得到第二数量个筛分维度；基于所述第二数量个筛分维度执行与根据所述第一数量个筛分维度对所述待处理工业数据进行筛分得到第一筛分集以及第二筛分集类似的步骤，直至计算得到的重叠率小于等于所述设定比率；将计算得到的重叠率小于等于所述设定比率时对应的第一目标筛分集确定为有效工业数据，将计算得到的重叠率小于等于所述设定比率时对应的第二目标筛分集确定为冗余工业数据。

5.如权利要求4所述的方法，其特征在于，运行更新后的业务处理线程以确定所述待处理工业数据的第一数量个筛分维度，包括：

通过更新后的业务处理线程提取所述待处理工业数据的数据字段序列；

从所述数据字段序列中确定出多个序列分段标识；

根据所述序列分段标识对应的标识指向确定所述待处理工业数据的第一数量个筛分维度。