[发明专利]一种基于窗口函数的实时工业数据切分方法在审

专利信息
申请号: 202210020322.7 申请日: 2022-01-10
公开(公告)号: CN114385701A 公开(公告)日: 2022-04-22
发明(设计)人: 李文义;谢海红 申请(专利权)人: 徐工汉云技术股份有限公司
主分类号: G06F16/2457 分类号: G06F16/2457;G06F16/2458
代理公司: 南京纵横知识产权代理有限公司 32224 代理人: 母秋松
地址: 221001 江苏省*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 窗口 函数 实时 工业 数据 切分 方法
【说明书】:

发明公开了一种基于窗口函数的实时工业数据切分方法,用户根据自身具体业务场景确定是否对采集的实时流数据按照key分组策略进行分组过滤;当确定对采集的实时流数据不按照key分组策略进行分组过滤时,选择Window All窗口算子对实时流数据进行数据预处理,预处理后的实时数据流传递给下游窗口算子进行切分处理;当确定对采集的实时流数据按照key分组策略进行分组过滤时,进而选择Keyed Window窗口算子对实时流数据按照key分组策略进行分组,分组后的实时数据流由窗口适配器分发给下游窗口算子进行数据切分处理。本发明能够根据不同行业不同设备不同参数数据动态适配窗口函数,调整切分策略,实现可扩展、可动态适配窗口函数的实时数据切分与处理。

技术领域

本发明涉及一种基于窗口函数的实时工业数据切分方法,属于物联网大数据技术领域。

背景技术

物联网是在PC互联网和移动互联网基础上的扩展和延伸,各种物体通过传感技术实时采集海量数据信息,并通过大数据技术进行数据汇聚,随着越来越多的设备连接网络,汇聚到网络上的数据也越来越多,且分布在不同的数据源头节点,不同数据节点、不同系统根据不同任务进行计算与分析部署。

如何从海量的实时工业数据中按业务场景的要求获得用户所需的工业数据,并进行计算分析,是本领域技术员急需要解决的技术问题。

发明内容

目的:为了克服现有技术中存在的不足,本发明提供一种基于窗口函数的实时工业数据切分方法,为了了方便工业数据分析与挖掘,形成业务决策反馈给用户,从而为用户挖掘价值。

技术方案:为解决上述技术问题,本发明采用的技术方案为:

一种基于窗口函数的实时工业数据切分方法,包括如下步骤:

步骤1:用户根据自身具体业务场景确定是否对采集的实时流数据按照key分组策略进行分组过滤。

步骤2:当确定对采集的实时流数据不按照key分组策略进行分组过滤时,选择Window All窗口算子对实时流数据进行数据预处理,预处理后的实时数据流传递给下游窗口算子进行切分处理。

步骤3:当确定对采集的实时流数据按照key分组策略进行分组过滤时,进而选择Keyed Window窗口算子对实时流数据按照key分组策略进行分组,分组后的实时数据流由窗口适配器分发给下游窗口算子进行数据切分处理。

作为优选方案,所述实时流数据通过接入网关对工业现场终端设备进行采集,并通过消息队列的发布订阅机制进行数据传送。

作为优选方案,所述步骤2具体步骤如下:

将对实时流数据进行预处理,预处理完成后,将所有预处理后的数据发送给下游的单个实例窗口函数,当满足窗口触发条件后,对窗口内的数据使用窗口处理函数进行数据计算处理,输出窗口的结果值。

作为优选方案,所述预处理方法,包括:将实时流数据字段值进行补全,并按照时间排序。

作为优选方案,步骤3具体步骤如下:

按业务场景构建元数据模型,对元数据模型语义描述,获得元数据模型标签。

根据用户数据需求,定制分组关键字key。

解析实时流数据中标签,进行分别对key和实时流数据的标签进行hash,将hash值一致的实时流数据分为一组。

通过窗口适配器把分组后的实时流数据的元素分配到对应的窗口,当满足窗口触发条件后,对窗口内的数据使用窗口处理函数进行数据计算处理,输出窗口的结果值。

作为优选方案,所述窗口处理函数至少包括Window Function、Reduce Function、Fold Function其中之一。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于徐工汉云技术股份有限公司,未经徐工汉云技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210020322.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top