[发明专利]管理边缘-核心分布式分析系统的数据流的方法

说明书

本发明提供了一种管理边缘‑核心分布式分析系统的数据流的方法。本发明的目的在于改进从传感器到云端、数据湖或其他系统的数据流管理的灵活性，其能够管理系统内的全部数据流并且动态地控制它们。因此，它能够适当地减少传输费用和存储费用。

技术领域

本公开总体上涉及物联网(IoT)，更具体地涉及边缘-核心分布式分析系统的数据流的管理。

背景技术

在现有技术的物联网系统中，这样的系统基本上至少提供数据收集功能和数据存储功能。对于物联网系统，由于费用效益是推动物联网系统的关键之一，因此需要减少包括网络费用和存储费用的数据管理费用。

现有技术实施方式针对数据收集和存储系统，尤其是数据传输和数据摄取。在现有技术实施方式中，消息总线用于对模块进行解耦，并且系统在边缘和云端都配备这样的消息总线。一些消息总线本身提供集聚(clustering)或联合功能用于消息总线之间的数据传输。集聚功能连接几个消息总线并作为一个大的消息总线发挥作用。

在此情况下，基于需要来执行消息总线之间的消息交换。如果边缘与核心之间的传输量和费用不是问题，则消息交换能够促进有用的功能。联合功能连接几个消息总线并且只交换具有如预先设置的特定话题或关键字的特定消息，这让联合功能成为用于部分连接消息总线的有用功能。然而，当操作者想要交换数据流时，操作者必须手动地改变针对话题或关键字的配置。

现有技术实施方式使用诸如logstash和fluentd的数据摄取软件。每个软件能够将消息总线和数据湖(datalake)连接起来，从消息总线检索数据并且将数据存储在数据湖中，这样的实施方式具有选择要存储的消息同时允许在配置文件中选择将要订阅的话题或关键字的能力。然而，这样的实施方式在值上是静态的；当操作者想要改变到达数据湖的数据流时，操作者将必须手动地改变配置。

物联网系统趋向于发展成为被期望持续扩展的敏捷发展类型。因此，数据的重要性可能在每个发展阶段发生变化。例如，初始阶段，原始感测数据可能对于研究有效特征值而言是重要的。但是，在较成熟的阶段(例如，在部署分析模块之后)，分析结果可能变得更重要，原始数据可能变得不再必需。

在现有技术实施方式中，消息总线之间和/或消息总线与数据湖之间的连接的配置基本上是静态的。将要传输和存储的数据量持续增多，这导致存储和网络费用的负担过重。

发明内容

示例实施方式在此针对减少物联网系统的存储和流量的成本和消耗，尤其针对从边缘站点到云端站点的数据传输和到数据湖的数据摄取。

本公开的各方面能够涉及一种用于包括连接到核心服务器的多个边缘节点的系统的方法，该多个边缘节点对于在多个边缘节点上接收到的数据执行多个分析处理，该方法包括，为了接收多个分析处理的变更或增加，提供第一接口，该第一接口用于定义与多个分析处理的变更或增加对应的分析处理所使用的数据信道；提供第二接口，该第二接口用于定义与多个分析处理的变更或增加对应的数据路由；将基于从所述第一接口接收到的第一修改的数据信道的变更传播到与多个分析处理的变更或增加对应的边缘节点；以及基于从第二接口接收到的第二修改来更新数据信道的订阅。

本公开的各方面包括一种非瞬态计算机可读介质，存储用于包括连接到核心服务器的多个边缘节点的系统的指令，该多个边缘节点对于在多个边缘节点上接收到的数据执行多个分析处理，这些指令被配置为由一个或多个硬件处理器执行，这些指令包括，为了接收所述多个分析处理的变更或增加：提供第一接口，第一接口用于定义与多个分析处理的变更或增加对应的分析处理所使用的数据信道；提供第二接口，该第二接口用于定义与多个分析处理的变更或增加对应的数据路由；将基于从第一接口接收到的第一修改的数据信道的变更传播到与多个分析处理的变更或增加对应的边缘节点；以及基于从第二接口接收到的第二修改来更新数据信道的订阅。