[发明专利]一种数据实时汇聚方法及系统

说明书

本发明实施例提供一种数据实时汇聚方法及系统，接收上级汇聚节点发送的汇聚策略，将当前时刻对应的待汇聚数据作为目标数据，若目标数据存在实时性要求且汇聚策略中的去冗余标识为去冗余时，则根据时间最短原则确定目标数据对应的数据压缩算法和去冗余算法，并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩，将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点以使得上级汇聚节点对压缩后的目标数据进行解压缩。该方法及系统中当前汇聚节点能够在规定的时延内将待汇聚数据传输至上级汇聚节点，能够满足待汇聚数据的实时性要求，有利于提升整个汇聚系统的汇聚能力。

技术领域

本发明实施例涉及通信技术领域，更具体地，涉及一种数据实时汇聚方法及系统。

背景技术

数据汇聚是通过汇聚节点将数据源的数据向上汇聚至数据汇聚中心的过程。现有数据汇聚方式中，各汇聚节点在汇聚数据时，均采用统一的方式将数据源的数据无差异地传输至数据汇聚中心(如，数据传输前要么对所有传输的数据进行压缩，要么对所有传输的数据都不压缩)，这种方式未考虑待传输数据的特征，不能有效保障数据的传输实时性需求，不适用于计算资源、网络资源和存储资源受限的场景。然而，在一些特定网络中，对数据的实时性存在较高要求，若采用统一的方式将数据源的数据通过汇聚节点无差异地传输至数据汇聚中心，则可能不能在预设的时延内将数据传输至数据汇聚中心，即无法满足实时性的要求；另外，在一些特定网络中，计算资源和/或网络资源和/或存储资源受限，若采用统一的方式将数据源的数据通过汇聚节点，并无差异地传输至数据汇聚中心，很可能由于资源不足导致汇聚失败。

综上可知，现有的数据汇聚方式不能有效保障数据的传输实时性需求，也无法适用于数据汇聚所需要的计算资源和/或网络资源和/或存储资源受限的场景。

发明内容

本发明实施例为了克服现有的数据汇聚方式无法适用于对数据的实时性存在较高要求的场景，也无法适用于数据汇聚所需要的计算资源和/或网络资源和/或存储资源受限的场景的问题，提供一种数据实时汇聚方法及系统。

第一方面，本发明实施例提供一种数据实时汇聚方法，包括：

接收上级汇聚节点发送的汇聚策略，汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法；

从数据发送缓冲队列中获取当前时刻对应的待汇聚数据，作为目标数据，若目标数据存在实时性要求且预设去冗余标识为去冗余时，则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法；

若当前时刻满足预先确定的汇聚时机，则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩，将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点，以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩

第二方面，本发明实施例提供一种数据实时汇聚系统，包括：

汇聚策略接收模块，用于接收上级汇聚节点发送的汇聚策略，汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法；

汇聚参数确定模块，用于从数据发送缓冲队列中获取当前时刻对应的待汇聚数据，作为目标数据，若目标数据存在实时性要求且预设去冗余标识为去冗余时，则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法；

数据汇聚模块，用于若当前时刻满足预先确定的汇聚时机，则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩，将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点，以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。