[发明专利]一种时间精确的数据源流式控制器实现方法、系统及设备

说明书

本发明提出了一种时间精确的数据源流式控制器实现方法、系统及设备，涉及数据流控制领域。包括将接收的下行数据进行数据源的分类和筛选后，基于得到的数据帧对数据源进行分配独立的内存区域进行存储；从内存中依次读取并解析数据帧，执行对应的控制指令与后端数据计算系统进行交互，并为后端数据计算系统下发相应的数据；后端数据计算系统针对控制指令及下行数据进行相应的计算操作，生成对应的时序状态信息，并基于时序状态信息得到对应的反馈数据信息；基于时序状态信息及反馈数据信息经过轮询仲裁处理后得到对应上行数据并发送至前端数据预处理系统。通过优化处理流程，能始终满足后端数据处理系统数据完整性、实时性和精确时序控制需求。

技术领域

本发明涉及数据流控制领域，具体而言，涉及一种时间精确的数据源流式控制器实现方法、系统及设备。

背景技术

数据源流式控制器主要应用于实时数据处理的系统，在处理大流量高速率的数据源时，往往需要系统兼顾大内存、高频率和高带宽，以响应和配合后端数据处理系统。

然而，在现有技术中，在有限内存空间和数据带宽下，在发生处理前后端数据速率不对等情况时，则会存在无法满足后端数据处理系统数据完整性和实时性的等要求的问题。

其次，在现有技术中，前端数据预处理系统不能满足后端数据计算系统的数据有时间精确的需求，则会存在无法满足后端数据处理系统的时序控制需求。

发明内容

本发明的目的在于提供一种时间精确的数据源流式控制器实现方法、系统及设备，其能够在有限内存空间和数据带宽下，用以解决前后端系统数据处理速率不对等、时间精确时序控制需求的问题，以及满足后端数据处理系统数据完整性和实时性的要求。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种时间精确的数据源流式控制器实现方法，包括以下步骤：

从前端数据预处理系统接收下行数据并按预置分类筛选机制进行数据源的分类和筛选，得到对应的数据帧，其中，数据帧定义为数据位与控制位的组合，用以区分不同的数据源和执行相应的交互操作；基于数据帧为每一种数据源分配独立的内存区域进行存储，每次接收或下发的为一个不定深度的数组，数组的起始或结束以数据帧的控制位界定；从内存中依次读取并解析数据帧，执行对应的控制指令与后端数据计算系统进行交互，并为后端数据计算系统下发相应的数据；后端数据计算系统针对控制指令及下行数据进行相应的计算操作，并生成对应的时序状态信息，并基于时序状态信息得到对应的反馈数据信息；基于时序状态信息及反馈数据信息经过轮询仲裁处理后得到对应上行数据并发送至前端数据预处理系统。

在本发明的一些实施例中，还包括：当后端数据计算系统处理数据帧率小于前端数据预处理系统发送数据帧率时，控制器对前端数据预处理系统发来的数据源进行降帧处理，并将基于处理结果得到的对应信息反馈至前端数据预处理系统。

在本发明的一些实施例中，上述基于数据帧为每一种数据源分配独立的内存区域进行存储时采用乒乓结构缓冲存储。

在本发明的一些实施例中，上述基于数据帧为每一种数据源分配独立的内存区域进行存储时包括：基于检测数据的控制位对数组的起始或结束进行界定，并在数据源出现拥堵或丢失异常时对错误数据进行丢弃和/或覆写，保障写入内存的数组数据完整性，并将对应的错误信息以对应的控制位反馈至前端数据预处理系统。

在本发明的一些实施例中，上述从内存中依次读取并解析数据帧时包括：从内存中依次读出对应数据帧并判定其控制位，若控制位指示上述数据帧为前端预处理的数据，则直接下发至后端数据计算系统；若控制位指示为与后端的控制交互，则等待后端数据计算系统执行完毕后再读取下一数据帧。

在本发明的一些实施例中，上述数据帧的数据位和控制位共用内存区域和通信总线。

第二方面，本申请实施例提供一种时间精确的数据源流式控制器实现系统，其包括：