[发明专利]模拟工业高频数据的批处理方法、系统、设备及存储介质

说明书

本发明公开了模拟工业高频数据的批处理方法、系统、设备及存储介质，获取预先对多个标签点进行排序，将标签点用于写入数据内存并进行标签排序数值形成集合；将输入的数据与集合内的标签点进行对应，将输入的数据并列为一个集合；对所输入的数据进行计时，统计时间间隔，计算得出此类数据针对的特定标签点数据传输的速率值，进而计算出数据输入的速率平均值；通过计算得出的速率平均值，针对指定的标签值以及所需输入的数据，计算出所花的时间。对不同标签点的数值速率进行统计，计算出写入速率，从而后期针对于输入的数据，用于计算出时间，供外部操作人员进行参考。

技术领域

本发明属于数据处理技术领域，具体是模拟工业高频数据的批处理方法、系统、设备及存储介质。

背景技术

工业大数据是指由工业设备高速产生的大量数据，对应不同时间下的设备状态，是物联网中的讯息。

专利公开号为CN112966020A的发明专利公开了一种工业高频大数据实时处理系统及方法，系统包含历史表构建模块、缓冲表构建模块、历史数据处理模块、实时数据处理模块、数据查询统计模块；历史表构建处理模块用于构建、存储历史表；缓冲表构建处理模块用于构建、存储缓冲表；历史数据处理模块用于消费来自传感器写入Kafka的数据，并写入历史表中；实时数据处理模块用于实时消费来自传感器实时写入Kafka的数据，并写入缓冲表中；数据查询统计模块用于对历史表进行查询、统计、分析，还用于对缓冲表进行查询、分析；方法包含步骤1-步骤3；能够彻底解决工业高频海量实时数据的实时写入与实时查询分析的需求，单台服务器就解决了整条产线的问题。

现有的处理系统未针对写入数据进行一个很好的调整，导致大量数据写入至系统内部时，操作人员并不清楚该类写入数据所耗费的时间，造成操作人员长时间等待，严重浪费个人时间。

发明内容

为了解决上述方案存在的问题，本发明提供了模拟工业高频数据的批处理方法、系统、设备及存储介质。解决了大量数据写入至系统内部时，操作人员并不清楚该类写入数据所耗费的时间，造成操作人员长时间等待，严重浪费个人时间的问题，为达到上述目的，本发明采用了以下技术方案：

一种模拟工业高频数据的批处理方法，其特征在于，包括:

获取预先对多个标签点进行排序，将标签点用于写入数据内存并进行标签排序数值形成集合；

将输入的数据与集合内的标签点进行对应，将输入的数据并列为一个集合；

对所输入的数据进行计时，统计时间间隔，计算得出此类数据针对的特定标签点数据传输的速率值，进而计算出数据输入的速率平均值；

通过计算得出的速率平均值，针对指定的标签值以及所需输入的数据，计算出所花的时间。

作为本发明的进一步改进，所述获取预先对多个标签点进行排序具体为：

对多个标签点进行依次排序，并对标签点数量进行统计，将统计后的数量进行依次排序。

作为本发明的进一步改进，所述计算得出此类数据针对的特定标签点数据传输的速率值，具体方法为：

式中，Sxi为速率值，Sx为输入的数据，Bi为标签点用于写入数据内存的数值，i代表不同的标签排序数值，x＞1，C1和C2为特定系数因子。

作为本发明的进一步改进，还包括：

预先设定阈值区间，根据写入时间与设定阈值的比较结果进行警示外部操作人员。

一种模拟工业高频数据的批处理系统，包括:

第一集合形成单元，用于获取预先对多个标签点进行排序，将标签点用于写入数据内存并进行标签排序数值形成集合；