[发明专利]一种大数据实时处理与存储系统及其处理方法

摘要

本发明涉及一种大数据实时处理与存储系统及其处理方法，该系统的中心控制模块实现了数据调度、线程控制和进程控制，可以协调各模块之间处理流程，从而实现了试验数据的快速、可靠处理和存储，有效缩短测试时间，提高测试效率；而且本发明采用实时数据库和关系数据库联合工作，实现高速和大容量数据存储；在本发明中，数据发布模块根据设定的通信协议将数据处理结果进行打包和网络发布，使得各网点可以通过监测平台显示相应的数据结果，实现各网点对数据处理结果的实时监测；因此，该系统及其方法可以有效提高数据的利用率、提升型号的测试效，解决瞬时大数据处理与存储的技术难题。

主权项

1.一种大数据实时处理与存储系统，其特征在于：包括数据提供模块、中心控制模块、遥测帧解析模块、变帧判断模块、起飞判断模块、数据处理模块和数据库，其中：数据提供模块：接收外部网络组播的遥测原码数据帧，然后将所述原码数据帧存入循环缓存区内，并将所述循环缓存区内的数据帧发送给中心控制模块；中心控制模块：接收数据提供模块发送的数据帧，并将所述数据帧发送给遥测帧解析模块；接收遥测帧解析模块发送的数据帧判断结果，如果判断结果显示数据帧正确，则发送所述数据帧到变帧判断模块；接收变帧判断模块发送的错误提示或帧结构标示，如果接收到变帧判断模块发送的帧结构标示，则发送所述数据帧和帧结构标示到起飞判断模块；在接收到起飞判断模块发送的起飞时刻值后，发送所述数据帧和起飞时刻值到数据处理模块；遥测帧解析模块：接收中心控制模块发送的数据帧，将所述数据帧的大小和帧同步码与设定的帧大小值和设定的帧同步码进行比较，即判断所述数据帧的正确性，并通过所述数据帧的计数值判断数据帧的连续性，然后发送判断结果到中心控制模块；如果所述判断结果为数据帧不正确或不连续，则将所述判断结果记录在系统日志文件中；变帧判断模块：接收中心控制模块发送的数据帧，对所述数据帧的帧结构标示进行判断，如果所述数据帧的帧结构标示不在设定的帧结构标示取值范围内，则发送错误提示到中心控制模块，并将所述错误记录在系统日志文件中；如果所述数据帧的帧结构标示正确，则根据数据帧大小和帧结构标示确定对所述数据帧进行处理时采用的帧结构，并发送所述帧结构标示到中心控制模块；起飞判断模块：接收中心控制模块发送的数据帧和帧结构标示，按照所述帧结构标示对应的帧结构对数据帧进行解析，然后在解析结果中查找记录在数据帧中的起飞时刻值，并将起飞时刻值发送给中心控制模块；数据处理模块：接收中心控制模块发送的数据帧和起飞时刻值，然后按照数据帧的数据类型进行处理，提取出所述数据帧中的源码，并将所述源码与设定的系统参数进行对应，采用所述系统参数对应的处理计算公式对源码进行处理，得到所述系统参数的物理量值；将所述系统参数、处理计算公式和处理结果发送到数据库进行保存；数据库：接收数据处理模块发送的处理结果并保存；所述的一种大数据实时处理与存储系统的数据处理方法，包括如下步骤：(1)、数据提供模块接收外部网络组播的遥测原码数据帧，然后将所述原码数据帧存入循环缓存区内，并将所述循环缓存区内的数据帧发送给中心控制模块；(2)、中心控制模块将接收到的数据帧发送给遥测帧解析模块；遥测帧解析模块将所述数据帧的大小和帧同步码与设定的帧大小值和设定的帧同步码进行比较，即判断所述数据帧的正确性，并通过所述数据帧的计数值判断数据帧的连续性，然后发送判断结果到中心控制模块；如果所述判断结果为数据帧不正确或不连续，则将所述判断结果记录在系统日志文件中；(3)、中心控制模块接收遥测帧解析模块发送的判断结果；如果所述判断结果为数据帧不正确或不连续，则进入步骤(8)；如果所述判断结果为数据帧正确且连续，则进入步骤(4)；(4)、中心控制模块发送数据帧到变帧判断模块，变帧判断模块对所述数据帧的帧结构标示进行判断，如果所述数据帧的帧结构标示不在设定的帧结构标示取值范围内，则发送错误提示到中心控制模块，并将所述错误记录在系统日志文件中；如果所述数据帧的帧结构标示正确，则根据数据帧大小和帧结构标示确定对所述数据帧进行处理时采用的帧结构，并发送所述帧结构标示到中心控制模块；(5)、中心控制模块接收变帧判断模块发送的错误提示或帧结构标示；如果接收内容为错误提示，则进入步骤(8)；如果接收内容为帧结构标示，则进入步骤(6)；(6)、中心控制模块发送数据帧和帧结构标示到起飞判断模块，起飞判断模块按照所述帧结构标示对应的帧结构对数据帧进行解析，并在解析结果中查找记录在数据帧中的起飞时刻值，并将起飞时刻值和数据帧发送给数据处理模块；(7)、数据处理模块按照数据帧的数据类型进行处理，提取出所述数据帧中的源码，并将所述源码与设定的系统参数进行对应，采用所述系统参数对应的处理计算公式对源码进行处理，得到所述系统参数的物理量值；将所述系统参数、处理计算公式和处理结果发送到数据库进行保存；(8)、结束。