[发明专利]一种可视化数据处理解析系统及其处理方法

说明书

本发明公开了一种可视化数据处理解析系统，包括：数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。本发明能解析处理多种类型的数据，并且可以对数据解析协议库进行管理，扩充新的数据解析协议。该方法处理前支持对原始数据的备份存储，并且按照日期、数据类型分类；对于已经解析导入的数据记录日志，防止数据重复导入；在数据处理过程中可以进行奇异值过滤、数据筛选，并且会进行异常值提醒。

技术领域

本发明属于数据处理技术领域，具体涉及一种可视化数据处理解析系统及其处理方法。

背景技术

目前装备数据的种类越来越多，除了常规的表格数据以外，各类装备总线数据、音视频数据、气象环境数据、电磁频谱数据、指挥控制数据等都是单独进行测试采集和处理，都是基于多台采集设备采集和记录数据，这就造成了不同采集设备采集的数据在时间上会有一些差异（也使得各设备采集采样时刻不一致），但根据一些试验鉴定科目的要求，必须要把同一科目的来自不同采集器的相关参数放在一起分析才能对装备的性能、效能、适应性作出准确的判断，也就是要在统一的时间基准上对相关参数进行分析。

为此，我们提出一种可视化数据处理解析系统及其处理方法，以解决上述背景技术中提到的问题。

发明内容

本发明的目的在于提供一种可视化数据处理解析系统及其处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种可视化数据处理解析系统，包括：

数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；

所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。

优选的，所述模型执行引擎模块包括有数据抽取模块、数据过滤模块、数据转换模块、数据加载模块。

优选的，所述数据抽取模块、数据过滤模块、数据转换模块、数据加载模块，其分别用于数据抽取、数据过滤、数据转换和数据加载，其中数据抽取添加数据处理流程的节点，必须包含输入节点和输出节点、数据过滤为过滤出不符合要求的数据，数据转换可以对不同类型的数据进行转换。

优选的，所述数据访问模块用于对数据进行访问。

本发明还提供了一种可视化数据处理解析系统的处理方法，具体包括以下步骤：

S1、添加数据处理流程的节点，必须包含输入节点和输出节点，可以选择的节点类型还包括转换节点和过滤节点，过滤节点可以根据相关配置在数据处理过程中过滤出不符合要求的数据，转换节点可以对不同类型的数据进行转换，比如对数值或者时间进行增加减少，每种类型在数据处理流程中都已存在多个；

S2、创建数据处理流程，通过可视化的方式使用有向线段连接两个节点来创建数据处理流程，需要把输入节点放置在数据处理流程的最开始位置，把数据输出放置在流程结束的位置；

S3、对节点进行配置，不同的节点需要的配置不同，比如输入节点需要配置输入源信息，输出节点需要配置输出位置的消息，过滤节点需要配置过滤条件，转换节点需要配置转换的具体操作；

S4、直接开始运行整个输出处理流程，对数据进行处理，数据协议需要是满足条件的动态链接库文件，在添加数据解析协议的时候，需要设置数据解析协议文件并且输入协议的名称。