[发明专利]一种可配置的自动化解析方法和装置

说明书

本发明公开了一种可配置的自动化解析方法和装置，包括：将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。该方法和装置能够满足各类数据源的快速接入和处理，具有普适性。

技术领域

本发明属于数据解析领域，具体涉及一种可配置的自动化解析方法和装置。

背景技术

针对医疗行业等数据集成平台，需要接收并解析来自各医疗机构提供的医疗相关数据，但是医疗机构通常以DB接口以及WebService接口和HTTP接口方式提供医疗相关数据。这样数据集成平台面临一个问题，即各类接口返回各种类型数据，需要采用多种多样的解析方式。针对数据集成平台，可以定制化开发解析方式来适配一种类型的医疗机构数据接口。当医疗机构提供的数据接口类型多时，定制化的开发解析方式显然并不适用，因此，亟需一种可同时满足各种数据借楼类型的数据解析方式。

现有技术中，针对不同业务场景的数据解析任务，通过对计算引擎进行不同代码开发以构建解析算法，如果针对一些简单、且重复性较高的业务场景，相同模块需要重新开发，造成人力资源和时间成本的浪费。

针对解析算法的开发，现有市场没有快捷方便的成熟可靠技术方案，都是依靠人工书写，面临这繁琐，通用性差，工作量大以及效率低的问题。

专利文献CN109240998A公开了一种可配置的文件解析方法，包括：接收原文件，确定所述原文件的文件类型信息；根据所述文件类型信息对应的文件解析规则获取所述原文件包含的原始数据；根据所述文件类型信息对应的数据运算规则对所述原始数据进行计算，得到更新数据；通过预设的文件输出规则、所述原始数据和所述更新数据生成新文件。该方法是利用预定义的文件解析规则进行文件解析的，并不具有通用性和灵活性。

专利文献CN109788346A公开了一种视频文件配置解析方法，利用视频文件配置解析系统来解析视频文件，其中，视频文件配置解析系统包括：现场显示设备，用于在接收到所述儿童剧识别信号时，显示与所述儿童剧识别信号对应的红色文字；视频存储设备，用于预先存储视频文件数据库，所述视频文件数据库保存了各个视频文件夹，每一个视频文件夹内放置有包括视频内容的单个目标文件以及与所述目标文件对应的配置文件。该方法是利用与单个目标文件对应的配置文件来实现解析，同样并不具有通用性和灵活性。

发明内容

鉴于上述，本发明的目的是提供一种可配置的自动化解析方法和装置，通过自定义配置生成适配各种数据接口的数据解析命令并执行，降低生成数据解析命令的工作量，提高生成数据解析命令的效率高。

为实现上述发明目的，本发明一个实施例提供了一种可配置的自动化解析方法，包括：

将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；

提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；

根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；

以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。

在一个实施例中，在进行数据的自动化解析时，通过Akka Actor消息作为节点的配置参数的加载驱动，依次加载读取节点、解析节点以及写入节点的配置参数，实现数据的自动化解析。