[发明专利]基于分层架构的数据接入方法、装置、设备、介质、产品

说明书

本发明提供了一种基于分层架构的数据接入方法，本发明涉及数据接入架构领域。基于分层架构的数据接入方法包括如下步骤：获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；将所述外部数据按照映射规则转换成接入数据并保存；根据过滤条件对所述接入数据进行过滤；将过滤后的所述接入数据进行保存。本发明主要将数据接入分成多层架构，并指明各层的主要职责，形成一种全新的数据接入架构设计，解决数据接入数据丢失、问题难定位、数据质量不高等问题。本发明还提供了一种基于分层架构的数据接入装置、设备、存储介质、程序产品。

技术领域

本发明涉及金融交易技术领域，特别涉及一种基于分层架构的数据接入方法、装置、设备、介质、产品。

背景技术

当前，随着云计算、虚拟化等新技术的广泛应用，企业数据中心内部IT基础设施规模不断增长，企业运维成本也在不断增高，目前企业都在使用各种自动化运维手段来来提升运维效率，而各种自动化运维实施的基础是高质量的数据。现有技术中，服务器故障根源定位过程中，总会出现数据关系链断掉现象，根源大多为数据不存在或数据中字段缺失，即数据质量不达标。或者以restfull接口将外部系统数据接入进来，当数据源接入方式发生变化后需要重新开发，增大数据接入开发成本。或者数据接入后总会发现数据缺失，而排查原因需要查看大量后端日志，查明原因后需要再对代码修改才能将缺失数据接入。下次再接入其他数据时若再遇到类似问题需要重复做此过程。

发明内容

本发明的主要目的是提供一种基于分层架构的数据接入方法、装置、设备、介质、产品，旨在改善现有技术中，数据丢失、问题难定位、数据质量不高的技术问题。

为实现上述目的，本发明提供一种基于分层架构的数据接入方法。所述基于分层架构的数据接入方法包括如下步骤：

获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；

将所述外部数据按照映射规则转换成接入数据并保存；

根据过滤条件对所述接入数据进行过滤；

将过滤后的所述接入数据进行保存。

可选地，获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中的步骤包括：

获取服务器采集的操作系统数据信息、监控信息以及结构化数据；

将所述操作系统数据信息、所述监控信息以及所述结构化数据分别存储到不同的数据队列中；

外部数据接入完成后将外部数据接入的源数据量、外部数据接入时间、外部数据的接入来源记录至操作日志中。

可选地，将所述外部数据按照映射规则转换成接入数据并保存的步骤包括：

获取数据来源的类型；

根据数据来源的类型查询相对应的映射规则对外部数据进行解析；

如果解析失败，则将解析失败的信息记录在操作日志中，并中断此条数据的后续操作；

如果解析成功，则解析成功后的接入数据下发。

可选地，将所述外部数据按照映射规则转换成接入数据并保存的步骤还包括：

获取接入数据的结构以及外部数据的各字段类型；

根据业务需求，设定接入数据的结构中的字符串类型字段接收外部数据字符串类型字段对应的数值；

根据业务需求，设定接入数据的结构中的数值类型字段接收外部数据数值类型字段对应的数值；

将外部数据所包含字段与接入数据结构字段做成一一映射，并形成映射表存库。