[发明专利]基于分层架构的数据接入方法、装置、设备、介质、产品

权利要求书

1.一种基于分层架构的数据接入方法，其特征在于，包括如下步骤：

获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中；

将所述外部数据按照映射规则转换成接入数据并保存；

根据过滤条件对所述接入数据进行过滤；

将过滤后的所述接入数据进行保存。

2.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，获取外部数据，根据所述外部数据来源的类型分别将所述外部数据存储到不同的数据队列中的步骤包括：

获取服务器采集的操作系统数据信息、监控信息以及结构化数据；

将所述操作系统数据信息、所述监控信息以及所述结构化数据分别存储到不同的数据队列中；

所述外部数据接入完成后将外部数据接入的源数据量、外部数据接入时间、外部数据的接入来源记录至操作日志中。

3.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，将所述外部数据按照映射规则转换成接入数据并保存的步骤包括：

获取数据来源的类型；

根据数据来源的类型查询相对应的映射规则对外部数据进行解析；

如果解析失败，则将解析失败的信息记录在操作日志中，并中断此条数据的后续操作；

如果解析成功，则解析成功后的接入数据下发。

4.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，将所述外部数据按照映射规则转换成接入数据并保存的步骤还包括：

获取接入数据的结构以及外部数据的各字段类型；

根据业务需求，设定接入数据的结构中的字符串类型字段接收外部数据字符串类型字段对应的数值；

根据业务需求，设定接入数据的结构中的数值类型字段接收外部数据数值类型字段对应的数值；

将外部数据所包含字段与接入数据结构字段做成一一映射，并形成映射表存库。

5.如权利要求1所述的基于分层架构的数据接入方法，其特征在于，根据过滤条件对所述接入数据进行过滤的步骤包括：

创建多个过滤条件；

根据过滤条件将接入数据中包含的字段进行过滤；

如果接入数据没有被过滤掉，则将接入数据继续下发；

如果接入数据被过滤掉，则将接入数据停止下发，并将过滤原因记录在操作日志中。

6.如权利要求5所述的基于分层架构的数据接入方法，其特征在于，将过滤后的所述接入数据进行保存的步骤包括：

将未过滤掉的外部数据保存至数据库中；

如果保存成功，则在操作日志中记录存库成功状态；

若保存不成功，则将错误信息记录在操作日志中，并将原始数据保存到原始数据队列尾部等待下次处理。

7.一种基于分层架构的数据接入装置，其特征在于，包括：

数据接入层，用以对接外部系统数据源；

数据映射层，用以创建外部数据的映射规则；

数据解析层，用以将外部数据转换成标准数据结构并保存；

数据过滤层，用以过滤数据；

数据入库层，用以存储数据。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～6中任一项所述的方法。