[发明专利]数据接入方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种数据接入方法、装置、电子设备及可读存储介质。其中，方法包括当接收到数据推送请求，根据数据推送请求对应的客户端信息和数据类型将接收到的目标数据放入对应的目标位置中。根据目标数据的数据来源，调用相应的目标引擎从目标位置读取目标数据；若目标数据不为历史攻击数据，则为目标数据填充攻击属性信息，得到安全目标数据；根据数据来源对安全目标数据进行格式化清洗，统一映射至所属类别对应的数据字典中。本申请可针对不同结构化数据均实现标准化接入，有利于简单、高效地实现数据查询，有利于实现数据多维度的统计和聚合分析，可有效支撑业务侧功能。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据接入方法、装置、电子设备及可读存储介质。

背景技术

目前，大数据技术领域中，数据接入系统层出不穷，现有的很多数据接入系统通过消息队列方式实时地接入各个厂商的数据来支撑业务平台，例如接入绿盟、深信服、奇安信等数据厂商。相关技术通过消息接收组件接收交易中心发送的消息；通过消息解析组件对接收到的消息进行解析获取目标数据，通过数据存储组件存储获取的目标数据，从而实现数据接入。

但是，由于各厂商的数据格式不完全相同，数据入库存储格式不统一，在业务侧使用方面需要对不同格式的数据封装不同的业务层接口，加大数据查询实现的难度；使得后续多维度的统计和聚合分析变得极为困难，无法有效地支撑复杂的业务场景。

发明内容

本申请提供了一种数据接入方法、装置、电子设备及可读存储介质，可针对不同结构化数据均实现标准化接入，有利于简单、高效地实现数据查询，有利于实现数据多维度的统计和聚合分析，可有效支撑业务侧功能。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种数据接入方法，包括：

当接收到数据推送请求，根据所述数据推送请求对应的客户端信息和数据类型将接收到的目标数据放入对应的目标位置；

根据所述目标数据的数据来源，调用相应的目标引擎从所述目标位置读取所述目标数据；

若所述目标数据不为历史攻数据，则为所述目标数据填充攻击属性信息，得到安全目标数据；

根据所述数据来源对所述安全目标数据进行格式化清洗，统一映射至所属类别对应的数据字典中。

可选的，所述接收到数据推送请求之后，还包括：

预先为授权交互端分配接入允许标识信息；

判断所述数据推送请求是否携带所述接入允许标识信息；

若所述数据推送请求没有携带所述接入允许标识信息，则判定所所述数据推送请求对应客户端不为授权交互端；

若所述数据推送请求携带所述接入允许标识信息，则判定所述数据推送请求对应客户端为授权交互端，同时执行所述根据所述数据推送请求对应的客户端信息和数据类型将接收到的目标数据放入对应的目标位置的步骤。

可选的，所述为授权交互端分配接入允许标识信息之后，还包括：

当接收到数据查询指令，判断所述数据查询请求是否携带所述接入允许标识信息；

若所述数据推送请求没有携带所述接入允许标识信息，则判定所所述数据查询请求对应客户端不为授权交互端；

若所述数据查询请求携带所述接入允许标识信息，则判定所述数据推送请求对应客户端为授权交互端，同时响应所述数据查询指令。

可选的，所述响应所述数据查询指令的过程，包括：

判断所述数据查询指令对应的数据查询类型为基础查询类型还是多重查询类型；