[发明专利]数据采集方法及装置

说明书

本公开公开了一种数据采集方法、装置、电子设备及计算机可读存储介质，其中，所述方法包括：获取通信模块与网络应用程序的通信数据；获取与所述通信数据的通信接口相匹配的目标数据抽取模板；根据所述目标数据抽取模板从所述通信数据中获取目标数据。本公开通过获取与通信数据的通信接口相匹配的目标数据抽取模板，根据目标数据抽取模板从所述通信数据中获取目标数据，该数据采集方法不受API接口请求参数的影响，具有通用性，可以提高数据采集成功率。

技术领域

本公开涉及信息处理技术领域，尤其涉及一种数据采集方法、装置、电子设备及计算机可读存储介质。

背景技术

在现有技术中，采集数据一般方法是：通过获取网络应用程序供的API(Application Programming Interface，应用程序编程接口)接口，根据API接口的相关请求参数发送HTTP(HyperText Transfer Protocol，超文本传输协议)/HTTPS(Hyper TextTransfer Protocol over Secure Socket Layer或Hypertext Transfer ProtocolSecure，超文本传输安全协议)请求，以网络应用程序的响应结果，通过解析响应结果获取目标业务数据。

但是，上述方法主要存在以下问题：不同网络应用程序的API接口的请求参数不尽相同，会出现无法确定网络应用程序的请求参数，无法根据API接口的相关请求参数发送HTTP请求，从而导致数据采集失败。

发明内容

本公开提供一种数据采集方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中数据采集失败的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据采集方法，包括：

获取通信模块与网络应用程序的通信数据；

获取与所述通信数据的通信接口相匹配的目标数据抽取模板；

根据所述目标数据抽取模板从所述通信数据中获取目标数据。

进一步的，所述通信数据为所述通信模块与所述网络应用程序之间的网络请求数据和/或网络响应数据。

进一步的，所述获取通信模块与网络应用程序的通信数据，包括：

获取符合预设条件的通信数据，所述预设条件至少包括以下任意一项：domain、host、url path和url parameters。

进一步的，在所述获取通信模块与网络应用程序的通信数据之后，所述方法还包括：

将所述通信数据写入分布式消息队列；

相应的，所述获取与所述通信数据的通信接口相匹配的目标数据抽取模板，包括：

从所述分布式消息队列中读取所述通信数据，获取与所述通信数据的通信接口相匹配的目标数据抽取模板。

进一步的，所述根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括：

将所述通信数据转成统一格式；

根据所述目标数据抽取模板的规则抽取获取目标数据。

进一步的，所述根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括；

如果匹配的目标数据抽取模板为多个，则根据多个目标数据抽取模板对所述通信数据进行抽取；

将所述多个目标数据抽取模板的抽取数据进行整合，得到所述目标数据。

进一步的，所述根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括：

根据所述目标数据抽取模板从所述通信数据中抽取数据；