[发明专利]一种数据采集方法、设备及介质

说明书

本发明提供一种数据采集方法，包括根据预设业务逻辑对若干需要的目标字段进行分组，得到若干含有不同目标字段的原子化字段组；预设服务端采集例程采集目标平台上的目标数据，目标数据中含有若干文本数据；根据原子化字段组中的目标字段组织每个目标数据中的文本数据，得到若干原子化字段组数据，预设服务端采集例程根据若干原子化字段组提供若干原子化字段组API，预设客户端采集例程通过访问原子化字段组API获取对应的原子化字段组数据。本发明提供一种数据采集方法，预设服务端采集例程和预设客户端采集例程的相互配合，保证了整体数据采集的稳定性，同时便于对数据采集系统的维护。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据采集方法、设备及介质。

背景技术

当今对于数据分析以及自然语言处理等数据处理领域都离不开对数据的有效采集和整理。传统的数据采集都是在一个数据处理例程中包含了数据采集和数据整理的业务逻辑，即对数据采集和数据的整理均在同一例程同时处理，但是目前的数据来源具有多样性和多变性，传统的单一例程的数据采集方式对数据同时进行采集和整理处理无法保证数据采集的有效性和稳定性。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种数据采集方法，其能解决传统的单一例程的数据采集方式对数据同时进行采集和整理处理无法保证数据采集的有效性和稳定性的问题。

本发明的目的之二在于提供一种电子设备，其能解决传统的单一例程的数据采集方式对数据同时进行采集和整理处理无法保证数据采集的有效性和稳定性的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能解决传统的单一例程的数据采集方式对数据同时进行采集和整理处理无法保证数据采集的有效性和稳定性的问题。

本发明的目的之一采用以下技术方案实现：

一种数据采集方法，包括以下步骤：

目标字段分组，根据预设业务逻辑对若干需要的目标字段进行分组，得到若干含有不同目标字段的原子化字段组；

数据采集，预设服务端采集例程采集目标平台上的目标数据，所述目标数据中含有若干文本数据；

组织数据，根据所述原子化字段组中的目标字段组织每个所述目标数据中的所述文本数据，得到若干原子化字段组数据，每个原子化字段组数据含有至少一所述文本数据；

提供API，预设服务端采集例程根据若干所述原子化字段组提供若干原子化字段组API，每个所述原子化字段组API与唯一的所述原子化字段组数据对应；

数据获取，预设客户端采集例程通过访问所述原子化字段组API获取对应的所述原子化字段组数据。

进一步地，所述数据采集还包括：预设服务端采集例程采集目标平台上的目标数据对应的目标ID，每个所述目标数据对应一个所述目标ID。

进一步地，在所述数据获取之前还包括数据缓存，根据所述目标ID将对应的所述原子化字段组数据分类缓存在预设数据库中。

进一步地，根据所述原子化字段组的预设属性设置缓存时间，单个所述缓存时间、单个所述原子化字段组、单个所述原子化字段组数据相互关联，根据所述缓存时间、所述目标ID将对应的所述原子化字段组数据缓存在预设数据库中。

进一步地，所述组织数据具体为：根据所述原子化字段组中目标字段将每个所述目标数据中的文本数据分类为若干不同的原子化字段组数据，每个所述原子化字段组数据包含至少一所述文本数据。

进一步地，所述目标平台包括网页终端和APP终端。

本发明的目的之二采用以下技术方案实现：

一种电子设备，包括：处理器；