[发明专利]一种数据采集方法、装置、终端及存储介质

说明书

本发明公开了一种数据采集方法、装置、终端及存储介质，方法包括：通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；根据所述目标数据规范从所述目标数据提供方处采集目标数据。本发明提供的数据采集方法中，通过目标链接来确定对应的目标数据提供方和目标数据规范，根据目标数据规范从目标数据提供方处采集目标数据，根据合作协议的不同，需要从多个数据提供方处采集数据或增加数据提供方时，只需要增加链接映射至不同的数据提供方和数据规范即可，不需要新建新的数据采集接口，减少了重复工作。

技术领域

本发明涉及数据采集技术领域，特别涉及一种数据采集方法、装置、终端及存储介质。

背景技术

在互联网内容行业中，平台自身产出的内容在经过了一段积累后，平台用户会逐渐完成对内容的筛选阅读，内容平台用户因为版权等因素无法第一时间获取其他平台的内容，在多个平台创建阅读账号对用户的阅读积极性也会有很大的影响，想要进一步提高订阅会变得相对困难，针对这种情况，不同平台之间通过互相授权内容来进行内容合作可以使用户在熟悉的阅读平台不断接触到其他平台的优质内容，不需要在不同平台间进行辗转，对于阅读平台来说积累内容可以产生二次收入。

平台间在通过授权后，会基于某一方的内容接入规范进行开发，搭建用于内容合作的线上采集接口，但是，目前的方案大多数都是为每次合作进行单独的接口开发，合作方规范升级后需要再次逐一对已完成的接口进行升级开发，重复工作高。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种数据采集方法、装置、终端及存储介质，旨在解决现有技术中的平台间内容合作方案中需要对每一次内容合作专门进行接口开发工作，重复工作高的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种数据采集方法，所述方法包括：

通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；

根据所述目标数据规范从所述目标数据提供方处采集目标数据。

所述的数据采集方法，其中，所述确定所述目标链接对应的目标数据提供方和目标数据规范，包括：

根据预先存储的链接与数据提供方的映射关系确定所述目标链接对应的所述目标数据提供方；

根据预先存储的链接与数据接收方的映射关系确定所述目标链接对应的目标数据接收方；

根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范。

所述的数据采集方法，其中，所述根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范，包括：

根据所述目标数据需求方确定所述目标数据需求方对应的规范版本号；

根据所述规范版本号确定所述目标数据规范。

所述的数据采集方法，其中，所述通过目标链接接收数据采集请求之前，所述方法还包括：

创建所述目标链接；

建立所述目标链接与所述目标数据提供方以及所述目标数据规范的映射关系。

所述的数据采集方法，其中，所述根据所述目标数据规范从所述目标数据提供方处采集目标数据，包括：

从所述目标数据提供方处采集初始数据；

根据所述目标数据规范对所述初始数据进行处理，生成所述目标数据。

所述的数据采集方法，其中，所述根据所述目标数据规范从所述目标数据提供方处采集目标数据之后，所述方法还包括：