[发明专利]基于爬虫技术生成应用程序编程接口API的方法及装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于爬虫技术生成应用程序编程接口API的方法及装置。

背景技术

已知，在大数据时代的今天，数据的打通及利用尤为重要，但由于传统的各系统、平台的开发环境不同，编写程序的源代码、内部工作机制细节差别很大，导致数据环境相对孤立，数据库字段及结构已无从理清，各个系统中的数据成为了孤岛，这不利于企业利用网络推广自身服务，也不利于数据的有效利用，为了解决这个问题，不同系统、平台的开发人员和需要使用数据的人员通过建立API(即应用程序编程接口)，方便不同的人员根据需要调用自身系统、平台中的服务或调取数据库中的对应数据，其中，API可以包括公开API或非公开API，公开API指任何人都可以调用的API，非公开API是指只有获得权限的人员才能调用的API，该人员通过调用该API获得相应的数据或服务。然而，API的生成及调用的相关操作较为专业，只有应用开发的专业人员能够完成，外行人或一般用户难以完成，而在众多系统间生成供调用的API是一项巨大的工作，因此，如何在不清楚原系统数据库结构、不知道原系统的部署情况的情况下生成可以直接调用的API及说明文档成为了亟待解决的问题。

发明内容

针对现有技术中存在的缺陷，本发明实施例提供一种基于爬虫技术生成应用程序编程接口API的方法及装置。

为解决上述技术问题，本发明的实施例采用的技术方案是：

一种基于爬虫技术生成应用程序编程接口API的方法，包括：

根据目标数据的类型配置数据调用规则；

根据所述数据调用规则配置接口规则，

基于所述数据调用规则及所述接口规则生成应用程序编程接口API；

将所述应用程序编程接口API发布至目标URL地址以供调用。

作为优选，所述目标数据为通过html语言的xpath语法或正则表达式在待爬取数据的原始URL地址下爬取得到。

作为优选，所述目标数据的类型包括文章标题、时间、链接、详情及隐藏属性。

作为优选，所述数据调用规则为：在进行数据调用时调用至少一种类型的所述目标数据。

作为优选，所述接口规则为与所述数据调用规则对应的名称及调用参数。

一种基于爬虫技术生成应用程序编程接口API的装置，包括：

配置模块，其用于根据目标数据的类型配置数据调用规则；以及根据所述数据调用规则配置接口规则；

API生成模块，其用于基于所述数据调用规则及所述接口规则生成应用程序编程接口API；

API发布模块，其用于将所述应用程序编程接口API发布至目标URL地址以供调用。

作为优选，所述目标数据为通过html语言的xpath语法或正则表达式在待爬取数据的原始URL地址下爬取得到。

作为优选，所述目标数据的类型包括：文章标题、时间、链接、详情及隐藏属性。

作为优选，所述数据调用规则为：在进行数据调用时调用至少一种类型的所述目标数据。

作为优选，所述接口规则为与所述数据调用规则对应的名称及调用参数。

与现有技术相比，本发明的实施例提供的基于爬虫技术生成应用程序编程接口API的方法及装置能够在不清楚原系统的数据结构，不需要原开发人员提供接口的情况下在原始系统中生成可实时调用的API接口，从而提供打通数据的通道，从而能够方便的获得原系统的数据，有利于数据的有效利用。

附图说明

图1为本发明的实施例的方法步骤示意图；

图2为本发明的实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本发明实施例提供一种基于爬虫技术生成应用程序编程接口API的方法，能够在不清楚原系统底层数据结构及部署的情况下将原系统的数据生成可调用的API及说明文档，打破了数据孤岛，为数据的有效利用和数据打通提供了便利，其具体包括以下步骤：

步骤1：根据目标数据的类型配置数据调用规则；

步骤2：根据所述数据调用规则配置接口规则；

步骤3：基于所述数据调用规则及所述接口规则生成应用程序编程接口API；