[发明专利]目标语料数据的爬取方法、装置及存储介质

说明书

本发明提供一种目标语料数据的爬取方法，该方法在接收到目标信息的爬取请求后，首先确定爬取目标语料所需的爬取规则，调用爬取规则，依次从初始语料库中爬取第一标题页URL列表、第一列表页URL列表及第一内容页URL列表，然后爬取第一标题页URL列表对应的第二列表页URL列表，生成第三列表页URL列表，爬取第三列表页URL列表对应的第二内容页URL列表，生成第三内容页URL列表，以获取内容页数据，最后利用目标信息爬取规则爬取出目标信息，生成目标语料数据。本发明还提供一种电子装置及计算机存储介质。利用本发明，可以提高爬取目标语料数据的效率及准确性。

技术领域

本发明涉及数据处理领域，尤其涉及一种目标语料数据的爬取方法、电子装置及计算机可读存储介质。

背景技术

现有资讯类网站爬取的方式是根据网站一对一定制爬虫程序，而资讯类的语料库基本有固定的模板进行综合开发，若针对所有的资讯类网页模板进行定制开发，容易出现扩展性差和工作量大的情况，极大的降低了语料数据的爬取效率。

发明内容

鉴于以上内容，本发明提供一种目标语料数据的爬取方法、服务器及计算机可读存储介质，其主要目的在于提高目标语料数据的爬取准确性和效率。

为实现上述目的，本发明提供一种目标语料数据的爬取方法，该方法包括：

S1、接收用户提出的携带初始语料库的目标语料数据的爬取请求，确定所述目标语料数据的爬取请求对应的指定信息抓取规则及目标信息抓取规则；

S2、读取所述指定信息抓取规则中的标题页抓取规则、列表页抓取规则及内容页抓取规则，分别抓取出所述初始语料库中的URL(Uniform Resource Location，统一资源定位符)列表对应的第一标题页URL列表、第一列表页URL及第一内容页URL列表；

S3、访问第一标题页URL列表中的标题页，调用所述列表页抓取规则，抓取出所述第一标题页URL列表对应的第二列表页URL列表；

S4、合并所述第一列表页URL列表及所述第二列表页URL列表生成第三列表页URL列表，调用所述内容页抓取规则，抓取出所述第三列表页URL列表对应的第二内容页URL列表；

S5、合并所述第一内容页URL列表及所述第二内容页URL列表生成第三内容页URL列表，抓取所述第三内容页URL列表对应的内容页数据，生成第一语料数据；及

S6、调用所述目标信息抓取规则，从所述第一语料数据中抓取目标信息，确定目标语料数据，将所述目标语料数据发送给用户。

优选地，所述目标信息抓取规则通过以下步骤确定：

a1、从指定路径中读取目标信息的初始抓取规则；

a2、对指定网页数据的目标信息进行标注，生成目标信息数据集，并确定目标信息数据集与初始抓取规则的映射关系；

a3、利用所述初始抓取规则从所述指定网页数据中抓取实时信息，生成实时信息数据集；

a4、根据所述初始抓取规则与目标信息的映射关系，读取各初始抓取规则对应的目标信息数据集，计算所述实时信息数据集与目标信息数据集的匹配率；及

a5、当匹配率大于或等于预设阈值时，将所述初始抓取规则作为目标信息抓取规则；当匹配率小于预设阈值时，接收对所述初始抓取规则的调整指令，并返回执行步骤a3。

优选地，所述步骤a4包括：

分别从目标信息数据集及实时信息数据集中读取各指定网页数据的目标信息及实时信息，并进行比对；及

统计目标信息与实时信息相同的指定网页数据的数量，计算实时信息数据集与目标信息数据集的匹配率。

优选地，所述匹配率的计算公式为：P＝M/T