[发明专利]目标语料数据的爬取方法、装置及存储介质

权利要求书

1.一种目标语料数据的爬取方法，应用于电子装置，其特征在于，所述方法包括：

S1、接收用户提出的携带初始语料库的目标语料数据的爬取请求，确定所述目标语料数据的爬取请求对应的指定信息抓取规则及目标信息抓取规则，所述目标信息抓取规则包括：标题抓取规则、作者抓取规则、正文抓取规则；

S2、读取所述指定信息抓取规则中的标题页抓取规则、列表页抓取规则及内容页抓取规则，分别抓取出所述初始语料库中的URL(Uniform Resource Location，统一资源定位符)列表对应的第一标题页URL列表、第一列表页URL及第一内容页URL列表；

S3、访问第一标题页URL列表中的标题页，调用所述列表页抓取规则，抓取出所述第一标题页URL列表对应的第二列表页URL列表；

S4、合并所述第一列表页URL列表及所述第二列表页URL列表生成第三列表页URL列表，调用所述内容页抓取规则，抓取出所述第三列表页URL列表对应的第二内容页URL列表；

S5、合并所述第一内容页URL列表及所述第二内容页URL列表生成第三内容页URL列表，抓取所述第三内容页URL列表对应的内容页数据，生成第一语料数据；及

S6、调用所述目标信息抓取规则，从所述第一语料数据中抓取目标信息，确定目标语料数据，将所述目标语料数据发送给用户。

2.根据权利要求1所述的目标语料数据的爬取方法，其特征在于，所述目标信息抓取规则通过以下步骤确定：

a1、从指定路径中读取目标信息的初始抓取规则；

a2、对指定网页数据的目标信息进行标注，生成目标信息数据集，并确定目标信息数据集与初始抓取规则的映射关系；

a3、利用所述初始抓取规则从所述指定网页数据中抓取实时信息，生成实时信息数据集；

a4、根据所述初始抓取规则与目标信息的映射关系，读取各初始抓取规则对应的目标信息数据集，计算所述实时信息数据集与目标信息数据集的匹配率；及

a5、当匹配率大于或等于预设阈值时，将所述初始抓取规则作为目标信息抓取规则；当匹配率小于预设阈值时，接收对所述初始抓取规则的调整指令，并返回执行步骤a3。

3.根据权利要求1所述的目标语料数据的爬取方法，其特征在于，所述步骤a4包括：

分别从目标信息数据集及实时信息数据集中读取各指定网页数据的目标信息及实时信息，并进行比对；及

统计目标信息与实时信息相同的指定网页数据的数量，计算实时信息数据集与目标信息数据集的匹配率。

4.根据权利要求3所述的目标语料数据的爬取方法，其特征在于，所述匹配率的计算公式为：P＝M/T

其中，P为实时信息数据集与目标信息数据集的匹配率，M为目标信息与实时信息相同的指定网页数据的数量，T为指定网页数据的总数。

5.根据权利要求1至4中任意一项所述的目标语料数据的爬取方法，其特征在于，所述指定信息抓取规则中还包括：目标信息去噪规则，所述步骤S6还包括：

调用预设目标信息去噪规则，对所述目标信息进行去噪处理，确定目标语料数据。

6.根据权利要求5所述的目标语料数据的爬取方法，其特征在于，所述指定信息抓取规则及目标信息抓取规则均通过正则表达式来实现。