[发明专利]知识点的爬取方法及装置、存储介质、终端

说明书

一种知识点的爬取方法及装置、存储介质、终端，所述知识点至少包括标准问和标准答案，所述方法包括：确定目标爬取内容；根据待爬取的知识分类确定对应的爬虫条件，所述爬虫条件至少用于指示第一位置以及第二位置，所述第一位置为所述标准问在所述目标爬取内容中的位置，所述第二位置为所述标准答案在所述目标爬取内容中的位置；根据所述爬虫条件遍历所述目标爬取内容，以至少在所述目标爬取内容的第一位置和第二位置提取信息并生成所述知识点。通过本发明提供的方案能够实现对知识点的自动爬取，并且数据抓取精度高，利于解决知识点数量庞大的目标用户无法建设知识点或知识点建设速度慢、人工工作量巨大的问题。

技术领域

本发明涉及数据处理技术领域，具体地涉及一种知识点的爬取方法及装置、存储介质、终端。

背景技术

随着智能客服机器人的广泛应用，越来越多的用户开始重视知识点的建设。

现有技术在实施知识点建设时，普遍做法是由人工先准备好固定文档模板，然后往模板里面填写知识点的标准问、标准答案、答案维度等信息。这样的处理方式虽然可以精准的填写数据，但人工工作量极大，一人一天整理的极限不超过200条知识。

对于知识点较少的目标用户而言，这样的建设速度和工作量尚且还能接受。但是，对于知识点庞大的目标用户而言，现有人工提取知识点的处理方式就显得无能为力，导致知识点数量庞大的目标用户无法建设知识点，或者致电建设速度极慢、人工工作量巨大。

发明内容

本发明解决的技术问题是如何实现对知识点的自动爬取。

为解决上述技术问题，本发明实施例提供一种知识点的爬取方法，所述知识点至少包括标准问和标准答案，所述爬取方法包括：确定目标爬取内容；根据待爬取的知识分类确定对应的爬虫条件，所述爬虫条件至少用于指示第一位置以及第二位置，所述第一位置为所述标准问在所述目标爬取内容中的位置，所述第二位置为所述标准答案在所述目标爬取内容中的位置；根据所述爬虫条件遍历所述目标爬取内容，以至少在所述目标爬取内容的第一位置和第二位置提取信息并生成所述知识点。

可选的，所述确定目标爬取内容包括：接收爬虫指令，所述爬虫指令包括所述待爬取的知识分类；根据所述待爬取的知识分类确定关联的预设知识分类集合，所述预设知识分类集合包含至少一个目标爬取网页的网页地址、开始页和结束页，不同的预设知识分类集合关联不同的候选知识分类，所述待爬取的知识分类选取自所述候选知识分类；根据所述预设知识分类集合确定所述目标爬取内容。

可选的，所述待爬取的知识分类与所述爬虫条件的对应关系是通过预设知识分类集合指示的，不同的预设知识分类集合关联不同的候选知识分类，对于每一预设知识分类集合，所述预设知识分类集合指示关联的候选知识分类对应的爬虫条件，所述待爬取的知识分类选取自所述候选知识分类。

可选的，当多个所述候选知识分类对应同一爬虫条件时，所述多个候选知识分类各自关联的所述预设知识分类集合包括第一预设知识分类集合以及第二预设知识分类集合，其中，所述第一预设知识分类集合指示所述爬虫条件，所述第二预设知识分类集合包含沿用指示，所述沿用指示用于指示沿用所述第一预设知识分类集合指示的爬虫条件。

可选的，当多个所述候选知识分类具有上下级从属关系时，上级候选知识分类关联的所述预设知识分类集合包含下级候选知识分类关联的所述预设知识分类集合，以及所述下级候选知识分类对应的爬虫条件。