[发明专利]资源库的确定方法和装置、存储介质及电子装置

说明书

本发明公开了一种资源库的确定方法和装置、存储介质及电子装置。其中，该方法包括：通过网络捕获器获取与目标主题对应的第一网页地址，根据第一网页地址生成第一地址队列；使用网络捕获器获取第一地址队列对应的网页源码；根据网页源码生成网页向量，确定网页向量与预先建立的标准特征向量之间的第一距离，将第一距离小于第一预设阈值对应的第二网页地址从第一地址队列中删除，得到第二地址队列，其中，网页向量是根据网页源码对应的文本信息生成的；从第二地址队列对应的网页源码中获取目标资源信息，将目标资源信息存储至目标资源库，其中，目标资源信息用于描述与目标主题相关的资源，目标资源库用于存储与目标主题相关的资源信息。

技术领域

本发明涉及计算机领域，具体而言，涉及一种资源库的确定方法和装置、存储介质及电子装置。

背景技术

传统搜索引擎使用通用爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

传统的搜索引擎虽然具有强大的网络爬虫，覆盖面广，但分类专业性较差，信息搜索结果不尽如人意，不能准确理解某些特定领域的词汇，例如金融业词汇。

另一方面，现有金融业信息采集系统集中研究的是在金融业主题搜索引擎，重点研究金融业主题搜索引擎的设计、主题爬虫算法、信息源发现方法等算法优化问题，但对金融知识识别、提取等涉及较少。

因此，针对相关技术中，由于传统的搜索引擎的分类专业性较差，存在对某些特定的领域的词汇识别效果差的问题，尚未得到有效的解决方案。

发明内容

本发明实施例提供了一种资源库的确定方法和装置、存储介质及电子装置，以至少解决相关技术中，由于传统的搜索引擎的分类专业性较差，存在对某些特定的领域的词汇识别效果差的技术问题。

根据本发明实施例的一个方面，提供了一种资源库的确定方法，包括：通过网络捕获器获取与目标主题对应的第一网页地址，根据上述第一网页地址生成第一地址队列；使用上述网络捕获器获取上述第一地址队列对应的网页源码；根据上述网页源码生成网页向量，确定上述网页向量与预先建立的标准特征向量之间的第一距离，将第一距离小于第一预设阈值对应的第二网页地址从上述第一地址队列中删除，得到第二地址队列，其中，上述网页向量是根据上述网页源码对应的文本信息生成的；从上述第二地址队列对应的网页源码中获取目标资源信息，将上述目标资源信息存储至目标资源库，其中，上述目标资源信息用于描述与上述目标主题相关的资源，上述目标资源库用于存储与上述目标主题相关的资源信息。

根据本发明实施例的另一方面，还提供了一种资源库的确定装置，包括：第一处理单元，用于通过网络捕获器获取与目标主题对应的第一网页地址，根据上述第一网页地址生成第一地址队列；第一获取单元，用于使用上述网络捕获器获取上述第一地址队列对应的网页源码；第一确定单元，用于根据上述网页源码生成网页向量，确定上述网页向量与预先建立的标准特征向量之间的第一距离，将第一距离小于第一预设阈值对应的第二网页地址从上述第一地址队列中删除，得到第二地址队列，其中，上述网页向量是根据上述网页源码对应的文本信息生成的；第二处理单元，用于从上述第二地址队列对应的网页源码中获取目标资源信息，将上述目标资源信息存储至目标资源库，其中，上述目标资源信息用于描述与上述目标主题相关的资源，上述目标资源库用于存储与上述目标主题相关的资源信息。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述资源库的确定方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的资源库的确定方法。