[发明专利]资源提取方法、计算机可读存储介质及电子设备

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种资源提取方法、计算机可读存储介质及电子设备。

背景技术

随着网络应用的日益发展和普及，越来越多的资源被放置到了网络上。而网络爬虫正是一种能自动抓取互联网或局域网上的资源(视频、图片、文章等)的程序。

传统的网络爬虫在搜索资源的过程中，是以资源的标题区分不同资源。然而，随着平台和网站上的资源数量的剧增，不同资源可能会以相同标题发布在不同平台或网站上，这使得传统的网络爬虫难以准确区分开不同的资源，从而带来统计混乱、漏爬重爬等问题。

发明内容

本发明提供一种资源提取方法、计算机可读存储介质及电子设备，用于提高区分不同资源的准确性。

本发明第一方面提供一种资源提取方法，包括：

确定当前待提取的资源的类型；

从预设的特征集合中获取与所述类型对应的维度筛查信息，其中，所述维度筛查信息指示用以进行资源筛查的两个以上维度，所述特征集合中包含：预设的与各种类型的资源对应的维度筛查信息，

根据当前获取的所述维度筛查信息，在资源集合中基于当前待提取的资源的相应维度的特征信息进行资源筛查，其中，每个资源存在两个以上不同维度的特征信息，所述资源集合包含：已提取的资源；

若所述资源筛查的结果为空，则将当前待提取的资源提取到所述资源集合中。

本发明第二方面提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被至少一个处理器执行时，实现如下步骤：

确定当前待提取的资源的类型；

从预设的特征集合中获取与所述类型对应的维度筛查信息，其中，所述维度筛查信息指示用以进行资源筛查的两个以上维度，所述特征集合中包含：预设的与各种类型的资源对应的维度筛查信息，

根据当前获取的所述维度筛查信息，在资源集合中基于当前待提取的资源的相应维度的特征信息进行资源筛查，其中，每个资源存在两个以上不同维度的特征信息，所述资源集合包含：已提取的资源；

若所述资源筛查的结果为空，则将当前待提取的资源提取到所述资源集合中。

本发明第三方面提供一种电子设备，上述电子设备包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如下步骤：

确定当前待提取的资源的类型；

从预设的特征集合中获取与所述类型对应的维度筛查信息，其中，所述维度筛查信息指示用以进行资源筛查的两个以上维度，所述特征集合中包含：预设的与各种类型的资源对应的维度筛查信息，

根据当前获取的所述维度筛查信息，在资源集合中基于当前待提取的资源的相应维度的特征信息进行资源筛查，其中，每个资源存在两个以上不同维度的特征信息，所述资源集合包含：已提取的资源；

若所述资源筛查的结果为空，则将当前待提取的资源提取到所述资源集合中。

由上可见，本发明方案中针对不同类型的资源预先构建对应的维度筛查信息，形成特征集合，针对待提取的资源，从该特征集合中获取与该资源的类型对应的维度筛查信息，并基于该维度筛查信息，在资源集合中基于当前待提取的资源的相应维度的特征信息进行资源筛查。一方面，由于维度筛查信息中指示用以进行资源筛查的两个以上维度，相对于传统的仅以标题区分不同资源的方案，提高了区分不同资源的准确性，减少重复提取相同资源的概率；另一方面，由于维度筛选信息与资源的类型相关，这使得用以进行资源筛查的维度的针对性更强，从而提高了资源筛查的有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的资源提取方法一个实施例流程示意图；

图2为本发明提供的资源提取方法另一个实施例流程示意图；

图3为本发明提供的电子设备一个实施例结构示意图；

图4为本发明提供的资源提取程序的功能模块结构示意图结构示意图。

具体实施方式