[发明专利]网页信息收集系统和方法

说明书

本发明提供了一种网页信息收集系统，包括关键词生成模块(10)，其能够根据用户指定的文档生成关键词；信息收集模块(20)，其用于收集随附于所述网页信息的源码；规则存储模块(30)，其预设有关键词和网页信息的源码的对应规则；数据库(50)，其用于存储所述关键词和收集到的所述网页信息和所述源码；以及判定模块(40)，其基于所述关键词和收集到的所述源码信息来判断所述关键词和网页信息源码是否符合所述的对应规则，如果符合所述对应规则，则将所述关键词、所述网页信息和所述源码对应存入所述数据库。其能够较为全面准确的收集所需的网页信息。本发明还提供了一种网页信息收集方法。

技术领域

本发明涉及网页信息收集系统、网页信息收集方法，特别涉及支援行业构造分析的网页信息收集系统、网页信息收集方法。

背景技术

近年来，随着互联网的普及，企业、个人将信息向网页站点公开的情况不断增加。收集网站上公开的信息(以下，称为网页信息)进行营销策略、企业策略制定越来越多。这就要求对收集到的网页信息适当地进行分类、整理。由于人工整理成本太高，现有技术中已经出现根据需要整理的目标文件对网站信息进行分类整理的方法。

现有的方法利用网页信息公开了附加有表示信息的属性的源码信息(例如，RDF(Resource Description Framework：资源描述框架)等)进行信息的分类/整理。

为了判定网页信息是否包含所需的的信息，对内容(文本)进行词法分析、语法分析，并且与产品信息数据的匹配。但是，经常会发生网页信息的内容的表现方式、波动、词法的表记错误等，有时无法取得直接相关的信息的情况。

在网页信息未包括与所需的背景知识的规则时，有时难以判别关联的信息。由此有时会收集无关的网页信息，有时无法收集相关的网页信息。

发明内容

为了解决上述课题，本发明提供了网页信息收集系统和方法，其能够较为全面准确的收集所需的网页信息。

本发明提供的网页信息收集系统包括关键词生成模块，其能够根据用户指定的文档生成关键词；信息收集模块，其用于收集随附于所述网页信息的源码；规则存储模块，其预设有关键词和网页信息的源码的对应规则；数据库，其用于存储所述关键词和收集到的所述网页信息和所述源码；以及判定模块，其基于所述关键词和收集到的所述源码信息来判断所述关键词和网页信息源码是否符合所述的对应规则，如果符合所述对应规则，则将所述关键词、所述网页信息和所述源码对应存入所述数据库。

本发明还提供了一种信息网页信息收集方法，根据用户指定的文档使用词向量的算法进行聚类统计生成关键词；收集随附于所述网页信息的源码；以及基于所述关键词和收集到的所述源码信息来判断所述关键词和网页信息源码是否符合预设的对应规则，如果符合所述对应规则，则对应存储所述关键词、所述网页信息和所述源码。

本发明提供的方法和系统能够较为全面的收集所需的网页信息储存于数据库，有利于后期的分析检索工作。

附图说明

图1是根据本发明一种网页信息收集系统的具体实施方式的结构示意图。

图2是根据本发明一种网页信息收集方法的具体实施方式的流程图。

具体实施方式

以下，参照附图对用于实施本发明的方式进行说明。图1是根据本发明一种网页信息收集系统的具体实施方式的结构示意图。本实施方式的网页信息收集系统为了取得在因特网上与用户指定的某个文档相关的公开的网页信息(HTML文件、PDF文件)，利用表示网页信息的属性(主题、制作时刻等)的源码来判断。参照图1，网页信息收集系统包括关键词生成模块10、信息收集模块20、规则存储模块30、数据库50、和判定模块40。