[发明专利]一种基于互联网的数据提取方法

说明书

技术领域

本发明涉及一种信息处理方法，特别涉及一种基于互联网的数据提取方法。

背景技术

当前是信息化时代，互联网上的数据在呈爆炸式的速度增长，一个搜索引警不可能覆盖所有的数据，但各大搜索引警的数据重复性很高，如何从而互联网中提取全面且准确的数据是一个难题。

发明内容

本发明要解决的技术问题是：提供一种准确性高的基于互联网的数据提取方法。

为了解决上述技术问题，本发明包括如下步骤：(1)设置关键词；(2)选择搜索引擎；(3)在各搜索引擎检索设置的关键词，获取检索数据，建立第一数据库；(4)建立重复数据处理模块，利用该模块比较第一数据库的数据，选取第一数据库中第一条数据，将第一条数据与第一数据库中其它数据相比较，删除与第一条数据相同的数据，依该方法遍历第一数据库中所有数据；获得第二数据库；(5)建立数据分类模块，将第二数据库的数据分成多个小类，每个小类数据建立一个第三数据库。

为了使用方便，所述的步骤(5)第二数库的分类是依据数据在互联网上公开的时间分类。

为了使用方便，所述的步骤(5)第二数库的分类是依据数据在与关键词的关联程度分类。

本发明的有益效果是：本发明利用多个搜索引警检索，检索后通过重复数据处理模块和数据分类模块处理，所提取的数据能够准确的贴近关键词，数据即全面又不会重复。

附图说明

图1是本发明的流程图；

具体实施方式

如图1所示的基于互联网的数据提取方法，包括如下步骤：(1)设置关键词，可以根据需要设置，如挖掘机等；(2)选择搜索引擎；(3)在各搜索引擎检索设置的关键词，获取检索数据，建立第一数据库；(4)建立重复数据处理模块，利用该模块比较第一数据库的数据，选取第一数据库中第一条数据，将第一条数据与第一数据库中其它数据相比较，删除与第一条数据相同的数据，依该方法遍历第一数据库中所有数据；获得第二数据库；(5)建立数据分类模块，将第二数据库的数据分成多个小类，每个小类数据建立一个第三数据库。所述的步骤(5)第二数库的分类可以是依据数据在互联网上公开的时间分类。步骤(5)第二数库的分类也可以是依据数据在与关键词的关联程度分类。