[发明专利]网页自动分类方法和系统

说明书

技术领域

本发明涉及搜索引擎市场营销、网络链接交换和网页自动分类等互联网领域，特别是涉及一种网页自动分类方法和系统，其运用统计方法对网页进行自动搜索、内容分析和相关性分类。

背景技术

与相关的网页进行链接交换，可以提高网站流量，增加网站知名度，提高搜索引擎的排名，是搜索引擎市场营销(Search Engine Marketing，SEM)中应用最为普遍的一种技术手段。但是，如何获取高质量、和客户网页内容相关性高的链接，是目前这一技术手段的难题。目前的搜索引擎优化(SearchEngine Optimization，SEO)技术都是通过手动查找、第三方推荐等人工手段进行链接交换，但当需要处理的网页数量达到一定规模时，人工手段往往会有以下缺陷：

1.准确率低，人工分类很大程度上由操作人员的主观决定；

2.效率低下，耗费大量人工和资源，会给客户服务部门的分析人员造成很大的工作压力；

3.在数据量巨大的情况下手工基本上难以实现。

发明内容

本发明要解决的技术问题是为了克服现有技术的准确率低、效率低下和不适用于数据量巨大的情况等缺陷，提供一种网页自动分类方法和系统。

本发明是通过下述技术方案来解决上述技术问题的：

一种网页自动分类方法，其特点在于，其包括以下步骤：

S1、搜索与客户网页相关的网站网页，并对搜索到的网页内容进行分解，从中抓取出网页的标题和变数据信息，形成网页列表集合；

S2、对所述网页列表集合中的文字进行预处理和分词处理，形成分类关键词列表集合；

S3、统计所述分类关键词列表集合中的分类关键词在所有网页中出现的频率，使每一个网页对应一个分类关键词频率向量，该分类关键词频率向量为一个一维数组，该数组中每个元素对应的是某个分类关键词在该网页中出现的频率；

S4、建立统计模型，计算各目标网页和客户网页之间的分类关键词频率向量距离，得到目标网页和客户网页之间的相关度，基于该相关度对各目标网页进行自动分类。

较佳地，在步骤S4之后还包括一步骤S5：将相关度达到要求的网页存储到数据库中，并自动发送给客户，用于设置交换链接。

较佳地，步骤S1还包括以下步骤：

S11、人工选取出客户网页中的n个搜索关键词，将每个搜索关键词向搜索引擎提交，基于搜索结果得到URL集合；

S12、使用网页抓取工具抓取出URL集合中各网页的标题和变数据信息，形成网页列表集合。

较佳地，步骤S2中对所述网页列表集合中的文字进行预处理包括以下步骤：删除网页中所有的广告等明显无关文字内容、标点符号、非中文字符、数字以及停用词等。

较佳地，步骤S2中对经过预处理的文字进行分词处理包括以下步骤：

S21、以每个网页作为样本，将网页的标题和变数据信息中的所有单独的字分别作为一个词，即一元分词；将两个或两个以上的汉字组成一个词，即二元分词或n元分词，其中n＞2；将得到的所有词组成一个集合；

S22、重复步骤S21，得到所有网页的分类关键词列表集合。

较佳地，步骤S4中，在计算各目标网页和客户网页之间的分类关键词频率向量距离之前，还包括以下步骤：通过主成分分析和相互信息分析方法来去掉无关的分类关键词频率向量值。

较佳地，步骤S4中，所述相关度为由统计模型所计算出来的一个函数，该函数与分类关键词频率向量相关，该函数的值是从0到1的实数，1表示最大的相关度，0表示最小的相关度。

较佳地，对所述相关度设置一个阀值，当相关度大于等于该阀值时，即认为相关，当相关度小于该阀值时，即认为不相关，从而对各目标网页进行自动分类：相关或者不相关。

较佳地，步骤S4中建立统计模型并计算相关度采用如下算法中的一种或几种：支持向量机、线性判别分析、二次判别分析、分类树分析、K最近邻分类算法和K最近质点分类算法。

本发明提供的另一技术方案为：一种网页自动分类系统，其特点在于，其包括：

网页采集模块，用于搜索与客户网页相关的网站网页，并对搜索到的网页内容进行分解，从中抓取出网页的标题和变数据信息，形成网页列表集合；

网页处理模块，用于对所述网页列表集合中的文字进行预处理和分词处理，形成分类关键词列表集合；

频率统计模块，用于统计所述分类关键词列表集合中的分类关键词在所有网页中出现的频率，使每一个网页对应一个分类关键词频率向量，该分类关键词频率向量为一个一维数组，该数组中每个元素对应的是某个分类关键词在该网页中出现的频率；