[发明专利]基于文本分析的网页检测方法

摘要

本发明提供了一种基于文本分析的网页检测方法，该方法包括：基于爬取的网页数据源，定义特征提取策略；进行页面预处理，确定获取网页的内容，丢弃与提取信息无关的词条属性；根据提取策略，获得所需要的数据项并保存到XML文档中；将XML文档通过特征提取获得特征向量并聚类；将聚类后的文档按类簇存储到对应数据库中。本发明提出了一种基于文本分析的网页检测方法，针对大规模数据集，快速、高效地检查出相似数据，快速挖掘到有价值的信息，提升搜索引擎的用户体验。

主权项

1.一种基于文本分析的网页检测方法，其特征在于，包括：基于爬取的网页数据源，定义特征提取策略；进行页面预处理，确定获取网页的内容，丢弃与提取信息无关的词条属性；根据提取策略，获得所需要的数据项并保存到XML文档中；将XML文档通过特征提取获得特征向量并聚类；将聚类后的文档按类簇存储到对应数据库中；所述网页为带有摘要的网页，并且其中所述特征提取进一步包括：(1)、过滤掉网页文本首尾与特征抽取无关的信息，得到去噪处理后的网页文本；(2)、分别得到摘要和原文内容的中文分词结果；(3)、对摘要和原文内容的中文分词结果进行词性分类，完成分类后，对原文内容和摘要的词性分类结果进行谓语提取和实词识别；(4)、根据预设归并规则集对所述谓语提取后的网页文本的词性分类结果和所述网页文本的实词识别结果进行归并，得到原文的归并结果；对所述谓语提取后的摘要的词性分类结果和所述摘要的实词识别结果进行归并，得到摘要的归并结果；(5)、对网页文本的归并结果和摘要的归并结果进行单元归并，得到网页文本的信息单元归并结果和摘要的单元归并结果；(6)、对网页文本的单元归并结果进行聚类，根据特征规则集得到聚类之后网页文本的特征抽取结果；所述特征规则集由权值分配策略、网页文本的单元归并结果的语句切分规则、原子句切分规则、语态抽取规则、语气识别规则构成；所述聚类过程进一步包括：(6.1)对所输入的网页文本内容进行降维处理，获得网页文本中的每个特征词和词频的组对，记为＜word,value＞；(6.2)对所述组对按照字典顺序进行排序，并根据所述排序建立索引；(6.3)将所述索引与所述特征词建立对应关系，即将每个特征词和其频率的组对＜word,value＞转换为每个索引与其词频的对应关系，记为向量＜index,value＞；(6.4)定义循环次数t、最大循环次数t_max；并初始化t＝0；在t轮从索引向量集＜index,value＞中获取n个索引向量，记为N^(t)＝{N₁^(t),N₂^(t),…,N_n^(t)}，N_i^(t)表示t轮的第i个索引向量＜index_i^(t),value_i^(t)＞；计算t轮的第i个索引向量N_i^(t)与第j个索引向量N_j^(t)的正则化相似度Nsim(i,j)＝N_j^(t)·N_i^(t)；(6.5)将所述t轮的n个索引向量N^(t)的权值记为WEN^(t)＝{WEN₁^(t),WEN₂^(t),…,WEN_n^(t)}，WEN_i^(t)表示t轮的第i个索引向量N_i^(t)的权值；初始化WEN_i^(t)＝1；计算t轮的第i个索引向量与第j个索引向量的相似距离矩阵S^(t)(i,j)：S^(t)(i,j)＝(1+WEN_i^(t)/WEN_j^(t))/Nsim(i,j)(6.6)将t轮的S^(t)(i,j)赋值给Affinity Propagation算法，对所述t轮的n个索引向量N^(t)进行聚类，获得第t轮的m_t个初步聚类中心，记为C^(t)＝{C₁^(t),C₂^(t),…,C_mt^(t)}；将t增1；并判断t＝t_max是否成立，若成立，则执行步骤2.11；否则从所述索引向量集＜index,value＞中获得t轮的n个索引向量N^(t)＝{N₁^(t),N₂^(t),…,N_n^(t)}(6.7)将t‑1轮的m_t‑1个聚类中心C^(t‑1)追加到所述t轮的n个索引向量N^(t)中，从而获得n+m_t‑1个索引向量，将更新的n+m_t‑1个索引向量N^(t)’赋值给所述t轮的索引向量N^(t)，并返回步骤6.5顺序执行；从而获得t轮的m_t个最终聚类中心C^(t)；(6.8)获得每一轮的聚类中心，完成所述聚类。