[发明专利]一种模板化网页主题信息的提取方法

摘要

本发明公开了一种模板化网页主题信息的提取方法，方法的主要特点为：1)直接对主题信息进行提取，而不需要通过去除网页噪音的方式来提取主题信息；2)对同模板产生的大量网页，通过机器学习生成模板后，便可直接提取网页主题信息，而不需要对每一个网页都进行分析处理，且该方法能够准确、快速地提取模板网页集的主题信息。此方法可以应用于大型搜索引擎，且可以大大地减少索引量，提高搜索引擎的检索速度和精确度。

主权项

一种模板化网页主题信息的提取方法，其特征在于，包括如下步骤：（1）模板生成①把网页集中的目标网页和样本网页转换成网页DOM树；②用DSE算法比较两棵网页树，去除目标网页中和样本网页重复的子树；③用目标模板网页的锚点文本标记去除网页噪音后的目标网页树,并保存labelpoint；④根据labelpoint提取目标网页的patternprefix、patternsuffix，生成该网页模板；⑤最后检查URL树，如果该模板已经存在于兄弟模板节点中，则把该模板保存到父节点中；（2）提取①将输入的网页转化成DOM树，并提取出整个网页的标签形成标签序列；②根据网页URL在相应的URL树中自顶向下查找匹配模板；③按照模板中的网页主题信息提取路径labelpoint提取网页的主题信息；④如果模板不存在，则返回整个网页的信息；（3）主题信息提取算法的效率和精确度分析对输出结果进行工作效率以及准确度的计算。