[发明专利]一种基于相似度的网页标题抽取方法

摘要

本发明公开了一种基于相似度的网页标题抽取方法，利用网页标题与正文信息之间的关系，通过计算语言“单位”之间的相似度和对应的权值，并引入HITS算法模型对权值进行调整，根据特定的选取方法抽取出真实标题，该方法不仅对“非标准网页”的抽取达到满意的效果，而且对“标准网页”具有较高的泛化能力，时长前景广阔。

主权项

一种基于相似度的网页标题抽取方法，其特征在于，包括如下步骤：（1）网页文档预处理计算句子之间的相似度，首先将网页文档中含有的信息转换为文本文档表示，将经过划分后的段落或句子等同定义为一个语言“单位；（2）相似度计算利用正向迭代最细粒度切分算法分词后的公共子词语方式计算单位间的相似度；（3）权值计算根据相似度，得到权值计算公式：Weight（unit‑i）=∑Sim（unit‑i，unit‑j）（i≠j），其中unit‑i为需要计算权值的单位，Sim（unit‑i，unit‑j）为unit‑i与unit‑j的相似度；（4）文档标题的选取的预处理将整篇文本文档以“\ n”划分成多个语言单位，通过计算后，表示成Collection< < unit i，weight i> > sortList；（5）标题的选取①首先对sortList按照文档中的单位unit的权值Weight′(unit)进行升序排序；②计算所有顶点的度数和TTCT以及权值大于等于A的顶点总个数PCT；③计算平均度的阈值aveCT；④选取sortList中序号idx较小的两个语言单位作为候选标题；⑤比较两个候选单位的权值，选取权值较大的单位作为抽取“真实标题”的结果。