[发明专利]一种网页标题的提取方法、装置及信息处理系统

说明书

技术领域

本发明属于信息处理领域，尤其涉及一种网页标题的提取方法、装置及信息处理系统。

背景技术

所谓网页标题，是指表示网页正文主题内容或者中心思想的一句话。随着网络技术的发展，网页标题的提取被应用的越来越广泛，例如：网页预览、网页指纹计算等网页搜索中都需要用到网页标题的提取技术。

现有的网页标题提取方法主要是通过直接提取网页源文件中标题(title)标签和辅助性(meta)标签中的文字作为网页的标题。然而，随着网页标题在网页搜索相关性计算中地位的提升，越来越多的网站设计者通过在title标签或者meta标签中添加一些与网页主题无关但是热门的关键字来提升网页被检索到的可能性，严重影响了网页搜索的准确率和召回率。

发明内容

本发明实施例提供一种网页标题的提取方法，旨在解决现有技术在进行网页标题的提取时，造成网页搜索的准确率和召回率较低的问题。

本发明实施例是这样实现的，一种网页标题的提取方法，所述方法包括以下步骤：

提取网页源文件中标题标签和辅助性标签中的文字；

提取所述网页源文件中每个文本块的特征点；

根据所述提取的文本块的特征点以及标题标签和辅助性标签中的文字，计算所述网页源文件中每个文本块作为网页标题的概率值；

将概率值最大的文本块提取为网页标题。

本发明实施例提供一种网页标题的提取装置，所述装置包括：

文字提取单元，用于提取网页源文件中标题标签和辅助性标签中的文字；

特征点提取单元，用于提取所述网页源文件中每个文本块的特征点；

概率计算单元，用于根据所述提取的文本块的特征点以及标题标签和辅助性标签中的文字，计算所述网页源文件中每个文本块作为网页标题的概率值；

结果输出单元，用于将概率值最大的文本块提取为网页标题。

本发明实施例提供一种信息处理系统，所述信息处理系统包括所述网页标题的提取装置。

在本发明实施例中，根据提取的网页源文件中文本块的特征点和标题标签和辅助性标签中的文字，计算所述网页源文件中每个文本块作为网页标题的概率值，并根据计算得到的概率值，将概率值最大的文本块作为网页标题提取出来，能够有效的过滤掉网页设计者在标题标签或者辅助性标签中堆砌的与网页内容无关的文字，将最能描述网页主题内容或者中心思想的文字作为网页标题提取出来，有效的提高网页搜索的准确率和召回率。

附图说明

图1是本发明实施例一提供的网页标题提取方法的实现流程图；

图2是本发明实施例二提供的文本块概率计算的具体实现流程图；

图3是本发明实施例三提供的网页标题提取方法的具体实例图；

图4是本发明实施例四提供的网页标题提取装置的架构图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过提取的网页源文件中文本块的特征点和标题标签和辅助性标签中的文字，对网页源文件中的各个文本块进行概率判断，将概率值最大的文本块作为网页标题提取出来，能够有效的过滤掉网页设计者在标题标签或者辅助性标签中堆砌的与网页内容无关的文字，将最能描述网页主题内容或者中心思想的文字作为网页标题提取出来，有效的提高网页搜索的准确率和召回率。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的网页标题提取方法的实现流程，该方法过程详述如下：

在步骤S101中，提取网页源文件中标题标签和辅助性标签中的文字。

在本实施例中，通过文本解析器解析网页源文件中标题(title)标签和辅助性(meta)标签，提取标题标签和辅助性标签中的文字。例如：在所述网页源文件为HTML(HyperText Mark-up Language，超文本标记语言)源文件，通过HTML文本解析器把标题标签<title>经济中心</title>和meta标签<meta name＝“keywords”content＝“政治，经济，科技，文化”>中的文字“经济中心”和“政治经济科技文化”解析出来。