[发明专利]基于网页文章的标题抽取方法及装置

权利要求书

1.一种基于网页文章的标题抽取方法，其特征在于，包括：

获取网页文章对应的网页代码，对所述网页代码进行渲染，得到渲染后的网页代码；

根据所述渲染后的网页代码，构建文档对象模型DOM树；获取所述DOM树的各个节点中元素的实际属性值，根据元素的实际属性值对所述渲染后的网页代码进行调整；

获取所述DOM树中的正文区域；

遍历所述DOM树，获取所述DOM树中正文区域前的叶子节点，将所述叶子节点作为标题候选节点；

根据所述标题候选节点中的文本内容特征，以及所述标题候选节点与所述正文区域之间的距离，计算所述标题候选节点的特征分数；

将对应的特征分数最高的标题候选节点确定为标题节点，将所述标题节点中的文本内容确定为所述网页文章的标题。

2.根据权利要求1所述的方法，其特征在于，所述获取所述DOM树中的正文区域，包括：

遍历所述DOM树，获取所述DOM树中符合预设条件的正文候选节点；

根据所述正文候选节点中的文本内容特征，计算所述正文候选节点的特征分数；

将对应的特征分数最高的正文候选节点确定为最优正文节点；

根据所述最优正文节点，确定所述DOM树中的正文区域。

3.根据权利要求2所述的方法，其特征在于，所述正文候选节点的特征分数的计算公式为，

content_score+＝(weight1×comma_num+weight2×len)×len_nonlink/len；

其中，content_score表示正文候选节点的特征分数，其初始值为0；comma_num表示文本内容中逗号的个数；len表示文本内容的长度；len_nonlink表示文本内容中非链接文本的长度；weight1和weight2表示权重。

4.根据权利要求2所述的方法，其特征在于，所述根据所述最优正文节点，确定所述DOM树中的正文区域，包括：

遍历所述DOM树，获取所述最优正文节点对应的兄弟节点；

将所述最优正文节点和所述兄弟节点，确定为正文区域对应的节点。

5.根据权利要求1所述的方法，其特征在于，所述标题候选节点的特征分数的计算公式为，

title_score＝weight1×(font-size-MIN_FONT_SIZE)+weight2×sim_title+weight3×sim_content-weight4×distance_time_content-weight5×max((MIN_LEN-len)，0)–weight6×max((len–MAX_LEN)，0)；

其中，title_score表示标题候选节点的特征分数；font-size表示文本内容的字体大小；MIN_FONT_SIZE表示标题的最小字体；sim_title表示文本内容与<title>中标签文字的相似度；sim_content表示文本内容与正文内容的相似度；distance_time_content在未确定元信息节点时，表示正文区域与标题候选节点之间的距离，在确定元信息节点时，表示元信息节点与标题候选节点之间的距离；MIN_LEN表示标题的最小长度；len表示文本内容的长度；MAX_LEN表示标题的最大长度；weight1、weight2、weight3、weight4、weight5和weight6表示权重。

6.根据权利要求1所述的方法，其特征在于，所述遍历所述DOM树，获取所述DOM树中正文区域前的叶子节点，将所述叶子节点作为标题候选节点之前，还包括：

遍历所述DOM树，获取所述正文区域前预设距离内的节点；

在所述预设距离内的节点与预设的时间文本表达式匹配时，将所述节点确定为候选元信息节点；

将距离所述正文区域最近的候选元信息节点，确定为元信息节点。