[发明专利]一种从新闻列表页抽取新闻记录元数据的方法及系统

权利要求书

1.一种从新闻列表页抽取新闻记录元数据的方法，包括以下步骤：

(1)获取目标新闻列表页的网页源代码，按照所述网页源代码对应的HTML文本顺序生成HTML标签树；

(2)遍历所述HTML标签树，计算每个HTML标签子树的文本链接比得分，将文本链接比得分大于设定阈值的标签子树进行合并，获取一棵最大候选子树；

(3)从所述最大候选子树抽取新闻记录元数据列表。

2.如权利要求1所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(1)中，在生成HTML标签树之前，先对所述网页源代码进行过滤，除去噪音节点。

3.如权利要求1所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(2)中所述文本链接比得分的计算公式如下：

文本链接比得分＝0.4×(子树中所有链接文本的字符长度-链接个数1)/子树中所有链接文本的字符长度+0.6×(子树中所有文本的字符长度-链接个数2)/子树中所有文本的字符长度；

所述链接个数1为不包括文本中链接的链接数量，链接个数2为包括文本中链接的链接数量。

4.如权利要求3所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：所述文本中的链接判定条件如下：①链接文本的字符长度/该文本的字符长度＜0.2；②链接文本前后均是纯文本；同时满足如上两个条件，则判定为文本中的链接。

5.如权利要求1所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(2)中所述阈值的取值范围在0.9～1.0之间。

6.如权利要求1所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(2)中，合并两个标签子树的方法如下：

如果标签子树A是标签子树B的子树，则删除标签子树A，保留标签子树B；

如果标签子树A和标签子树B分处于不同的子树，则遍历两个标签子树的祖先节点，直至找到共同祖先节点为止；用以共同祖先节点为根节点的子树替换标签子树A和标签子树B。

7.如权利要求1至6之一所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(3)中所述从最大候选子树抽取新闻记录元数据列表的方法如下：

获取最大候选子树的所有链接及其文本；

根据设定的规则过滤掉杂质链接；

计算两两链接之间的距离；

生成两两链接互联的无向图，所述无向图的顶点为链接，边为两两链接的距离；

对无向图进行分割，分割出新闻记录链接列表，进而得到新闻记录元数据列表。

8.如权利要求7所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：所述杂质链接包括导航链接和链接文本字符长度小于10的链接。

9.如权利要求7所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：所述两两链接之间的距离的计算方法如下：

首先通过设定的符号对链接进行分割，分割出子字符串；

然后计算两个链接相同位置的对应子字符串的距离，将子字符串距离进行累加，将累加结果作为两两链接之间的距离；

所述子字符串距离的计算规则为：相同为0，相似为1，同样的模式为2，其余情况为5。

10.如权利要求7所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：步骤(2)中得到最大候选子树后，对最大候选子树进行层次遍历，记录每个节点的层次路径。

11.如权利要求10所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：所述节点的层次路径设置方法如下：

将最大候选子树的根节点视为0，其下每一层节点从左至右依序标记数字；将从根节点到该节点的父结点之间的路径设置为该节点的路径。

12.如权利要求11所述的从新闻列表页抽取新闻记录元数据的方法，其特征在于：如果分割出的新闻记录链接数大于50，对分割出的链接生成两两互联的无向图，无向图的顶点为链接，边为两两链接的层次路径之间的距离；对无向图进行分割，分割出新闻记录链接列表，进而得到新闻记录元数据列表。