[发明专利]一种基于多视角学习的网页船期数据抽取方法

权利要求书

1.一种基于多视角学习的网页船期数据抽取方法，其特征在于，包含如下步骤：

S1，爬取船期数据公布页面，获得N个页面的渲染树作为训练集；

S2，标记各个渲染树上的最终所需的节点，并获得各个渲染树所有节点的特征；

S3，将训练集中的各个渲染树的特征和标记渲染树的所需节点采用机器学习算法进行分类，获得分类器；

S4，爬取需要应用的船期数据公布页面，并获得各个渲染树所有节点的特征；

S5，根据步骤S1～S3训练得到的分类器对节点进行分类，得到含有船期数据的节点。

2.如权利要求1所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的特征包括：标签比率、居左程度、居右程度、居上程度、XPath长度比率或字体颜色比率的一种或几种。

3.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的标签比率，所述的标签比率为渲染树上各节点子树的html标签总数在该节点子树包含的文字字符总数里的占比。

4.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的居左程度，所述的居左程度为渲染树每个节点的左侧位置与最佳左侧位置的相近程度，最佳左侧位置减去渲染树所有节点的左侧位置后取绝对值然后除以整个网页的宽度，用1减去此结果得到的即为居左程度，其中最佳左侧位置为从训练集渲染树得到N个页面中所需的节点的左侧位置坐标的平均值。

5.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的居右程度，所述的居右程度为渲染树每个节点的右侧位置与最佳右侧位置的相近程度，最佳右侧位置减去渲染树所有节点的右侧位置后取绝对值然后除以整个网页的宽度，用1减去此结果得到的即为居右程度，其中最佳右侧位置为从训练集渲染树得到N个页面中所需的节点的右侧位置坐标的平均值。

6.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的居上程度，所述的居上程度为渲染树每个节点的上侧位置与最佳上侧位置的相近程度，最佳上侧位置减去渲染树所有节点的上侧位置后取绝对值然后除以整个网页的宽度，用1减去此结果得到的即为居上程度，其中最佳上侧位置为从训练集渲染树得到N个页面中所需的节点的上侧位置坐标的平均值。

7.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的XPath长度比率，所述的XPath长度比率为各个节点的XPath长度除以这个网页中最大的XPath的长度，其中每个DOM节点在网页中的XPath路径的长度称为XPath长度，XPath长度直接对应了该DOM节点在网页中的层次。

8.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的字体颜色比率，所述的字体颜色比率为反映各个节点中的字体颜色分布和整个网页的字体颜色分布的一致度，具体则有：

各个节点所在子树中所有字体颜色的id分别和对应字体颜色的文字个数形成一个字体颜色的字典，将个数规范化，把字典中各项的文字个数分别除以该字典中所有项字数之和即文字比率，同样的方法获得整个网页所有文字的字体颜色字典，将两个字典中都存在的颜色id的文字比率相乘后求和得到字体颜色比率。

9.如权利要求2所述的基于多视角学习的网页船期数据抽取方法，其特征在于，所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的字体大小比率，所述的字体大小比率为反映各个节点中的字体大小分布和整个网页的字体大小分布的一致度，具体则有：

各个节点所在子树中所有字体大小的id分别和对应字体大小的文字个数形成一个字体大的字典，将个数规范化，把字典中各项的文字个数分别除以该字典中所有项字数之和即文字比率，同样的方法获得整个网页所有文字的字体大字典，将两个字典中都存在的大id的文字比率相乘后求和得到字体大小比率。