[发明专利]一种正文页的识别方法及装置

权利要求书

1.一种正文页的识别方法，其特征在于，包括：

获取网页页面的页面特征，所述页面特征包括统一资源定位符URL特征、二级导航特征、所述网页页面中每一个页面分块的分块类别中的任一种或多种；

根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页；

若页面特征包括URL特征，则判断所述URL特征中的网页类型特征词是否包含在预置的正文特征词库中；若包含在预置的正文特征词库中，则进一步判断所述URL特征中是否包括页面日期特征，或者判断所述URL特征中的标识特征词是否包含在所述正文特征词库中；若是，则获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页；

其中，在判断获取的所述页面特征是否满足预置的正文判决条件之前，预置正文特征词库，所述分块类别是对所述网页页面分块处理后得到的每一个页面分块的类别，包括标题类别、来源类别以及正文类别中的任一种或多种。

2.如权利要求1所述的方法，其特征在于，若所述页面特征包括二级导航特征，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述二级导航特征中的特征词是否包含在预置的正文特征词库中；

若是，获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

3.如权利要求1所述的方法，其特征在于，若所述页面特征包括所述网页页面中每一个页面分块的分块类别，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述网页页面中每一个页面分块的分块类别中是否包括正文类别；

若包括正文类别，则进一步判断所述网页页面中每一个页面分块的分块类别中是否包括标题类别或者是否包括来源类别；

若是，则获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

4.如权利要求1所述的方法，其特征在于，若页面特征包括URL特征和所述网页页面中每一个页面分块的分块类别，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述网页页面中每一个页面分块的分块类别中是否包括正文类别；

若包括正文类别，则进一步判断所述URL特征中是否包括页面日期特征，或者判断所述URL特征中的标识特征词是否包含在所述正文特征词库中；

若是，则获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

5.如权利要求1所述的方法，其特征在于，若页面特征包括URL特征和所述网页页面中每一个页面分块的分块类别，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述网页页面中每一个页面分块的分块类别中是否包括标题类别和是否包括来源类别；

若包括标题类别和来源类别，则进一步判断所述URL特征中的网页类型特征词是否包含在预置的正文特征词库中，或者判断所述URL特征中是否包括页面日期特征，或者判断所述URL特征中的标识特征词是否包含在所述正文特征词库中；

若是，则获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

6.如权利要求3-5任一项所述的方法，其特征在于，所述获取网页页面的页面特征的步骤中获取所述网页页面中每一个页面分块的分块类别，包括：

在对所述网页页面进行分块处理后，提取网页页面中每一个页面分块的位置特征和内容指示特征；

根据网页页面中每一个页面分块的位置特征和内容指示特征，确定网页页面中每一个页面分块的分块类别。