[发明专利]一种新闻网页的信息抽取方法及终端

权利要求书

1.一种新闻网页的信息抽取方法，其特征在于，包括：

获取新闻网页的HTML源码，并对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码；

根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间；

对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码；

利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容。

2.根据权利要求1所述的一种新闻网页的信息抽取方法，其特征在于，所述对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码包括：

获取预设关键词、第一预设标签源码和第一预设子标签源码；

对所述HTML源码中包含所述预设关键词的文本级标签或文本进行一次筛除，得到一次筛除后的HTML源码；

对所述一次筛除后的HTML源码中的所述第一预设标签源码和第一预设子标签源码进行二次筛除，得到二次筛除后的HTML源码；

将所述二次筛除后的HTML源码转换成Unicode形式，得到转换后的HTML源码；

对所述转换后的HTML源码进行NFKC规范化处理，得到一次预处理后的HTML源码。

3.根据权利要求1所述的一种新闻网页的信息抽取方法，其特征在于，所述预设XPATH规则包括第一预设XPATH规则、第二预设XPATH规则和第三预设XPATH规则；

所述根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间包括：

根据所述第一预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题；

根据所述第二预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到多个初始文本；

基于所述多个初始文本与所述网页标题确定发布标题；

根据所述第三预设XPATH规则和预设正则表达式对所述一次预处理后的HTML源码进行信息抽取，得到发布作者和发布时间。

4.根据权利要求3所述的一种新闻网页的信息抽取方法，其特征在于，所述预设XPATH规则还包括第四预设XPATH规则；

所述对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码包括：

根据所述第四预设XPATH规则对所述一次预处理后的HTML源码的第二预设标签中的第二预设子标签进行筛除，得到二次预处理后的HTML源码。

5.根据权利要求1所述的一种新闻网页的信息抽取方法，其特征在于，所述利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容包括：

构造与所述二次预处理后的HTML源码对应的DOM树；

基于所述DOM树根据文本密度公式进行计算，得到与所述DOM树对应的每一DOM节点的文本密度；

基于所述DOM树根据符号密度公式进行计算，得到与所述DOM树对应的每一DOM节点的符号密度；

根据所述文本密度与所述符号密度计算与所述DOM树对应的每一DOM节点包含正文的概率的正文概率得分；

从所述每一DOM节点的所述正文概率得分中确定最高正文概率得分，并将所述最高正文概率得分对应的DOM节点确定为目标DOM节点；

去除所述目标DOM节点中的所述HTML源码，得到发布内容。

6.一种新闻网页的信息抽取终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

获取新闻网页的HTML源码，并对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码；

根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间；

对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码；

利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容。