[发明专利]一种文本提取方法及装置

摘要

本发明涉及一种文本提取方法，所述方法包括步骤一、预处理给定的网页的超文本传输协议html源码，以获取所述源码中的文本的字符串序列，所述字符串序列包含N个文本行；步骤二、提取所述字符串序列中每个文本行的特征元素，所述特征元素包含M个属性;步骤三、依据第一关联规则，确定所述字符串序列中的潜在正文行组成的潜在正文块，所示第一关联规则由所述特征元素中的所述M个属性确定。通过本发明实施例能够提高网页中文本块提取的准确度，提高搜索引擎的搜索效率和准确度。

主权项

一种文本提取方法，其特征在于，所述方法包括：步骤一、预处理给定的网页的超文本传输协议html源码，以获取所述源码中的文本的字符串序列，所述字符串序列包含N个文本行；步骤二、提取所述字符串序列中每个文本行的特征元素，所述特征元素包含M个属性；步骤三、依据第一关联规则，确定所述字符串序列中的潜在正文行组成的潜在正文块，所示第一关联规则由所述特征元素中的所述M个属性确定；步骤四、根据滑动窗口方法，对所述潜在正文块进行分割，获取次级潜在正文块；所述步骤四之后，还包括：获取每个所述次级潜在正文块包含的信息量；根据所述次级潜在正文块的信息量，确定所述潜在正文块中的信息块；其中，所述获取每个所述次级潜在正文块包含的信息量，具体包括：Score(Bk)=ΣStartk≤i≤EndkScore(pi)=|Ti|+|Oi|+|Di|-|Li|-|Ii|Endk-Startk+1]]>其中，pi为次级潜在正文块中的第i个文本行，Ti为第i个文本行在所述html源码中所包含的字节数TextLength，Oi为第i个文本行在所述网页中出现的字节数OutputTextLength,Di为第i个文本行的相对密度Density，所述相对密度Density为所述文本行在所述网页中出现的字节数和在所述html源码中出现的字节数的比值，Li为第i个文本行包含的超链接数LinkNum,Ii为该文本行包含的图片超链接数和ImgNum，Bk表示第k个次级潜在正文块，Startk为该次级潜在正文块的起始位置，Endk为其结束位置,Score(Bk)表示正文块Bk包含的信息量。