[发明专利]基于块、模式识别及行文本的通用论坛正文提取算法

权利要求书

1.一种基于块、模式识别以及行文本的通用论坛提取方法，其特征在于：通过处理后的html文本匹配生成一个模式库，然后依据时间对网页进行分块并在块中利用模式对文本进行提取；

具体步骤为：

第一步：利用正则表达式去掉所有的网页标签，脚本函数以及空行；

第二步：根据已经提供的目标数据，不断进行模式匹配，找出目标字段的前面和后面的文本，找出的前后字符串就是该目标字段的模式；

第三步：保存模式以及目标网站url到文件中；

第四步：根据输入的url匹配到模式库中最小编辑距离最短的url，同时找到这种模式；

第五步：根据时间以及行文本密度进行分块，并根据模式提取论坛网页中的正文，同时找到日期；

第六步：判断每个块中的正文内容，发表作者是否为空，如果两项一项为空，则为错误，计算总的错误率；

第七步：如果错误率高于用户输入的阈值，回到模式库中，找到模式库中海明距离仅短于上一个模式的url，回到第四步；如果重新匹配次数等于四次，执行第八步，如果重新匹配次数少于四次，回到第九步；

第八步：对前四次模式的不同目标字段的子模式的错误率进行排序，分别选取错误率最低的子模式生成一个新的模式，url为输入url，回到第四步；

第九步：输出提取正文信息到文件。

2.根据权利要求1所述的方法，其特征在于：提出了使用时间以及行文本密度对网页进行分块对论坛的html文件进行分块。

3.根据权利要求1所述的方法，其特征在于：利用html文本匹配生成模式对分块正文内容进行提取。

4.根据权利要求1所述的方法，其特征在于：模式可在匹配的过程中进行自我更新。