[发明专利]一种基于HTML标签的网页正文提取方法及装置

权利要求书

1.一种基于HTML标签的网页正文提取装置，包括中央处理器、寄存器、转义字符转换处理单元、净化处理单元、存储器，其特征是，中央处理单元按照如下步骤执行网页正文的提取：

（1）中央处理器将网页的HTML代码以文本形式读入寄存器中，并将寄存器中的字符全部小写化，便于后面的字符匹配；

（2）中央处理器通过扫描寄存器，将HTML网页划分成Head和Body两大区域块；

（3）中央处理器调用净化处理单元，通过以下3个环节对寄存器进行净化：

①删除head区域块中与网页标题无关的内容，

②确定body区域块中网页正文标题的位置，

③删除body区域块中与网页正文无关的内容；

（4）中央处理器调用转义字符转换处理单元，把寄存器里面的转义字符转化成正常字符；

（5）中央处理器依次在存储器中保存寄存器中网页信息，即为提取的网页正文部分。

2.一种基于HTML标签的网页正文提取方法，通过含有中央处理器、寄存器、转义字符转换处理单元、净化处理单元、存储器的装置提取出网页的正文内容，其特征是，该方法包括以下步骤：

（1）中央处理器将网页的HTML代码以文本形式读入寄存器中，并将寄存器中的字符全部小写化，便于后面的字符匹配；

（2）中央处理器通过扫描寄存器，将HTML网页划分成Head和Body两大区域块；

（3）中央处理器调用净化处理单元，通过以下3个环节对寄存器进行净化：

①删除head区域块中与网页标题无关的内容，

②确定body区域块中网页正文标题的位置，

③删除body区域块中与网页正文无关的内容；

（4）中央处理器调用转义字符转换处理单元，把寄存器里面的转义字符转化成正常字符；

（5）中央处理器依次在存储器中保存寄存器中网页信息，即为提取的网页正文部分。

3.一种Web全文检索中间件，由信息采集接口、信息采集模块、信息处理模块、全文检索模块和检索接口组成，其中，信息采集模块对来自信息采集接口的Web网页进行抓取并对抓取所得到的URL进行去重处理；信息处理模块先对信息采集模块采集到的网页内容进行正文提取，后对提取结果进行分词并建立索引；全文检索模块内部封装了全文检索、用户检索条件解析、对检索结果进行排序以及提高用户体验的个性化操作功能，对外提供了检索接口，其特征是，信息处理模块中对信息采集模块采集到的网页内容进行正文提取的装置是如权利要求1所述的一种基于HTML标签的网页正文提取装置。

4.如权利要求3所述的一种Web全文检索中间件，信息采集模块对来自信息采集接口的Web网页进行抓取时采用多线程抓取。

5.一种中间件的Web全文检索方法，该中间件由信息采集接口、信息采集模块、信息处理模块、全文检索模块和检索接口组成，全文检索包括以下步骤：

（1）信息采集模块对来自信息采集接口的Web网页进行抓取并对抓取所得到的URL进行去重处理；

（2）信息处理模块先对信息采集模块采集到的网页内容进行正文提取，后对提取结果进行分词并建立索引；

（3）全文检索模块内部封装了全文检索、用户检索条件解析、对检索结果进行排序以及提高用户体验的个性化操作功能，对外提供了检索接口；

其特征是，信息处理模块中对信息采集模块采集到的网页内容进行正文提取的方法是如权利要求2所述的一种基于HTML标签的网页正文提取方法。

6.如权利要求5所述的一种Web全文检索中间件的构造方法，信息采集模块对来自信息采集接口的Web网页进行抓取时采用多线程抓取。

7.一种文档搜索系统，其特征是，由人机接口和如权利要求3所述的一种Web全文检索中间件组成，人机接口提供起始URL给中间件的信息采集接口，并显示中间件通过检索接口输出的检索结果。

8.一种文档搜索的方法，通过人机接口和一种Web全文检索中间件进行文档检索，其特征是，包括以下步骤：

（1）人机接口提供起始URL给中间件的信息采集接口；

（2）中间件调用如权利要求5所述的一种中间件的Web全文检索方法，检索结果通过检索接口输出；

（3）检索结果通过人机接口显示。