[发明专利]面向数据挖掘的文本处理系统及方法

摘要

本发明提供了一种面向数据挖掘的文本处理系统，包括：文本抽取模块、文本分词模块、索引建立模块、实体识别模块、关键词提取模块、自动摘要模块、自动分类模块以及服务接口模块。文本分词模块对文本抽取模块抽取的文本进行编码转换、简繁转换、词性标注操作；利用索引建立模块、实体识别模块、关键词提取模块、自动摘要模块、自动分类模块分别得到文本内容的索引文件、实体词、关键词、摘要以及分类结果；利用服务接口模块将所述的索引建立模块、实体识别模块、关键词提取模块、自动摘要模块和自动分类模块的输出结果以服务形式发布给其他系统以供其调用。本发明还提供了一种面向数据挖掘的文本处理方法，该方法能够提供更全面的文本处理能力。

主权项

一种面向数据挖掘的文本处理系统，其特征在于，包括：文本抽取模块(102)、文本分词模块(103)、索引建立模块(104)、实体识别模块(105)、关键词提取模块(106)、自动摘要模块(107)、自动分类模块(108)以及服务接口模块(109)；‑所述文本抽取模块(102)，用于接收外部文本文件，当判断出外部文本文件为破损时，舍弃掉该外部文本文件；否则识别该外部文本文件的文件格式，并根据该文件格式抽取文本；‑所述文本分词模块(103)，用于接收所述文本抽取模块(102)抽取的文本，对接收到的文本依次进行编码转换、简繁转换、分词以及词性标注操作，并且将带词性标注的分词结果分别传递给索引建立模块(104)、实体识别模块(105)、关键词提取模块(106)、自动摘要模块(107)和自动分类模块(108)；‑所述索引建立模块(104)，用于根据文本分词模块(103)所提供的分词结果建立文本内容的索引文件，并为服务接口模块(109)提供索引文件；‑所述实体识别模块(105)，用于针对来自文本分词模块(103)的分词结果，识别出文本内容中的实体词，并输出给服务接口模块(109)；‑所述关键词提取模块(106)，用于接收文本分词模块(103)的分词结果，提取文本内容中的关键词，并输出给服务接口模块(109)；‑所述自动摘要模块(107)，用于根据文本分词模块(103)所得到的分词结果以及上下文结构，自动生成摘要，并将生成的摘要输出给服务接口模块(109)；‑所述自动分类模块(108)，用于根据文本分词模块(103)所输出的分词结果给文本内容确定一个类别分类，并将该分类结果输出给服务接口模块(109)；‑所述服务接口模块(109)，用于分别接收来自索引建立模块(104)、实体识别模块(105)、关键词提取模块(106)、自动摘要模块(107)、自动分类模块(108)的输出结果，并分别以服务的形式发布这些结果，以供其他系统调用。