[发明专利]一种分词算法系统

说明书

一种分词算法系统，包括：录入模块、句子划分模块、列表导入模块、规则生成模块、分词模块、数据处理模块及存储器；所述句子划分模块、规则生成模块以及分词模块分别与所述数据处理模块连接；所述句子划分模块把从录入模块接收到的文本根据文本中的标点符号进行句子的划分；所述列表导入模块用于导入列表并发送到规则生成模块，所述规则生成模块根据导入的单词列表、短语列表和单词的原型与变形列表构建出匹配规则列表；所述分词模块通过获取所述句子以及匹配规则列表，按照匹配规则在句子中匹配出句子中存在的单词和短语；所述数据处理模块通过调取所述匹配结果来进行统计，生成单词或短语频次表。

技术领域

本发明涉及计算机领域，尤其涉及一种分词算法系统。

背景技术

在日常的英文学习中，尤其对于要迎接高考、雅思、托福、考研等考生来说，对于在考试中单词出现频率高的词汇，需要重点去复习。

在现有技术中，通常使用Word或者Excel表格进行单词的统计。这种统计只能统计单词的原型，不能统计单词的变形，且难以统计短语，统计出的数据非常有限，不够准确，尤其是一些中间穿插了单词的短语，无法在现有技术的常规手段中统计出来。

在现有的背单词软件中，虽然有关于单词在考试中出现频率的统计，进而统计出考试的重点词汇供用户复习，但仍然无法准确统计单词和短语出现在考试中出现的次数，以及每一次考试中出现的次数和出现的形式，统计出来的数据不精准，无法贴合用户的需求。

发明内容

为了解决上述问题，本发明提供了一种分词算法系统，具体技术方案如下：

一种分词算法系统，包括：录入模块、句子划分模块、列表导入模块、规则生成模块、分词模块、数据处理模块及存储器；所述存储器与数据处理模块连接，用于数据的存储；

所述录入模块与句子划分模块连接，用于文本的录入或导入，并把录入或导入的文本发送到所述句子划分模块；其中，所述录入模块除了对文本的文本内容进行录入，还对文本的属性进行录入；

所述句子划分模块与数据处理模块连接，所述句子划分模块把接收到的文本根据文本中的标点符号进行句子的划分，并通过所述数据处理模块把划分好的句子存储于所述存储器；

所述列表导入模块与规则生成模块连接，用于导入列表并发送到规则生成模块；所述列表包括：单词列表、短语列表、单词的原型与变形列表；

所述规则生成模块与数据处理模块连接，所述规则生成模块根据导入的单词列表、短语列表和单词的原型与变形列表构建出匹配规则列表，使句子中出现的单词，无论是单词的原型还是变形都可以匹配到所述单词的原型，并通过所述数据处理模块把所述匹配规则列表述存储于所述存储器；

所述分词模块与数据处理模块连接，通过获取所述存储器中存储的句子以及匹配规则列表，按照匹配规则匹配出句子中存在的单词和短语，并通过所述数据处理模块把匹配的结果存储于存储器；

所述数据处理模块通过调取存储器中存储的匹配结果来进行统计，生成单词或短语频次表，所述单词或短语频次表包括每一个匹配到的单词或短语，以及每一个匹配到的单词或短语出现的形式及出现的次数。

所述短语列表包括特殊短语列表；所述规则生成模块根据特殊短语列表和单词的原型与变形列表，列出特殊的短语的所有匹配形式，形成特殊短语的匹配规则列表，并存储到存储器中。

所述匹配结果包括若干匹配项，每一个匹配项均包括：句子ID、匹配到的单词或短语以及单词或短语在句子中的起始和终止位置信息；其中，所述起始位置信息为单词或短语中的第一个单词的首字母在句子中的位置；所述终止位置信息为单词或短语中的最后一个单词的最后一个字母在句子中的位置。