[发明专利]一种分词算法系统

摘要

一种分词算法系统，包括：录入模块、句子划分模块、列表导入模块、规则生成模块、分词模块、数据处理模块及存储器；所述句子划分模块、规则生成模块以及分词模块分别与所述数据处理模块连接；所述句子划分模块把从录入模块接收到的文本根据文本中的标点符号进行句子的划分；所述列表导入模块用于导入列表并发送到规则生成模块，所述规则生成模块根据导入的单词列表、短语列表和单词的原型与变形列表构建出匹配规则列表；所述分词模块通过获取所述句子以及匹配规则列表，按照匹配规则在句子中匹配出句子中存在的单词和短语；所述数据处理模块通过调取所述匹配结果来进行统计，生成单词或短语频次表。

主权项

1.一种分词算法系统，其特征在于，包括：录入模块、句子划分模块、列表导入模块、规则生成模块、分词模块、数据处理模块及存储器；所述存储器与数据处理模块连接，用于数据的存储；所述录入模块与句子划分模块连接，用于文本的录入或导入，并把录入或导入的文本发送到所述句子划分模块；其中，所述录入模块除了对文本的文本内容进行录入，还对文本的属性进行录入；所述句子划分模块与数据处理模块连接，所述句子划分模块把接收到的文本根据文本中的标点符号进行句子的划分，并通过所述数据处理模块把划分好的句子存储于所述存储器；所述列表导入模块与规则生成模块连接，用于导入列表并发送到规则生成模块；所述列表包括：单词列表、短语列表、单词的原型与变形列表；所述规则生成模块与数据处理模块连接，所述规则生成模块根据导入的单词列表、短语列表和单词的原型与变形列表构建出匹配规则列表，使句子中出现的单词，无论是单词的原型还是变形都可以匹配到所述单词的原型，并通过所述数据处理模块把所述匹配规则列表述存储于所述存储器；所述分词模块与数据处理模块连接，通过获取所述存储器中存储的句子以及匹配规则列表，按照匹配规则匹配出句子中存在的单词和短语，并通过所述数据处理模块把匹配的结果存储于存储器；所述数据处理模块通过调取存储器中存储的匹配结果来进行统计，生成单词或短语频次表，所述单词或短语频次表包括每一个匹配到的单词或短语，以及每一个匹配到的单词或短语出现的形式及出现的次数。