[发明专利]基于新词发现算法的知识库构建系统

权利要求书

1.一种基于新词发现算法的知识库构建系统，其特征在于，包括图书筛选子系统、分词子系统、筛词子系统；其中

所述图书筛选子系统，用于对电子图书使用ISBN号进行图书资源的唯一标识，并进行标签转换为满足知识元提取条件的图书资源；

所述分词子系统，用于将图书筛选子系统中输出的图书资源进行基于标签权重的新词发现算法的词语切分与提取，得到分词结果；所述分词子系统包括语义分析模块，所述语义分析模块的分词操作采用无词库的基于标签权重的新词发现算法，具体包括：

以互信息、左右熵以及新词IDF作为过滤新词的三个条件，先计算出分词输出的所有词语的互信息、左右熵和词频信息，然后分别计算出每个词语的互信息、左右熵以及词频在所有词语的互信息、左右熵以及词频之和中所占的比重；

为文本抽取得到的文本进行新词属性判定，判定算法如下：

式中各符号的含义如下：

Score_i：第i个单词的得分，

w_m：互信息权重，

w_e：左右熵权重，

所有单词词频的和，

wt_i：第i个单词的标签权重，

en_i：第i个单词的左右熵，

单词出现的总次数，

mi_i：第i个单词的互信息，

w_f：词频权重，

所有单词互信息的和，

freq_i：第i个单词的词频，

单词出现的所有标签的总权重，

c_j为出现的第j个标签的次数，

w_j为该标签的权重；

新词本身的属性得分和新词的标签权重，这两项因素的乘积作为最终的新词得分；

利用最终的新词得分对待提取新词进行排序；

所述筛词子系统，用于对所述分词结果进行筛词任务管理，并对所筛词语进行词语管理并保存。

2.根据权利要求1所述的一种基于新词发现算法的知识库构建系统，其特征在于，所述图书筛选子系统还包括图书预览模块、图书转换模块、图书加载模块、图书管理模块；其中，

所述图书预览模块，用于对初筛之后的图书资源进行PDF和XML的预览校对，判断输入图书资源是否满足知识体系构建的需要；

所述图书转换模块，用于将对输入图书资源进行格式转换，将PDF转换成以分页加载形式的SWF文件，将XML利用XSL文件转换成HTML文件；

所述图书加载模块，用于在本地存在电子图书文件时不从服务器提取文件，从本地加载电子图书文件；

所述图书管理模块，用于对整个图书筛选子系统中所有内容、操作以及工作流程进行管理，包括对电子图书上传、图书资源以及转换任务进行管理、词库管理。

3.根据权利要求1所述的一种基于新词发现算法的知识库构建系统，其特征在于，所述分词子系统包括语义分析模块、词语筛选模块、词间关系计算模块；其中，

所述语义分析模块，用于依据语义分析算法对图书资源的文本内容进行处理，处理过程包括文本抽取、分词、词性标注、标签关联、内容关联五个步骤；

所述词语筛选模块，用于依据词表、词频、词性、XML标签以及已有数字出版行业相关专业词库进行词语筛选，依据行业规则配置的XML标签权重调整词语权重，过滤权重低于给定阈值的词语；

所述词间关系计算模块，用于根据所述词语筛选模块输出的词语集数据计算出各词语之间的关系，结合一本书之内的词间距离、不同书之间的词间距离，利用图论方法建立词语与书、书与书以及词语与词语之间的关联关系，并进行存储。

4.根据权利要求1所述的一种基于新词发现算法的知识库构建系统，其特征在于，还包括，系统管理子系统，包括用户管理模块、角色权限管理模块以及XML标签管理模块；其中，

所述XML标签管理模块，用于原始XML标签文件上传与管理、分词过滤权重管理、词间关系过滤权重管理。