[发明专利]一种基于词向量的缩写词歧义消除系统及方法

权利要求书

1.一种基于词向量的缩写词歧义消除系统，其特征在于：它包括预处理模块、关键词选择模块、词向量表示生成模块、缩写词库和缩写词消歧模块；

所述预处理模块将对含有目标缩写词的待检测文档中所有非字母符号及停用词全部去除，并将预处理后的文档传送给所述关键词选择模块；

所述关键词选择模块针对处理后的文档，选择出现在目标缩写词前后距离小于固定长度以内的词语作为备选关键词，并对备选关键词通过相对重要性进行筛选得到上下文关键词，并将得到所有目标缩写词的上下文关键词集合传送给所述词向量表示生成模块；

所述缩写词库具有训练数据集中所有词语对应的词向量集合，并将其传送给所述词向量表示生成模块；还具有训练数据集中每个目标缩写词的词向量表示，并传送给所述缩写词消歧模块；

所述词向量表示生成模块将所有上下文关键词所对应的词向量进行加和，得到待检测文档中每个目标缩写词的词向量表示，并将其传送给所述缩写词消歧模块；

所述缩写词消歧模块将目标缩写词的词向量表示与所述缩写词库中的目标缩写词的每个意义的词向量表示做比对，选择选择最相似的意义作为待检测文档中目标缩写词的意义。

2.如权利要求1所述的一种基于词向量的缩写词歧义消除系统，其特征在于：目标缩写词包括首字母缩略词。

3.如权利要求1所述的一种基于词向量的缩写词歧义消除系统，其特征在于：训练数据集是一系列含有至少一个目标缩写词的文档，且每一篇文档中的目标缩写词意义已知。

4.如权利要求2所述的一种基于词向量的缩写词歧义消除系统，其特征在于：训练数据集是一系列含有至少一个目标缩写词的文档，且每一篇文档中的目标缩写词意义已知。

5.如权利要求1或2或3或4所述的一种基于词向量的缩写词歧义消除系统，其特征在于：所述缩写词库包括预处理单元、词向量训练单元、关键词选择单元和词向量表示生成单元；

所述预处理单元包括文本清理机构和缩写词整理机构；所述文本清理机构将包含目标缩写词的训练数据集中的每一篇文档中所有非字母符号及停用词全部去除，传送给所述缩写词整理机构；所述缩写词整理机构将训练数据集中目标缩写词的每一个意义及每一意义对应起来并进行标号，并将预处理后的文档分别传送给所述词向量训练单元和所述关键词选择单元；所述词向量训练单元针对预处理后的训练数据集，采用词向量工具进行词向量训练，得到训练数据集中所有词语对应的词向量集合，并将该词向量集合分别传送给所述词向量表示生成模块和所述词向量表示生成单元；

所述关键词选择单元针对训练数据集中的每一个目标缩写词，从所有含有该目标缩写词的文档中选择目标缩写词前后距离小于固定长度以内的词语作为备选关键词，并对备选关键词通过在文档中的相对重要性进行筛选，得到所有目标缩写词的上下文关键词集合，并将该上下文关键词集合传送给所述词向量表示生成单元；

所述词向量表示生成单元将所有上下文关键词集合中的上下文关键词所对应的词向量进行加和，得到训练数据集中每个目标缩写词的词向量表示，并将其传送给所述缩写词消歧模块；

所述词向量表示生成模块在所述缩写词库传送的上下文关键词所对应的词向量进行加和，得到待检测文档中每个目标缩写词的词向量表示，并将其传送给所述缩写词消歧模块。

6.如权利要求5所述的一种基于词向量的缩写词歧义消除系统，其特征在于：所述词向量训练单元中词向量工具采用Word2Vec，进行词向量训练时的维度为200维。