[发明专利]一种半监督的领域词挖掘与分类的方法和设备

权利要求书

1.一种半监督的领域词挖掘与分类的方法，其特征在于，包括：

对待处理领域的文本数据进行分词和句法分析，并基于所述分词的结果获取所述文本数据中所有词的词向量矩阵；

以所述文本数据中人工构建的一定数量的种子词为起点，基于所述种子词在所述文本数据中的词性与句法的构成模式扩展种子词，并利用词频、词性、词向量过滤种子词，获得种子词表；

针对所述种子词表，利用词向量、知识库、统计学特征等确定任意两词的总体相似度，并以此生成词语相似度矩阵；

基于所述词语相似度矩阵对所述文本数据进行候选领域词的挖掘，以及确定所述候选领域词的类别概率分布；

针对各候选领域词，基于所述候选领域词的类别概率分布，当对应类别的最大概率与第二大概率的差值大于预设阈值时，确认所述候选领域词为领域词，且所述最大概率对应的类别为所述领域词的类别。

2.如权利要求1所述的方法，其特征在于，所述“基于所述分词的结果获取所述文本数据中所有词的词向量矩阵”包括：

获取对所述文本数据进行分词的结果；

基于所述分词的结果训练word2vec模型，以获取所述文本数据内所有词的词向量矩阵。

3.如权利要求1所述的方法，其特征在于，所述“以所述文本数据中人工构建的一定数量的种子词为起点，基于所述种子词在所述文本数据中的词性与句法的构成模式扩展种子词，并利用词频、词性、词向量过滤种子词，获得种子词表”包括：

获取所述文本数据中，以人工的方式所构建的种子词；其中，所述种子词中包括词与所述词对应的类别；

确定所述种子词在所述文本数据中词性与句法的构成模式；

基于所述构成模式在所述文本数据中确定新的种子词，并集合所有种子词生成初步种子词表；

对所述初步种子词表进行过滤；其中，所述过滤包括低频过滤与词性过滤；进行词性过滤时保留有名词、动词、形容词、副词；

对过滤后的初步种子词表通过word2vec模型的词向量进行Kmeans聚类，以过滤掉非聚簇的离散词，并获取最终的种子词表。

4.如权利要求1所述的方法，其特征在于，所述“针对所述种子词表，利用词向量、知识库、统计学特征等确定任意两词的总体相似度，并以此生成词语相似度矩阵”包括：

通过word2vec模型获取的词向量确定所述文本数据中任意两词的第一相似度；

通过预设知识库的词语相似度确定方法对所述文本数据内任意两词的第二相似度进行确定；

确定所述文本数据内所有词的统计特征；其中，所述统计特征包括：词频、TF/IDF、互信息、熵权重统计学特征；

基于所述文本数据与已构建的种子词表构建词语总体相似度的训练测试集

耦合所述第一相似度、所述第二相似度、所述统计特征，并通过所述训练测试集构建用于确定所述文本数据内任意两词总体相似度的LR计算模型；

基于所述LR计算模型确定所述文本数据内任意两词的总体相似度，并基于所述总体相似度生成词语相似度矩阵。

5.如权利要求1所述的方法，其特征在于，所述“基于所述词语相似度矩阵对所述文本数据进行候选领域词的挖掘，以及确定所述候选领域词的类别概率分布”包括：

将所述文本数据中的非种子词设置为候选领域词；

基于所述词语相似度矩阵获取所述候选领域词语所有种子词的相似度；

将相似度超过预设值的种子词按照类别进行合并，得到不同类别的种子词集合；

针对各所述候选领域词，分析不同类别的所述种子词集合下的相似度特征；其中，所述相似度特征包括：最大相似度、最小相似度、相似度序列均值、相似度序列方差、前3大相似度、最小的3个相似度；

基于所述文本数据与已构建的种子词表，构建词语与类别的相似度训练与测试集；

选取所述相似度特征与所述相似度训练与测试集构建词语与类别的相似度LR计算模型；

通过所述相似度LR计算模型确定各所述候选领域词与不同类别的相似度；

对与不同类别的相似度进行归一化处理，以确定所述候选领域词的类别概率分布。