[发明专利]词典扩充方法及装置、电子设备、存储介质

权利要求书

1.一种词典扩充方法，其特征在于，所述词典对应于文本分类模型，所述文本分类模型根据所述词典进行文本分类，所述方法包括：

获取为所述文本分类模型所采集的若干样本文本，以及获取为所述样本文本所标注的标签数据，所述标签数据指示所述样本文本在所设定分类维度上所归属的分类类别；

对于根据所述样本文本所获得的候选词组，根据所述标签数据进行统计，获得在每一分类维度的各分类类别上包括所述候选词组的样本文本数量；

根据所获得的所述样本文本数量，计算所述候选词组在每一分类维度的各分类类别上的卡方值；

对于每一分类维度的各分类类别，根据所述卡方值进行词组筛选，筛选得到的候选词组作为将文本分类至所述词组自身所对应分类维度下的分类类别的依据；

将筛选得到的所述候选词组和所对应分类维度下对应分类类别关联存储至所述词典中。

2.根据权利要求1所述的方法，其特征在于，所述对于根据所述样本文本所获得的候选词组，根据所述标签数据进行统计，获得在每一分类维度的各分类类别上包括所述候选词组的样本文本数量之前，所述方法还包括：

对所述样本文本进行分词，获得由若干词构成的词序列；

对每一所述样本文本所对应词序列中的词进行组合，获得若干短语；

根据所述词和所述短语生成候选词组集合，所述候选词组集合中的词和短语作为所述候选词组。

3.根据权利要求1所述的方法，其特征在于，所述根据所获得的所述样本文本数量，计算所述候选词组在每一分类维度的各分类类别上的卡方值，包括：

为进行卡方值计算，将每一分类维度的每一分类类别分别作为目标维度和目标类别，以及将每一候选词组分别作为目标词组；

根据所述样本文本数量，在所述目标维度上的分类类别为目标类别和在所述目标维度上的分类类别不是目标类别这两个维度上，分别统计得到包含所述目标词组的样本文本的第一实际数量和不包含所述目标词组的样本文本的第二实际数量；

根据在所述两个维度上所分别统计得到的所述第一实际数量和所述第二实际数量计算所述目标词组在所述目标维度的所述目标类别上的卡方值。

4.根据权利要求3所述的方法，其特征在于，所述根据在所述两个维度上所分别统计得到的所述第一实际数量和所述第二实际数量计算所述目标词组在所述目标维度的所述目标类别上的卡方值，包括：

根据在所述两个维度上所分别统计得到的所述第一实际数量和所述第二实际数量，在所述两个维度上，分别计算得到包含所述目标词组的样本文本的第一理论数量和不包含所述目标词组的样本文本的第二理论数量；

根据所述目标词组在所述两个维度上分别对应的所述第一实际数量、第二实际数量、第一理论数量和第二理论数量，按照公式进行卡方值的计算：

其中χ_i²表示目标词组i的卡方值；

N_i、P_i、n_i、p_i分别表示目标词组i在在所述目标维度上的分类类别为目标类别这一维度上的第一实际数量、第二实际数量、第一理论数量和第二理论数量；

M_i、Q_i、m_i、q_i表示目标词组i在在所述目标维度上的分类类别不是目标类别这一维度上的第一实际数量、第二实际数量、第一理论数量和第二理论数量。

5.根据权利要求1所述的方法，其特征在于，所述对于每一分类维度的各分类类别，根据所述卡方值进行词组筛选，包括：

在每一分类维度的每一分类类别上，按照卡方值从大到小的顺序对所述候选词组进行排序，获得词组排序；

获取位于所述词组排序中前设定数量的候选词组，实现词组筛选。