[发明专利]样本数据的处理方法和装置

权利要求书

1.一种样本数据的处理方法，其特征在于，包括：

获取样本数据中预测词的特征信息；

根据所述预测词的特征信息，确定预先获取的训练数据中每个训练词与所述预测词的相似度信息；

根据每个训练词的相似度信息，确定K个词作为所述预测词的候选词，其中K为大于等于2的整数；

获取对所述K个候选词的标注结果，其中所述标注结果包括所述候选词对应的类别信息；

根据所述K个候选词的标注结果，确定所述预测词的类别信息；

其中，所述根据所述预测词的特征信息，确定预先获取的训练数据中每个词与所述预测词的相似度信息，包括：

计算所述预测词的每个特征信息和同一个训练词的每个特征信息的相似度信息，包括：

判断同一特征信息中的两组特征信息中内容的长度的差值是否大于预先设置的长度阈值，得到判断结果；

如果判断结果为大于所述长度阈值，则利用预先获取的余弦相似度的计算策略，对同一特征信息上预测词对应的内容和训练词对应的内容进行计算，确定所述预测词和所述训练词在同一特征信息的相似度信息；

如果判断结果为小于或等于所述长度阈值，则利用预先获取的Jaccard相似度的计算策略，对同一特征信息上预测词对应的内容和训练词对应的内容进行计算，确定所述预测词和所述训练词在同一特征信息的相似度信息。

2.根据权利要求1所述的方法，其特征在于，所述对同一个训练词的每个特征信息的相似度进行计算，确定每个训练词与预测词的相似度信息，包括：

在利用余弦相似度的计算策略确定同一特征信息的相似度时，获取同一个训练词的每个特征信息的相似度信息，其中所述相似度信息包括每个特征信息的相似度的均值、方差和标准差中的至少一个；对同一个训练词的每个特征信息的相似度信息进行高斯归一化处理，得到所述训练词与所述预测词的相似度信息；

在利用Jaccard相似度的计算策略确定同一特征信息的相似度时，获取同一个训练词的每个特征信息的相似度信息，对同一个训练词的每个特征信息的相似度信息进行最大值最小值归一化处理，得到所述训练词与所述预测词的相似度信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述K个候选词的类别信息，确定所述预测词的类别信息，包括：

按照类别信息对应所述K个候选词进行分类，确定所述K个候选词中同一类别信息的候选词的总数；

根据所述同一类别信息的候选词的总数，从所述K个候选词的类别信息中，选择满足预先设置的高使用率的判断策略的类别信息，作为所述预测词的类别信息。