[发明专利]语料标注方法及装置

权利要求书

1.一种语料标注方法，其特征在于，包括：

对待标注语料库中的各语料进行切词，获得所述待标注语料库对应的多个待转换词；

根据训练语料库对应的各词的词向量确定所述待标注语料库对应的各待转换词的词向量，其中，所述训练语料库对应的各词是对所述训练语料库中各语料进行切词后得到的；

根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量；

对各语料向量进行聚类，获得多个聚类簇，对各聚类簇进行标注。

2.根据权利要求1所述的方法，其特征在于，所述根据训练语料库对应的各词的词向量确定所述待标注语料库对应的各待转换词的词向量，包括：

对所述待标注语料库对应的任一个待转换词：在训练语料库对应的各词中查找该待转换词，如查找到，则从所述训练语料库对应的各词的词向量中确定该转换词的词向量。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量，包括：

确定所述待标注语料库对应的各待转换词的权重；

根据所述待标注语料库对应的各待转换词的词向量和所述权重确定所述待标注语料库中各语料的语料向量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待标注语料库对应的各待转换词的词向量和所述权重确定所述待标注语料库中各语料的语料向量，包括：

通过公式

计算获得所述待标注语料库中各语料的语料向量v(q_j)，其中，所述j为所述待标注语料库中语料的编号，所述i为语料切词得到的各待转换词的编号，所述q_j为所述待标注语料库中编号为j的语料，所述n为语料q_j切词得到的各转换词的数量，所述t_ij为编号为j的语料切词得到的编号为i的待转换词，所述w(t_ij)为待转换词t_ij的权重，所述v(t_ij)为待转换词t_ij的词向量，所述j、所述i和所述n均为自然数。

5.根据权利要求3所述的方法，其特征在于，所述确定所述待标注语料库对应的各待转换词的权重，包括：

根据公式

w(t_ij)＝freq(t_ij)×idf(t_ij)

计算获得所述待标注语料库对应的各待转换词t_ij的权重w(t_ij)，其中，所述j为所述待标注语料库中语料的编号，所述i为语料切词得到的各待转换词的编号，所述t_ij为编号为j的语料切词得到的编号为i的待转换词，所述freq(t_ij)为待转换词t_ij在编号为j的语料中出现的频次，所述idf(t_ij)为待转换词t_ij的逆文档频率，所述j和所述i均为自然数。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量之后，所述对各语料向量进行聚类之前，所述方法还包括：

对确定的各语料的语料向量进行归一化处理；

所述对各语料向量进行聚类，包括：

对归一化处理后的各语料向量进行聚类。