[发明专利]语料标注方法及装置

说明书

本发明实施例提供的一种语料标注方法及装置，可以对待标注语料库中的各语料进行切词，获得所述待标注语料库对应的多个待转换词；根据训练语料库对应的各词的词向量确定所述待标注语料库对应的各待转换词的词向量，其中，所述训练语料库对应的各词是对所述训练语料库中各语料进行切词后得到的；根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量；对各语料向量进行聚类，获得多个聚类簇，对各聚类簇进行标注。由于本发明实现了对语料向量的聚类标注，因此无需对每一个语料单独进行标注，更加方便和快捷，有效提高了语料标注的效率。

技术领域

本发明涉及自然语言处理领域，特别涉及语料标注方法及装置。

背景技术

对语料库中的语料进行标注是自然语言处理领域的一种重要技术，在查询短语(Query)分析等方面有着广泛的应用。

现有的语料标注技术需要分别对语料库中的每一个语料单独进行标注，由于语料库中的语料数量较多，因此现有语料标注技术的标注效率较低。

如何提高语料标注的效率仍是本领域一个亟待解决的技术难题。

发明内容

有鉴于此，本发明提供一种语料标注方法及装置，以实现对语料的高效率批注，技术方案如下：

一种语料标注方法，包括：

对待标注语料库中的各语料进行切词，获得所述待标注语料库对应的多个待转换词；

根据训练语料库对应的各词的词向量确定所述待标注语料库对应的各待转换词的词向量，其中，所述训练语料库对应的各词是对所述训练语料库中各语料进行切词后得到的；

根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量；

对各语料向量进行聚类，获得多个聚类簇，对各聚类簇进行标注。

可选的，所述根据训练语料库对应的各词的词向量确定所述待标注语料库对应的各待转换词的词向量，包括：

对所述待标注语料库对应的任一个待转换词：在训练语料库对应的各词中查找该待转换词，如查找到，则从所述训练语料库对应的各词的词向量中确定该转换词的词向量。

可选的，所述根据所述待标注语料库对应的各待转换词的词向量确定所述待标注语料库中各语料的语料向量，包括：

确定所述待标注语料库对应的各待转换词的权重；

根据所述待标注语料库对应的各待转换词的词向量和所述权重确定所述待标注语料库中各语料的语料向量。

可选的，所述根据所述待标注语料库对应的各待转换词的词向量和所述权重确定所述待标注语料库中各语料的语料向量，包括：

通过公式

计算获得所述待标注语料库中各语料的语料向量v(q_j)，其中，所述j为所述待标注语料库中语料的编号，所述i为语料切词得到的各待转换词的编号，所述q_j为所述待标注语料库中编号为j的语料，所述n为语料q_j切词得到的各转换词的数量，所述t_ij为编号为j的语料切词得到的编号为i的待转换词，所述w(t_ij)为待转换词t_ij的权重，所述v(t_ij)为待转换词t_ij的词向量，所述j、所述i和所述n均为自然数。

可选的，所述确定所述待标注语料库对应的各待转换词的权重，包括：

根据公式