[发明专利]语料标签生成方法、装置、计算机设备和存储介质

权利要求书

1.一种语料标签生成方法，其特征在于，所述方法包括：

基于当前实体词汇表，对语料样本集合中的每一个语料样本分别进行分词处理，获取与所述语料样本集合对应的多个词元素；

统计每个词元素在所述语料样本集合中出现的次数，得到每个词元素对应的词语频次；

将词语频次处于预设的词语频次区间的词元素标记为实体词汇，并基于具有实体词汇标记的词元素更新所述当前实体词汇表；

根据更新后的实体词汇表，对所述语料样本集合中的每一个语料样本再次分别进行分词处理，并分别对每个语料样本再次分词后所获得的各个词语进行词属性标记并统计数量，基于各词属性对应的词语数量和词属性预设的词语数量阈值，确定语料样本的语料结构，根据语料样本的语料结构确定每个语料样本对应的语料关键词；

对与所述语料样本集合相对应的语料关键词进行聚类分析，根据聚类分析结果对多个语料关键词进行分类，得到与所述语料样本集合对应的至少一个语料类别；

对于每个语料类别，分别计算相应语料类别中的语料关键词的特征值，并将特征值满足条件的语料关键词作为相应语料类别的语料标签。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收新增语料样本，分别计算所述新增语料样本属于所述至少一个语料类别中的每一类的标签概率；

将各标签概率分别与预设的标签概率阈值进行比较，当存在满足预设的标签概率条件的标签概率时，将满足条件的标签概率所属语料类别对应的语料标签，赋予所述新增语料样本；

当不存在满足预设的标签概率条件的标签概率时，将所述新增语料样本存入新增语料样本集合，且当所述新增样本集合达到预设条件时，通过所述新增样本集合对所述语料样本集合进行更新，并基于更新后的语料样本集合重新进行语料标签生成。

3.根据权利要求1所述的方法，其特征在于，所述分别对每个语料样本再次分词后所获得的各个词语进行词属性标记并统计数量，基于各词属性对应的词语数量和词属性预设的词语数量阈值，确定语料样本的语料结构，包括：

分别对每个语料样本分词后所获得的各个词语进行词属性标记，基于所述词属性，对每个语料样本中出现的各个词语进行属性统计；

对于每个语料样本，当每个词属性对应的词语数量均小于对应词属性预设的词语数量阈值时，将当前语料样本标记为第一结构语料；

当存在任一个词属性对应的词语数量大于等于对应词属性预设的词语数量阈值时，将当前语料样本标记为第二结构语料。

4.根据权利要求3所述的方法，其特征在于，所述根据语料样本的语料结构确定每个语料样本对应的语料关键词，包括：

在所述当前语料样本属于第一结构语料时，基于当前语料样本中各个词语的词语特征，确定当前语料样本对应的语料关键词；

在所述当前语料样本属于第二结构语料时，则通过训练好的句法分析模型对当前语料样本进行语义编码，基于编码结果确定当前语料样本对应的语料关键词。

5.根据权利要求1所述的方法，其特征在于，所述统计每个词元素在所述语料样本集合中出现的次数，得到每个词元素对应的词语频次，包括：

将所述多个词元素划分为多个词元素组，每个词元素组中包含有若干具有相同词长度的词元素；

统计每个词元素在所述语料样本集合中出现的次数，以及每个词元素组中的各个词元素在所述语料样本集合中出现的总次数；

基于每个词元素的次数和对应所属词元素组的总次数，确定每个词元素的在所述语料样本集合中的词语频次。

6.根据权利要求1所述的方法，其特征在于，所述基于当前实体词汇表，对语料样本集合中的每一个语料样本分别进行分词处理，获取与所述语料样本集合对应的多个词元素，包括：

对于每个语料样本，去除当前语料样本中的非中文字符，获取对应的语料字符；

基于当前实体词汇表，对各个语料字符进行分词处理，获取每个语料样本对应的词语组合；

汇总各个词语组合，获得与所述多个语料样本相对应的词语集合，对所述词语集合进行去重处理，得到与所述语料样本集合相对应的多个词元素。