[发明专利]文本分类方法、语言模型训练方法、装置及设备

说明书

本申请公开了一种文本分类方法、语言模型训练方法、装置及设备，涉及人工智能和自然语言处理技术领域。所述方法包括：获取输入文本；获取输入文本的字与字之间、词与词之间、字与词之间的关系表征向量，该关系表征向量用于表征语义关系；基于关系表征向量确定关联特征向量，该关联特征向量用于表征关系表征向量的不同维度特征之间的语义关联性；基于关联特征向量，确定输入文本的分类结果。本申请实现了获取丰富的用于表征语义关系的关系表征向量，并通过获取关系表征向量的不同维度特征之间的语义关联性，从而挖掘和丰富更深层次的语义信息，充分提升了对输入文本的语义理解能力，从而提升最终的分类准确度。

技术领域

本申请实施例涉及人工智能和自然语言处理技术领域，特别涉及一种文本分类方法、语言模型训练方法、装置及设备。

背景技术

人工智能方向的机器学习技术，已经越来越多地应用于自然语言处理任务中。

通过机器学习技术训练语言模型，而后采用该语言模型对输入文本进行分析处理，输出相应的自然语言处理结果。

目前的语言模型对输入文本的语义理解能力有限，进而影响最终的性能。

发明内容

本申请实施例提供了一种文本分类方法、语言模型训练方法、装置及设备，能够提升语言模型对输入文本的语义理解能力，从而提升模型性能。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种文本分类方法，所述方法包括：

获取输入文本；

获取所述输入文本的字与字之间、词与词之间、字与词之间的关系表征向量，所述关系表征向量用于表征语义关系；

基于所述关系表征向量确定关联特征向量，所述关联特征向量用于表征所述关系表征向量的不同维度特征之间的语义关联性；

基于所述关联特征向量，确定所述输入文本的分类结果。

根据本申请实施例的一个方面，提供了一种语言模型训练方法，所述方法包括：

获取语言模型的训练样本，所述训练样本为文本；

通过所述语言模型获取所述训练样本的字与字之间、词与词之间、字与词之间的关系表征向量，所述关系表征向量用于表征语义关系；

基于所述关系表征向量确定关联特征向量，所述关联特征向量用于表征所述关系表征向量的不同维度特征之间的语义关联性；

基于所述关联特征向量，确定所述训练样本的预测分类结果；

基于所述预测分类结果对所述语言模型进行训练。

根据本申请实施例的一个方面，提供了一种文本分类装置，所述装置包括：

输入文本获取模块，用于获取输入文本；

关系向量获取模块，用于获取所述输入文本的字与字之间、词与词之间、字与词之间的关系表征向量，所述关系表征向量用于表征语义关系；

关联向量确定模块，用于基于所述关系表征向量确定关联特征向量，所述关联特征向量用于表征所述关系表征向量的不同维度特征之间的语义关联性；

分类结果确定模块，用于基于所述关联特征向量，确定所述输入文本的分类结果。

根据本申请实施例的一个方面，提供了一种语言模型训练装置，所述装置包括：

训练样本获取模块，用于获取语言模型的训练样本，所述训练样本为文本；

关系向量获取模块，用于通过所述语言模型获取所述训练样本的字与字之间、词与词之间、字与词之间的关系表征向量，所述关系表征向量用于表征语义关系；