[发明专利]基于BERT的文本分类方法、装置、计算机设备及存储介质

权利要求书

1.一种基于BERT的文本分类方法，其特征在于，包括下述步骤：

接收用户通过请求终端发送的携带有咨询数据的会话请求；

响应所述会话请求，将所述咨询数据输入至基于三元组损失函数训练好的BERT网络进行特征转化操作，得到会话特征向量；

将所述会话特征向量输入至Dense分类层进行类别预测操作，得到预测分类结果；

读取话术数据库，在所述话术数据库中获取与所述预测分类结果相对应的话术答复信息；

向所述请求终端发送所述话术答复信息，以完成咨询会话答复。

2.根据权利要求1所述的基于BERT的文本分类方法，其特征在于，在所述响应所述会话请求，将所述咨询数据输入至基于三元组损失函数训练好的BERT网络进行特征转化操作，得到会话特征向量的步骤之前，所述方法还包括下述步骤：

读取训练数据库，在所述训练数据库中获取训练文本数据集，所述训练文本数据集至少包括第一正例样本、与所述第一正例样本类别相同的第二正例样本以及与所述第一正例样本类别不同的随机样本；

将所述第一正例样本、所述第二正例样本以及所述随机样本分别输入至原始BERT网络进行所述特征转化操作，得到第一特征向量、第二特征向量以及随机特征向量；

对所述第一特征向量以及所述第二特征向量进行向量相似度计算操作，得到同类向量相似度；

对所述第一特征向量以及所述随机特征向量进行所述向量相似度计算操作，得到非同类向量相似度；

基于所述同类向量相似度、所述非同类向量相似度以及所述三元组损失函数对所述BERT网络进行训练操作，得到所述基于三元组损失函数训练好的BERT网络。

3.根据权利要求2所述的基于BERT的文本分类方法，其特征在于，所述基于所述同类向量相似度、非同类向量相似度以及三元组损失函数对所述Bert网络进行训练操作，得到所述基于三元组损失函数训练好的Bert网络的步骤，具体包括下述步骤：

计算所述同类相似度的平均值，得到平均同类向量；

计算所述非同类相似度的平均值，得到平均非同类向量；

基于所述第一特征向量、所述平均同类向量、所述平均非同类向量以及所述三元组损失函数对所述BERT网络进行反向更新操作，得到所述基于三元组损失函数训练好的BERT网络。

4.根据权利要求2所述的基于BERT的文本分类方法，其特征在于，所述基于所述同类向量相似度、非同类向量相似度以及三元组损失函数对所述BERT网络进行训练操作，得到所述基于三元组损失函数训练好的BERT网络的步骤，具体包括下述步骤：

基于所述同类相似度在所述第二特征向量中获取相似度最大的最大同类向量；

基于所述非同类相似度在所述随机特征向量中获取相似度最小的最小随机向量；

基于所述第一特征向量、所述最大同类向量、所述最小随机向量以及所述三元组损失函数对所述BERT网络进行反向更新操作，得到所述基于三元组损失函数训练好的BERT网络。

5.根据权利要求2所述的基于BERT的文本分类方法，其特征在于，所述三元组损失函数表示为：

其中，N表示整个训练集的总数；表示第一正例样本；表示第一特征向量；表示第二正例样本；表示第二特征向量；表示随机样本；表示随机特征向量；α表示第一正例样本与第二正例样本之间的距离和第一正例样本与随机样本之间的距离的最小间隔。

6.根据权利要求1所述的基于BERT的文本分类方法，其特征在于，所述接收用户通过请求终端发送的携带有咨询数据的会话请求的步骤之后，还包括：

将所述咨询数据存储至区块链中。