[发明专利]一种模型训练方法、数据处理方法、装置及电子设备

说明书

本申请涉及一种模型训练方法、数据处理方法、装置及电子设备，属于计算机技术领域。该训练方法包括：获取数据样本集，并按照预设比例划分为训练集和测试集，其中，所述数据样本集包括：网页中与指定目标相关的多条正面评论文本和多条负面评论文本；利用所述训练集和所述测试集对BERT模型进行迭代训练，得到训练好的情感分类模型，其中，所述BERT模型的输入层经过嵌入层后，沿着句子序列长度方向分别做平均池化和最大池化，并将两者级联。通过对BERT模型进行改进，通过将每一句话的平均响应和最大响应考虑在内，使得训练出的词向量不仅含有语义信息，而且还将整个句子的情感极性表达考虑在内，从而提高了情感分类预测的准确性。

技术领域

本申请属于计算机技术领域，具体涉及一种模型训练方法、数据处理方法、装置及电子设备。

背景技术

随着互联网的发展以及电子商务的大众化，网上购物已变成一种广受欢迎的购物方式，电商网站上的购物评论也逐渐增多，这些评论信息表达的是消费者对所购商品的主观感受，对于消费者挑选符合心意的商品具有极大的参考价值，同时，也是商家改进营销策略的重要依据。随着电商平台评论信息的海量堆积，消费者越来越关注自己感兴趣的商品主题信息，例如商品的质量、包装、或者送货速度等。因此，从电商评论中获取商品主题的情感信息是一个热门课题。

目前主流的情感分析方法有三类：一类是基于情感词典的分析方法，这类方法主要依赖于情感词典，并通过人为设计的规则进行情感分类；第二类是传统的基于机器学习的分析方法，这类方法需要挖掘出词语的特征，再使用如支持向量机、朴素贝叶斯、随机森林等分类算法对文本进行情感倾向性的判断；最后一类则为基于深度学习的分析方法，即使用不同的神经网络模型，将文本隐射到向量空间得到词语的数值表示，再将向量输入到分类器中。

基于情感词典的分析方法并不能处理如今的海量文本语料，不仅耗时耗力，准确率也极低。而传统机器学习分析方法，对于文本本身的特征提取依赖严重，整个过程存在人为因素干扰，所以抗鲁棒性较差。而目前一般的深度神经网络是将文本中的句子看作一个个情感词或短语的集合，而不考虑每个词语之间互相组合的关系，训练出的词向量只含有语义信息而忽略了情感极性的表达，对于情感分析类任务，准确率并不高。

发明内容

鉴于此，本申请的目的在于提供一种模型训练方法、数据处理方法、装置及电子设备，以改善现有情感分析方法存在的分类不准确的问题。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供了一种模型训练方法，包括：获取数据样本集，并按照预设比例划分为训练集和测试集，其中，所述数据样本集包括：网页中与指定目标相关的多条正面评论文本和多条负面评论文本；利用所述训练集和所述测试集对BERT模型进行迭代训练，得到训练好的情感分类模型，其中，所述BERT模型的输入层经过嵌入层后，沿着句子序列长度方向分别做平均池化和最大池化，并将两者级联，数据维度由[batch_size，sequence_length，embedding_dimension]经过池化操作后，变为[batch_size，embedding_dimension*2]。本申请实例中，通过对BERT模型进行改进，使得BERT模型的输入层经过嵌入层后，沿着句子序列长度方向分别做平均池化和最大池化，并将两者级联，数据维度由[batch_size，sequence_length，embedding_dimension]经过池化操作后，变为[batch_size，embedding_dimension*2]，通过将每一句话的平均响应和最大响应考虑在内，使得训练出的词向量不仅含有语义信息，而且还考虑了整个句子的情感极性表达，从而提高了预测的准确性。