[发明专利]基于bert的句子向量生成方法、装置及电子设备

说明书

本申请公开了一种基于bert的句子向量生成方法、装置及电子设备，通过生成与各transformer encoder层一一对应的各初始句向量，将各所述初始句向量分别与预设句向量进行相似度计算，获取与各所述初始句向量一一对应的各相似度分值，并根据各所述相似度分值，生成各所述初始句向量的向量权重；根据各所述初始句向量及各所述初始句向量对应的向量权重，对各所述初始句向量进行加权求和，生成目标句向量。由于每层transformer encoder层都学习到了文本的不同语义信息，通过生成各transformer encoder层对应的初始句向量并利用对应于每一层的初始句向量生成目标句向量作为文本的最终的向量表达形式，提高输出向量对文本的语义表达的准确率。

技术领域

本申请涉及文本处理技术领域，特别涉及一种基于bert的句子向量生成方法、装置及电子设备。

背景技术

现有的文本分类技术，一般是通过Natural Language Processing(自然语言处理)，简称NLP，来确定文本的语义，进而确定文本的类别。在基于深度神经网络的NLP任务中，用于NLP任务的文本的字/词通常采用词向量来表示。为使词向量的表达更为贴近文本的语义，现有技术中，会采用bert模型来将文本转换为词向量，其中，bert模型在处理文本时，会在文本前插入一个[CLS](无义字符)符号，并将该符号对应的输出向量作为整篇文本的语义表示，从而利用该输出向量进行NLP，以提高文本分类的准确率。

但在采用上述方法得到[CLS]对应的输出向量时，发现由于现有技术中，bert模型是采用最后一层的[CLS]对应的输出向量作为整篇文本的语义表示，而bert模型一般具有12层或24层transformer encoder层，每层transformer encoder层提取到[CLS]中的语义重点都是不同的，若只采用最后一层的[CLS]对应的输出向量作为整篇文本的语义表示，会漏掉某一层transformer encoder层中提取到的整个句子中的某些重要信息，导致其对应的输出向量无法很好的表达文本的语义。

发明内容

本申请的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于bert的句子向量生成方法、装置、计算机可读存储介质以及电子设备，提高输出向量对文本的语义表达的准确率。

第一方面，本申请实施例提供一种基于bert的句子向量生成方法，包括：

获取输入文本；

根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应的各初始句向量；

将各所述初始句向量分别与预设句向量进行相似度计算，获取与各所述初始句向量一一对应的各相似度分值，并根据各所述相似度分值，生成各所述初始句向量的向量权重；

根据各所述初始句向量及各所述初始句向量对应的向量权重，对各所述初始句向量进行加权求和，生成目标句向量。

进一步的，所述根据bert模型对所述输入文本进行处理，生成与各transformerencoder层一一对应各初始句向量，包括：

根据bert模型对所述输入文本进行处理，提取各transformer encoder层根据所述输入文本的无义字符生成的各词向量作为各所述初始句向量。

进一步的，所述根据bert模型对所述输入文本进行处理，生成与各transformerencoder层一一对应各初始句向量，包括：

根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应的各词向量集后，对所述词向量集中的各词向量进行加权平均，生成所述初始句向量。

进一步的，所述根据各所述相似度分值，生成各所述初始句向量的向量权重，包括：