[发明专利]基于bert的句子向量生成方法、装置及电子设备

权利要求书

1.一种基于bert的句子向量生成方法，其特征在于，包括：

获取输入文本；

根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应的各初始句向量；

将各所述初始句向量分别与预设句向量进行相似度计算，获取与各所述初始句向量一一对应的各相似度分值，并根据各所述相似度分值，生成各所述初始句向量的向量权重；其中，所述预设句向量的训练方法为将训练文本通过Bert模型12层transformer encoder层对应生成的12个句向量作为训练集输入到句子注意力机制层中，句子注意力机制层与分类器连接，其根据上述12个句向量输出的输出句向量作为分类器的输入，通过利用训练集对句子注意力模块和分类器进行训练，从而获得能够用于文本分类任务的句子注意力模块和分类器；与所述预设句向量相似度越大则对应的初始句向量赋予更大的权重；

根据各所述初始句向量及各所述初始句向量对应的向量权重，对各所述初始句向量进行加权求和，生成目标句向量。

2.根据权利要求1所述的一种基于bert的句子向量生成方法，其特征在于，所述根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应各初始句向量，包括：

根据bert模型对所述输入文本进行处理，提取各transformer encoder层根据所述输入文本的无义字符生成的各词向量作为各所述初始句向量。

3.根据权利要求1所述的一种基于bert的句子向量生成方法，其特征在于，所述根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应各初始句向量，包括：

根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应的各词向量集后，对所述词向量集中的各词向量进行加权平均，生成所述初始句向量。

4.根据权利要求1所述的一种基于bert的句子向量生成方法，其特征在于，所述根据各所述相似度分值，生成各所述初始句向量的向量权重，包括：

对各所述相似度分值进行归一化处理，生成各所述初始句向量的向量权重。

5.根据权利要求4所述的一种基于bert的句子向量生成方法，其特征在于，所述归一化处理通过softmax函数完成。

6.一种基于bert的句子向量生成装置，其特征在于，包括：

文本获取模块，用于获取输入文本；

文本处理模块，用于根据bert模型对所述输入文本进行处理，生成与各transformerencoder层一一对应的各初始句向量；

权重生成模块，用于将各所述初始句向量分别与预设句向量进行相似度计算，获取与各所述初始句向量一一对应的各相似度分值，并根据各所述相似度分值，生成各所述初始句向量的向量权重；其中，所述预设句向量的训练方法为将训练文本通过Bert模型12层transformer encoder层对应生成的12个句向量作为训练集输入到句子注意力机制层中，句子注意力机制层与分类器连接，其根据上述12个句向量输出的输出句向量作为分类器的输入，通过利用训练集对句子注意力模块和分类器进行训练，从而获得能够用于文本分类任务的句子注意力模块和分类器；与所述预设句向量相似度越大则对应的初始句向量赋予更大的权重；

向量生成模块，用于根据各所述初始句向量及各所述初始句向量对应的向量权重，对各所述初始句向量进行加权求和，生成目标句向量。

7.根据权利要求6所述的基于bert的句子向量生成装置，其特征在于，所述文本处理模块具体用于：

根据bert模型对所述输入文本进行处理，提取各transformer encoder层根据所述输入文本的无义字符生成的各词向量作为各所述初始句向量；或，

根据bert模型对所述输入文本进行处理，生成与各transformer encoder层一一对应的各词向量集后，对所述词向量集中的各词向量进行加权平均，生成所述初始句向量。