[发明专利]语义特征的生成方法、模型训练方法、装置、设备及介质

权利要求书

1.一种语义特征的生成方法，其中，所述方法包括：

对目标文档进行片段切分，得到目标文档的片段序列；

采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；所述双向语义编码模型包括左编码模块和右编码模块，其中所述左编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的上文片段的语义信息，所述右编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

2.根据权利要求1所述的方法，其中，采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征，包括：

采用所述双向语义编码模型中的左编码模块，获取所述目标文档的片段序列中各文档片段的左编码特征；

采用所述双向语义编码模型中的右编码模块，获取所述目标文档的片段序列中各文档片段的右编码特征；

对于所述目标文档的片段序列中各所述文档片段，将对应的所述文档片段的左编码特征和对应的所述文档片段的右编码特征拼接，得到对应的所述文档片段的语义特征。

3.根据权利要求1或者2所述的方法，其中，基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征，包括：

基于所述目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取所述目标文档的语义特征。

4.根据权利要求3所述的方法，其中，基于所述目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取所述目标文档的语义特征，包括：

计算所述目标文档的片段序列中各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度；

基于各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度，获取与所述待匹配的搜索词的语义特征的相似度最大的所述文档片段的语义特征，作为所述目标文档的语义特征。

5.一种双向语义编码模型的训练方法，其中，所述方法包括：

采集训练数据集；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练；其中所述左编码模块对文档片段编码时参考所述文档片段所在的片段序列中、所述文档片段的上文片段的语义信息，所述右编码模块对所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，包括：

基于采集的所述训练数据集，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行语义匹配任务的训练，使得所述双向语义编码模型学习语义匹配的能力。

6.根据权利要求5所述的方法，其中，采集训练数据集，包括：

采集包括数条训练语料的第一训练数据集。

7.根据权利要求6所述的方法，其中，基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，还包括：

基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练，使得所述左编码模块和所述右编码模块学习预测掩码字符的能力。