[发明专利]语义表示模型的生成方法、装置、电子设备及存储介质

说明书

本申请公开了语义表示模型的生成方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及自然语言处理、深度学习技术领域。具体实现方案为：获取文本集合，并获取文本中待掩码的知识单元，并对知识单元中的多个字符采用多个掩码符进行替换以生成替换文本，其中，多个掩码符构成掩码符串；之后，对掩码符串进行调整以生成掩码文本；根据每个文本对应的掩码文本以及待掩码的知识单元，生成训练文本集合；根据训练文本集合生成语义表示模型。该方法通过对掩码符串进行调整，生成动态长度的掩码文本，可避免语义表示模型建模过程中待掩码的知识单元的长度信息泄露的问题，使得语义表示模型能够更加全面地学到文本知识信息，增强了语义表示模型的建模能力。

技术领域

本申请涉及人工智能技术领域，具体涉及自然语言处理、深度学习技术领域，尤其涉及语义表示模型的生成方法、装置、电子设备及存储介质。

背景技术

目前，NLP(Natural Language Processing，自然语言处理)是人工智能领域的一个重要的研究方向。相关技术中，针对NLP，主要通过ERNIE(Knowledge Masking Bi-direction Language Model，知识掩蔽双向语言模型)进行语义分析。但是，上述技术中，模型的掩码只能是把文本实体掩盖成等量的符号进行语义预测，导致原有文本实体的长度信息存在泄漏问题，使模型无法完全学到文本实体的所有信息。

发明内容

提供了一种语义表示模型的生成方法、装置、电子设备及存储介质。

根据第一方面，提供了一种语义表示模型的生成方法，该方法通过把文本集合中的待掩码的知识单元中的字符采用掩码符串进行替换，并对掩码符串进行调整，生成动态长度的掩码文本，根据文本对应的动态长度的掩码文本以及待掩码的知识单元生成的训练文本集合，生成语义表示模型。由此，采用动态长度的掩码文本可避免语义表示模型建模过程中待掩码的知识单元的长度信息泄露的问题，使得语义表示模型能够更加全面地学到文本知识信息，增强了语义表示模型的建模能力。

本申请第二方面提出了一种语义表示模型的生成装置。

本申请第三方面提出了一种电子设备。

本申请第四方面提出了一种存储有计算机指令的非瞬时计算机可读存储介质。

本申请第一方面实施例提出了一种语义表示模型的生成方法，包括：获取文本集合，其中，所述文本集合包括多个文本，以及每个文本对应的替换文本，所述替换文本为对所述文本中待掩码的知识单元进行掩码符串替换后得到的文本；对所述替换文本中的所述掩码符串进行调整以生成所述文本对应的掩码文本；根据每个所述文本对应的所述掩码文本以及所述待掩码的知识单元，生成训练文本集合；以及，根据所述训练文本集合生成语义表示模型。

本申请实施例的语义表示模型的生成方法，通过获取文本集合，其中，所述文本集合包括多个文本，以及每个文本对应的替换文本，所述替换文本为对所述文本中待掩码的知识单元进行掩码符串替换后得到的文本；对所述替换文本中的所述掩码符串进行调整以生成掩码文本；根据每个所述文本对应的所述掩码文本以及所述待掩码的知识单元，生成训练文本集合；以及，根据所述训练文本集合生成语义表示模型，该方法通过把文本集合中的待掩码的知识单元中的字符采用掩码符串进行替换，并对掩码符串进行调整，生成动态长度的掩码文本，根据文本对应的动态长度的掩码文本以及待掩码的知识单元生成的训练文本集合，生成语义表示模型。由此，采用动态长度的掩码文本可避免语义表示模型建模过程中待掩码的知识单元的长度信息泄露的问题，使得语义表示模型能够更加全面地学到文本知识信息，增强了语义表示模型的建模能力。