[发明专利]词序识别性能的分析方法、装置、设备及存储介质

说明书

本申请公开了一种词序识别性能的分析方法、装置、设备及存储介质，该方法包括：获取至少一条已调序语句以及该已调序语句中调序词的初始位置和调整后位置；利用待测试的神经网络模型转换出该已调序语句对应的语句向量；针对每条该已调序语句，依据该已调序语句的语句向量以及训练出的位置预测模型，预测该调序词的第一预测位置以及第二预测位置；依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到用于表征神经网络模型识别词序信息性能的位置预测准确度。本申请的方案可以实现有效的分析出神经网络对于词序信息的识别性能。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种词序识别性能的分析方法、装置、设备及存储介质。

背景技术

神经网络模型已经成为人工智能领域的一种核心模型。如，神经网络模型可以应用于自然语言处理中，以实现语音识别或者机器翻译等等任务。

在自然语言处理中，词序信息是一种非常重要的信息维度，其中，词序是指词在词组或句子里的先后次序。由此可知，神经网络对于词序信息的识别能力(俗称的词序捕获能力)是评价神经网络对自然语言处理的处理性能的一种重要维度。

而神经网络对自然语言处理任务的处理性能却与多种因素有关，如，利用神经网络进行机器翻译任务时，翻译质量不仅仅与词序有关，还会与词法、语义以及语句流畅度等因素有关，由此可知，基于神经网络对自然语言处理任务的处理结果很难有效评价神经网络的词序识别性能。基于此，如何分析出不同神经网络对于词序的识别性能是本领域技术人员迫切需要解决的技术问题。

发明内容

有鉴于此，本申请提供了一种词序识别性能的分析方法、装置、设备及存储介质，以实现有效的分析出神经网络对于词序的识别性能。

为实现上述目的，本申请提供了如下方案：

一方面，本申请提供了一种词序识别性能的分析方法，包括：

获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；

利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；

针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；

依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。

在一种可能的实现方式中，所述依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，包括：

利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；

利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。

在又一种可能的实现方式中，所述利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置，包括：

利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；