[发明专利]语言模型的解码方法及解码器

说明书

本发明实施例提供一种语言模型的解码方法及解码器，该方法包括：根据上下文向量，预测获得每个义原在待预测单词中的出现概率，待预测单词为上下文向量对应的下个单词；根据上下文向量及每个义原在待预测单词中的出现概率，预测获得义原对应的每个词义在待预测单词中的出现概率；对每个词义在待预测单词的出现概率进行边缘化处理，预测获得词义对应的每个目标单词为待预测单词的概率。本发明实施例通过在语言模型中以义原‑词义‑单词的层次进行解码，获得每个目标单词为待预测单词的概率，与现有技术中仅在词的层面上进行预测相比，由于从义原和词义的层面上充分考虑了单词之间的相互关联，层次化了预测过程，能够提升预测的准确性。

技术领域

本发明实施例涉及自然语言处理领域，更具体地，涉及一种语言模型的解码方法及解码器。

背景技术

随着社会飞速发展，我们已经进入信息爆炸时代，每天都会有海量新的文本数据产生。对自然语言处理的研究旨在实现人与计算机之间使用自然语言进行有效通信的各种理论和方法。得益于深度学习技术的发展，由数据驱动的自然语言处理技术在机器翻译、自动摘要等领域均取得了长足的进步。而在这些任务中，语言模型都起到了至关重要的作用。语言模型的目标是衡量在某种语言中，一段词语序列出现的概率，进而可通过条件概率公式分解为各时刻给定上文词语时出现下一词语的概率的乘积。现有技术中，语言模型的解码方法是在编码输入序列后直接在词层面或字层面进行预测，但这种方法并没有考虑词与词之间先验的语义关联，因此预测结果并不准确。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的语言模型的解码方法及解码器。

根据本发明实施例的第一方面，提供一种语言模型的解码方法，该方法包括：根据上下文向量，预测获得每个义原在待预测单词中的出现概率，待预测单词为上下文向量对应的下个单词；根据上下文向量及每个义原在待预测单词中的出现概率，预测获得义原对应的每个词义在待预测单词中的出现概率；对每个词义在待预测单词的出现概率进行边缘化处理，预测获得词义对应的每个目标单词为待预测单词的概率。

根据本发明实施例第二方面，提供了一种语言模型的解码器，该解码器包括：义原预测模块，用于根据上下文向量，预测获得每个义原在待预测单词中的出现概率，待预测单词为上下文向量对应的下个单词；词义预测模块，用于根据上下文向量及每个义原在待预测单词中的出现概率，预测获得义原对应的每个词义在待预测单词中的出现概率；单词预测模块，用于对每个词义在待预测单词的出现概率进行边缘化处理，预测获得词义对应的每个目标单词为待预测单词的概率。

根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的语言模型的解码方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的语言模型的解码方法。

本发明实施例提供的语言模型的解码方法及解码器，通过在语言模型中以义原-词义-单词的层次进行解码，获得每个目标单词为待预测单词的概率，与现有技术中仅在词的层面上进行预测相比，由于从义原和词义的层面上充分考虑了单词之间的相互关联，层次化了预测过程，有效提升了语言模型的准确性和可解释性，具有良好的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的语言模型的解码方法的流程示意图；