[发明专利]一种词句生成方法、模型训练方法及相关设备

说明书

本申请实施例公开了人工智能领域的一种词句生成方法、模型训练方法及相关设备，可用于输入法中的词句推荐。该方法包括：获取字符串序列，该字符串序列包括M个字符串，每个字符串指示一个或多个候选词语；通过编码器将字符串编码为字符串向量，再基于字符串向量，获取字符串指示的每个候选词语的第一概率；最后基于第一概率，生成目标词句，目标词句包括M个目标词语，每个目标词语为每个字符串指示的一个或多个候选词语中的一个。本申请实施例能够提高生成的目标词句的准确率，从而提高输入法推荐的准确度。

技术领域

本申请涉及输入法技术领域，尤其涉及一种词句生成方法、模型训练方法及相关设备。

背景技术

输入法编辑器是客户端必备的应用程序，广泛的应用于台式机、笔记本、手机、平板、智能电视、车载电脑等设备中；并且，用户的日常活动，如：搜索地点、查找餐馆、聊天交友、出行规划等，很大程度上会转化为用户的输入行为，所以利用输入法编辑器的数据能够对用户进行精准的刻画。因此，输入法编辑器在互联网领域，具有重大的战略意义。

在输入场景下，用户在设备上输入字符(例如拼音)后，输入法编辑器会生成词句(词语或句子)并提示该词句以供用户选择，生成的词句的准确率直接影响输入法编辑器的准确率以及用户的体验；为此，需要一种能够准确生成词句的方法。

发明内容

本申请实施例提供了一种词句生成方法、模型训练方法及相关设备，该方法能够提高生成的词句的准确率。

本申请实施例第一方面提供了一种词句生成方法，该方法可以应用于终端设备，也可以应用于云端服务器，具体包括：获取字符串序列，字符串序列包括M个字符串，每个字符串指示一个或多个候选词语；其中，字符串可以理解为字符的组合，是一种语言信息的载体，承载发音信息，用于生成词语或句子；对应不同种类的语言，字符串的形式不同，以中文为例，字符串可以包括一个拼音或多个拼音，M为正整数；根据字符串序列，通过编码器，得到M个第一字符串向量，每个第一字符串向量对应M个字符串中的一个字符串；编码器可以理解为一个深度学习网络模型，编码器的网络结构有多种，本申请实施例对此不做具体限定；具体地，编码器的网络结构可以采用Transformer网络的编码器部分的网络结构，或采用由Transformer网络的编码器部分得到的一系列其他网络的网络结构；基于M个第一字符串向量，获取M个字符串指示的每个候选词语的第一概率，候选词语的第一概率可以理解为，在用户输入字符串的情况下，用户从该字符串指示的所有候选词语中选择当前候选词语的概率；基于第一概率，生成目标词句，目标词句包括M个目标词语，每个目标词语为每个字符串指示的一个或多个候选词语中的一个，具体地，目标词句可以是一个词语，也可以是一个句子。

通过编码器对字符串序列进行编码，以得到第一字符串向量，该第一字符串向量是融合了整个字符串序列的信息后对字符串的表示，而不仅仅表示字符串本身，即第一字符串向量包含了较多的信息；所以基于第一字符串向量计算目标词语的第一概率，并基于第一概率生成目标词句，能够提高生成的目标词句的准确率，从而提高输入法的准确度。

作为一种可实现的方式，根据字符串序列，通过编码器，得到M个第一字符串向量包括：根据字符串序列获取M个第一位置向量和M个第二字符串向量，每个第一位置向量表示一个字符串在字符串序列中的位置，每个第二字符串向量表示一个字符串；根据M个第一位置向量和M个第二字符串向量，通过编码器，得到多个第一字符串向量。

Bert模型需要根据词语的位置向量、词语的向量、用于区分词语位于第一个句子还是第二个句子的向量，以及与分割符“SEP”和标记“CLS”相关的向量，才能编码得到词语的向量，而在本申请实施例中，仅根据字符串的第一位置向量和第二字符串向量这两种向量，即可通过编码器得到第一字符串向量；因此，本申请实施例中的编码器需要处理的向量更少，编码效率较高，从而提高输入法的反应速度。

作为一种可实现的方式，编码器是基于转换任务训练得到的，其中，转换任务是将样本字符串序列转换成样本词句的任务。