[发明专利]一种基于样本概率量化的输入方法、装置和电子设备

说明书

本发明实施例提供了一种基于样本概率量化的输入方法、装置和电子设备，获取用户输入信息，计算得到候选词；对候选词进行概率预测计算，得到候选词的概率值；将候选词的概率值输入至映射函数中，得到候选词对应的概率映射值；其中，映射函数用于将概率值映射至指定概率映射值域范围内，以及在指定概率映射值域范围内，将概率映射值的离散程度调节为期望的离散程度，概率值与概率映射值为一一映射关系；对概率映射值进行取整处理，得到概率映射量化值；根据概率映射量化值，确定候选词的排序次序，以按照排序次序输出候选词列表。本发明实施例降低量化后的概率值失真度，使得基于量化后的概率值所确定的候选词列表顺序与量化前的尽可能保持一致。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种基于样本概率量化的输入方法、装置和电子设备。

背景技术

技术是社会进步的原动力，目前利用大量语料，采用Ngram语言模型进行训练，已经能够为大多数通用语言的用户提供良好的输入体验，例如英语、法语等。然而，对于一带一路沿线国家和地区的相关语言，如阿拉伯语、土耳其语等，由于其语言特性，词汇量巨大，与英语等相比，长尾效应更为突出，使用普通的自然语言处理技术，难以针对长尾部分的海量词汇进行处理，使得一带一路沿线国家和地区的用户无法获得良好的输入体验。

具体地，目前在NLP（Natural Language Processing，自然语言处理）领域的某些语言模型中（如ELMo、BERT、GPT-2等），通过采集大量的语料信息，送入语言模型的神经网络结构中，进行机器学习，从而能使系统对用户的输入信息进行预测。在预测过程中，语言模型根据词频数据（包含词组上下文和单词样本频次）等可以产生候选词的概率值，系统通过对候选词的概率值进行分析，得到最终展示给用户的候选词列表。

在移动端环境中，因为受到数据存储空间的限制，需要将概率值进行量化存储，即将概率值从实数域映射到整数域，再进行运算处理。根据映射方法的不同，概率值会有不同程度的失真。因此，需要提出一种理想的映射方法，使得量化后的概率值尽可能降低失真度，从而使得基于量化后的概率值所确定的候选词列表顺序与量化前的尽可能保持一致。这样，就可以帮助自然语言处理技术进行改进，尤其是扩大长尾部分的候选词的数量，并提高对候选词预测的准确度。如此，对于一带一路沿线国家和地区而言，通过应用新的发明技术，也可以获得良好的输入体验，真正地通过技术改善了人们生活，并实际落地。

发明内容

本发明实施例提供了一种基于样本概率量化的输入方法，可以降低量化后的概率值失真度，使得基于量化后的概率值所确定的候选词列表顺序与量化前的尽可能保持一致。

相应的，本发明实施例还提供了一种基于样本概率量化的输入装置和一种电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例提供了一种基于样本概率量化的输入方法，所述方法包括：

获取用户输入信息，计算得到候选词；

对所述候选词进行概率预测计算，得到所述候选词的概率值；

将所述候选词的所述概率值输入至映射函数中，得到所述候选词对应的概率映射值；其中，所述映射函数用于将所述概率值映射至指定概率映射值域范围内，以及在所述指定概率映射值域范围内，将所述概率映射值的离散程度调节为期望的离散程度，所述概率值与所述概率映射值为一一映射关系；

对所述概率映射值进行取整处理，得到概率映射量化值；

根据所述概率映射量化值，确定所述候选词的排序次序，以按照所述排序次序输出候选词列表。

可选地，在所述对所述候选词进行概率预测计算，得到所述候选词的概率值之前，所述方法还包括：

采集和汇总候选词样本数据，统计得到所述候选词样本的样本种类数量；