[发明专利]一种逐点互信息的确定方法和相关设备

说明书

本申请实施例公开了一种逐点互信息的确定方法和相关设备，在计算第一文本和第二文本的逐点互信息时，可以获取第一文本、第二文本和包括多个文本的目标样本，然后，可以确定第一文本针对目标样本的第一出现频次和第二文本针对目标样本的第二出现频次。其中，第一出现频次是根据第一文本在目标样本中出现的第一数量和第二文本在目标样本中出现的第二数量得到的。最后，根据第一出现频次和第二出现频次，确定第一文本和第二文本的目标逐点互信息。该方法中，通过应用第二文本在目标样本中出现的第二数量对第一出现频次进行平滑处理，由此提高了计算逐点互信息的准确性。

技术领域

本申请涉及数据处理领域，特别是涉及一种逐点互信息的确定方法和相关设备。

背景技术

当用户在使用文档编辑软件输入文本内容时，可能会因为打字失误，使得输入的文本中包含错误的词语。该种情形下，文档编辑软件会自动对已输入的文本内容做错误检查，如果用户输入内容有错，则系统会以“标红”等方式提示用户，甚至会给出潜在的提示纠错串。

目前，用于输入文本检错的一种方式是通过统计当前输入词语与另外已输入词语在海量文本语料中的逐点互信息(Pointwise Mutual Information，PMI)值，并根据PMI值来判断该词语与上下文共现的概率。其中，PMI可以用于衡量两个词语间的相关程度。如此，当确定的PMI值越大，表示该当前输入词语的正确率越大，反之亦然。

发明内容

为了解决上述技术问题，本申请提供了一种逐点互信息的确定方法和相关设备，提高了计算逐点互信息的准确性。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种逐点互信息的确定方法，所述方法包括：

获取第一文本、第二文本和包括多个文本的目标样本；

确定所述第一文本针对所述目标样本的第一出现频次和所述第二文本针对所述目标样本的第二出现频次，其中，所述第一出现频次是根据所述第一文本在所述目标样本中出现的第一数量和所述第二文本在所述目标样本中出现的第二数量得到的；

根据所述第一出现频次和第二出现频次，确定所述第一文本和第二文本的目标逐点互信息。

第二方面，本申请实施例提供了一种逐点互信息的确定方法，所述方法包括：

获取第一文本、第二文本和包括多个文本的目标样本；

根据所述第一文本、第二文本和所述目标样本，确定所述第一文本和所述第二文本的子逐点互信息；

根据所述第一文本和所述第二文本，确定所述语言模型分数；

根据所述子逐点互信息和所述语言模型分数，确定所述第一文本和第二文本的目标逐点互信息。

第三方面，本申请实施例提供了一种逐点互信息的确定装置，所述装置包括第一获取单元和第一确定单元：

所述第一获取单元，用于获取第一文本、第二文本和包括多个文本的目标样本；

所述第一确定单元，用于确定所述第一文本针对所述目标样本的第一出现频次和所述第二文本针对所述目标样本的第二出现频次，其中，所述第一出现频次是根据所述第一文本在所述目标样本中出现的第一数量和所述第二文本在所述目标样本中出现的第二数量得到的；

所述第一确定单元，还用于根据所述第一出现频次和第二出现频次，确定所述第一文本和第二文本的目标逐点互信息。

第四方面，本申请实施例提供了一种逐点互信息的确定装置，所述装置包括第二获取单元和第二确定单元：

所述第二获取单元，用于获取第一文本、第二文本和包括多个文本的目标样本；