[发明专利]平滑处理方法和系统

说明书

本发明涉及自然语言处理技术领域，特别是涉及一种平滑处理方法和系统，方法包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据第一出现次数计算缺失词语的归一化频率指标；根据归一化频率指标和剩余概率计算缺失词语的平滑概率，根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。上述方法和系统能够解决了传统的平滑处理方式效果差的问题，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种平滑处理方法和系统。

背景技术

语言模型是处理自然语言过程中，根据语言客观事实而进行的语言抽象数学建模。语言模型会出现数据缺失，对于数据缺失，需要通过平滑算法来解决。平滑算法通过劫取已出现词语的概率，获得用于再分配的剩余概率，将可用于分配的概率按照一定规则分配给缺失词语，缺失词语分配而得的概率称为平滑概率。

发明人发现在传统技术中存在以下问题，以Good Turing平滑算法为例，在 GoodTuring平滑算法中，通过平均分配的方式分配剩余频率，缺失数据进行平滑，但是平均分配的方式未必符合真实情况。因为数据缺失来自两种情况，一是词语本身出错，稀有词语在任何语料中都不可能出现，二是可能只是因为语料本身覆盖不够，出现未登录词语。传统的Good Turing平滑算法无法区分词语本身出错和语料本身覆盖不足这两种情况，导致GoodTuring平滑算法在实际应用中会造成大量误判。

综上所述，传统的平滑处理方式效果差。

发明内容

基于此，有必要针对传统的平滑处理方式效果差问题，提供一种平滑处理方法和系统。

一种平滑处理方法，包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据第一出现次数计算缺失词语的归一化频率指标；根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理，其中，剩余概率为从原语料库中出现次数小于或等于k次的词语的出现概率之和，k为正整数。

上述平滑处理方法，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和剩余概率计算缺失词语的平滑概率，并根据平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。

进一步地，缺失词语为多个；根据第一出现次数计算缺失词语的归一化频率指标的步骤，包括以下步骤：计算各第一出现次数的对数值；对对数值求和，得到对数值之和；分别将各第一出现次数的对数值分别除以对数值之和，得到对应各缺失词语的归一化频率指标。

上述平滑处理方法，通过对各第一出现次数进行数值处理获得归一化频率指标，使得第一出现次数的归一化处理简便，另外对数的处理可以适合出现次数数值较大的情况。

进一步地，计算各第一出现次数的对数值的步骤，包括以下步骤：将各第一出现次数分别增加数值N，获得各个绝对出现次数；计算各绝对出现次数的对数值，将各绝对出现次数的对数值分别作为各第一出现次数的对数值，其中，N为大于1的正整数。

上述平滑处理方法，通过对选取的各第一出现次数分别增加数值N后，进行对数处理，可以避免第一出现次数为0导致无法进行对数处理的情况。

进一步地，根据归一化频率指标和剩余概率计算缺失词语的平滑概率的步骤，包括以下步骤：将缺失词语的归一化频率指标与第一剩余频率的乘积作为缺失词语的平滑概率。