[发明专利]一种在统一识别框架下手写体文本识别器的自然语言模型小型化的方法

权利要求书

1.一种在统一识别框架下手写体文本识别器的自然语言模型小型化的方法，其特征在于，包括以下步骤：

通过存储词汇元组出现概率的传统模式向直接拟合一个泛化了的概率生成函数转变，具体过程如下：采用基于一元、二元和三元线性内插(Interpolation)平滑的自然语言模型，如式(7)所示，

P1(ωi|ωi-2ωi-1)＝λ1P(ωi|ωi-2ωi-1)+λ2P(ωi|ωi-1)+λ3P(ωi) 式(7)

式中，P(ωi|ωi-2ωi-1)，P(ωi|ωi-1)和P(ωi)分别为三元、二元和一元模型，其中λ1，λ2和λ3为统合参数，把从语料库中学习到的以上三个元组模型的概率存储在字典中，占内存大，故采用一个拟合函数，直接根据输入的单字ωi，ωi-1和ωi-2的编码，由拟合函数生成元组对应的概率；

鉴于有三个变量，因此可以采用三元高阶多项式函数，如式(8)所示，

式(8)可以同时表示以上三个概率模型，即当ωi-2和ωi-1都为零时，可以得到一元组的概率，而当ωi-2为零时，还可以得到二元组概率；

为防止参数学习过程中的过度拟合，把从语料库中得到的出现频率较小的不稳定元组进行预处理，如第i类一元组在语料库中出现的次数记为Cⁱ₁，其中0＜i＜n₁，类似的第j类二元和第k类三元组出现次数分别记为C^j₂和C^k₃，其中0＜j＜n₂，0＜k＜n₃，其中n₁，n₂和n₃分别标记一元组、二元组和三元组的类数，n1＜＜n2＜＜n3；一元组、二元组和三元组在语料库中出现的总数分别记为N₁，N₂和N₃，那么，第i类一元组，第j类二元组和第k类三元组出现的概率可用式(9)来表示，

把θ1小于某一阈值的一元组全部赋值为某一极小常数；同理把θ2和θ3小于某一阈值的二元组和三元组也分别赋给不同的极小常数；然后，在预处理后的元组集合上通过用随机梯度下降算法优化概率生成函数式(8)的参数，通过该概率生成函数，便实现了自然语言模型零空间复杂度。