[发明专利]实际场景语料和有限状态网络语料的平衡方法

权利要求书

1、一种实际场景语料和有限状态网络(FSN)语料的平衡方法，其特征在于，包括：

1)整理实际应用场景下的录音，得到实际场景语料；

2)采用有限状态网络句法规则设计限定领域语料；

3)采用语料平衡方法，将部分实际场景语料按设定的倍数复制到有限状态网络语料中，得到最终训练语料。

2、根据权利要求1所述的方法，其特征在于，所述步骤1)包括：

分析实际引用场景下的录音，记录每句录音对应的文本语句，得到实际场景语料。

3、根据权利要求1所述的方法，其特征在于，所述步骤2)包括：

获取有限状态网络扩展所需的限定领域词汇；

对限定领域词汇进行词汇分类和词汇扩展；

根据扩展后的词汇表，设计有限状态网络句法规则；

用有限状态网络规则解释器生成有限状态网络语料。

4、根据权利要求1所述的方法，其特征在于，所述步骤3)包括：

选择实际场景语料和有限状态网络语料中都包含的关键词，

比较所述关键词在两个语料中出现的概率，找出概率差异较大的关键词，标记为全异词；

从实际场景语料中提取包含全异词的所有语料，通过概率统计方法，计算参考语料的复制倍数R；

将选择语料复制R倍到有限状态网络语料中，得到最终训练语料。

5、根据权利要求4所述的方法，其特征在于，所述计算复制倍数R包括：

设选择语料集CS词数为M，第m个词为W_m，这个词在实际场景语料CR和FSN语料CT中的概率分别为p_m^CR和p_m^CT，这个词在选择语料CS中出现的次数为f_m^CS，FSN语料中句子数为|CT|，则：

原始训练语料CT中需要补充W _m的次数为

deficit_m＝(p _m^CR-p _m^CT)×|CT|

第m个关键词要求CS被复制的倍数为

R_m＝deficit_m/f_m^CS

取选择语料实际复制倍数为

R＝max{R_m}      1≤m≤M。