[发明专利]一种基于lognormal模型的文本测试数据集生成方法

权利要求书

1.一种基于lognormal模型的文本测试数据集生成方法，其特征在于，包括以下步骤：

1)对真实文本数据集按词进行切分，再将切分得到的词按出现频率进行统计，然后根据统计的结果建立语料库；

2)根据步骤1)建立的语料库中词出现的频率的大小对词进行排名，然后依词的排名为横坐标值，以词的频率为纵坐标值建立词频率分布，再通过最大似然估计将词排名-频率的结果拟合得到lognormal模型参数，根据lognormal模型参数建立lognormal模型；

3)基于步骤2)建立的lognormal模型根据蒙特卡洛方法生成随机数，再将随机数作为词的排名，得该随机数对应的词的内容；

4)重复步骤3)，得所有词的内容，然后根据所有词的内容生成文本测试数据集。

2.根据权利要求1所述的基于lognormal模型的文本测试数据集生成方法，其特征在于，将空格及制表符作为分隔符，基于自动机对真实文本数据集按词进行切分。

3.根据权利要求1所述的基于lognormal模型的文本测试数据集生成方法，其特征在于，步骤1)中根据统计的结果以词-频率的形式建立语料库。