[发明专利]文本中词语分类方法、言语创造性评价方法和系统

摘要

本发明公开了一种文本中词语分类方法、言语创造性评价方法和系统，其中文本中词语分类方法包括如下步骤；1、分行读取文本，以正则方式分割每行文本数据，获得短语和词语；2、将步骤1获得的短语和词语采用结巴分词进一步切分，获得简单词语；3、设置分类参数，根据词频得到候选主题，进行初步分类；4、选择每一类中词频最高的词语作为本类的主题；5、对每一类词语，遍历本类中所有词语，判断是否属于本类主题，如果是，则划分到所述主题下；否则划分到低频词集合中；6、对低频词集合使用word2vec.model作进一步划分；7、统计分类结果。该词语分类方法适用于词汇或词语独立或孤立出现，而不是以篇章或句子形式出现的场景。

主权项

1.文本中词语分类方法，其特征在于，包括如下步骤；(1)分行读取文本，以正则方式分割每行文本数据，过滤标点符号和数字，获得短语和词语；(2)将步骤(1)获得的短语和词语进一步切分，并过滤停用词，获得简单词语，设共获得L个简单词语；统计每个简单词语的词频；(3)设置分类参数K[k,limit]，其中k为频次参数，limit为词频限制参数；词频高于k的词语中选择词频最高的前limit个设置为候选主题；对L个简单词语依次判断属于哪个候选主题，进行初步分类，设分为M类，M≤limit；(4)对分类后的结果，选择每一类中词频最高的词语作为本类的主题；(5)对每一类词语，遍历本类中所有词语，判断是否属于本类主题，如果属于本类的主题，则划分到所述主题下；如果不属于本类主题，划分到低频词集合中；(6)对低频词集合使用word2vec.model作进一步划分；(7)统计分类结果，得到P类。