[发明专利]一种短文本特征提取方法

摘要

本发明公布一种短文本特征提取方法，基于知识库和句法分析方法对短文本进行特征提取，包括模型训练过程和特征提取过程；针对训练集数据进行训练；利用验证集数据进行验证，得到最高的准确率对应的权重组W和最高的准确率对应的训练模型M；特征提取过程针对测试集数据进行处理之后，将每一个类别赋予权重组W；通过ESA算法将短文本映射到概念空间，得到短文本的解释向量；通过LDA得到话题向量，作为短文本最终的特征向量，作为短文本的特征。本发明提供方法可解决短文本特征稀疏和短文本主题不明确的问题；降低短文本特征提取处理难度，提升短文本特征提取的结果，提高文本分类的准确度。

主权项

一种短文本特征提取方法，基于知识库和句法分析方法对短文本进行特征提取，通过计算各个话题的权值，用话题向量作为短文本最终的特征向量，以解决短文本特征稀疏和短文本主题不明确的问题；所述短文本特征提取方法包括模型训练过程和特征提取过程：一，模型训练过程：针对训练集数据进行训练；利用验证集数据进行验证，得到最高的准确率对应的权重组W和最高的准确率对应的训练模型M；模型训练过程针对训练集数据和验证集短文本数据，具体执行操作11)～17)：11)分别使用分词工具对短文本进行分词处理，得到短文本中包含词语的词性，同时还得到词与词之间的依存句法关系；12)过滤掉短文本句子中的停用词，只保留短文本句子中的名词；13)将短文本句子中的所有名词根据依存句法关系分为多个类别；14)每一个类别分别赋予权重值；15)基于百度百科构建ESA中文模型，得到每一个词到概念空间的倒排索引；通过ESA算法将短文本映射到概念空间，得到短文本的解释向量；16)通过LDA模型得到话题向量；17)选择获得最高的准确率对应的权重组W和训练出的最高的分类准确率对应的分类模型M，作为模型训练过程的结果；二，特征提取过程针对测试集数据，具体执行如下操作：21)经过上述步骤11)～13)对测试集数据进行处理之后，将每一个类别赋予上述步骤17)获得的权重组W；22)通过ESA算法将短文本映射到概念空间，得到短文本的解释向量；23)通过LDA得到话题向量；以话题向量作为短文本最终的特征向量，作为短文本的特征。