[发明专利]一种多维度短文本特征提取方法及系统

说明书

技术领域

本发明涉及大数据文本处理技术领域，特别涉及一种多维度短文本特征提取方法及系统。

背景技术

短文本分类如此重要，那么究竟什么是短文本呢？目前，对于短文本还没有统一规范的定义，本文参考已有的研究文献将短文本定义为长度不超过200字的文本形式的信息。短文本的几种常见形式有手机短信息、社交网络短信息、信息检索简介信息、BBS/论坛短信息等。一般来说，短文本包括的特点有：

①稀疏性。每条短文本形式信息的长度都比较短，都在200字以内，通常只有几句话，有的甚至只有几个词语如微博信息、手机短信息等，因此所包含的有效信息也就非常少，造成样本的特征非常稀疏，并且特征集的维数非常高，很难从中抽取到准确而关键的样本特征用于分类学习。

②实时性。在互联网上出现的短文本形式的信息，大部分都是实时更新的，刷新速度非常快，像聊天信息、微博信息、评论信息等，都在以秒计时的速度不断更新，难以采集，并且这部分动态文本数量非常庞大，这就要求对短文本信息分类必须具有更高的效率。

③不规则性。短文本形式的信息用语不规范，包含流行词汇较多，造成了噪声特征非常多，如“94”代表“就是”，“88”代表“再见”，“童鞋”代表“同学”，“河蟹”代表“和谐”等。流行语在短文本中更是频繁出现，而且更新很快，如2011年的流行词“伤不起”、“有没有”、“坑爹”，2012年的流行词“屌丝”、“江南Style”、“元芳，你怎么看”等等。

特征提取是指从原始特征集中挑选出对文本分类学习贡献最大的一组特征，这些特征保留了原始特征集中大部分有用的数据信息，最能反映文本分类的性能。

发明内容

有鉴于此，本发明提出一种能够有效解决短文本中不规则性、稀疏性问题的多维度短文本特征提取方法及系统

一种多维度短文本特征提取方法，其包括如下步骤：

S1、对短文本进行预处理；将短文本中信息划分为表情符号信息、文本信息、语音信息；

S2、分类对短文本中各种信息进行处理并得到统一的文本信息集；

S3、将统一的文本信息集中中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；

S4、通过向量空间模型表示文本表示模型；通过选择算法来获取输入的短文本特征。

在本发明所述的多维度短文本特征提取方法中，所述步骤S2包括：

对于表情符号信息，获取表情符号信息所对应的感情倾向信息以及表情符号信息的中文含义；将感情倾向信息以及中文含义进行处理获得关键词；将关键词加入到统一的文本信息集中；

对语音信息，通过语音识别将语音信息转换为文本信息；并通过分析语音信息中的音调获得语音信息中的情感倾向信息；将文本信息以及情感倾向信息进行处理获得关键词；将关键词加入到统一的文本信息集中。

在本发明所述的多维度短文本特征提取方法中，所述步骤S3中通过ICTCLAS分词系统进行分词。

在本发明所述的多维度短文本特征提取方法中，所述步骤S4包括：

对于经过预处理后的文本信息集，根据短文本中的词项，抽取出具有代表性的词条作为短文本的特征，并为每个特征赋予一定的权值，将所有特征项构成的向量表示该短文本，即文本空间实际上是由一组由数字描述的词项所构建的向量空间。

在本发明所述的多维度短文本特征提取方法中，

所述步骤S4还包括：

生成特征词序号列表，根据预先设定的特征阈值，选择相对应的特征，通过词频逆文档词频算法获得特征相对应的权值，最终得到提取后的特征向量；将得到的特征向量进行归一化处理得到多维向量。

在本发明所述的多维度短文本特征提取方法中，进行情感分析时，预先设置不同情感词相对应的情感偏向以及正负长度值；通过情感偏向以及正负长度值得到整体感情倾向信息。

本发明还提供一种多维度短文本特征提取系统，其包括如下单元：

预处理单元，用于对短文本进行预处理；将短文本中信息划分为表情符号信息、文本信息、语音信息；

分类处理单元，用于分类对短文本中各种信息进行处理并得到统一的文本信息集；

分词处理单元，用于将统一的文本信息集中中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；