[发明专利]一种多维度短文本特征提取方法及系统

权利要求书

1.一种多维度短文本特征提取方法，其特征在于，其包括如下步骤：

S1、对短文本进行预处理；将短文本中信息划分为表情符号信息、文本信息、语音信息；

S2、分类对短文本中各种信息进行处理并得到统一的文本信息集；

S3、将统一的文本信息集中中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；

S4、通过向量空间模型表示文本表示模型；通过选择算法来获取输入的短文本特征。

2.如权利要求1所述的多维度短文本特征提取方法，其特征在于，所述步骤S2包括：

对于表情符号信息，获取表情符号信息所对应的感情倾向信息以及表情符号信息的中文含义；将感情倾向信息以及中文含义进行处理获得关键词；将关键词加入到统一的文本信息集中；

对语音信息，通过语音识别将语音信息转换为文本信息；并通过分析语音信息中的音调获得语音信息中的情感倾向信息；将文本信息以及情感倾向信息进行处理获得关键词；将关键词加入到统一的文本信息集中。

3.如权利要求2所述的多维度短文本特征提取方法，其特征在于，所述步骤S3中通过ICTCLAS分词系统进行分词。

4.如权利要求3所述的多维度短文本特征提取方法，其特征在于，所述步骤S4包括：

对于经过预处理后的文本信息集，根据短文本中的词项，抽取出具有代表性的词条作为短文本的特征，并为每个特征赋予一定的权值，将所有特征项构成的向量表示该短文本，即文本空间实际上是由一组由数字描述的词项所构建的向量空间。

5.如权利要求3所述的多维度短文本特征提取方法，其特征在于，

所述步骤S4还包括：

生成特征词序号列表，根据预先设定的特征阈值，选择相对应的特征，通过词频逆文档词频算法获得特征相对应的权值，最终得到提取后的特征向量；将得到的特征向量进行归一化处理得到多维向量。

6.如权利要求3所述的多维度短文本特征提取方法，其特征在于，进行情感分析时，预先设置不同情感词相对应的情感偏向以及正负长度值；通过情感偏向以及正负长度值得到整体感情倾向信息。

7.一种多维度短文本特征提取系统，其特征在于，其包括如下单元：

预处理单元，用于对短文本进行预处理；将短文本中信息划分为表情符号信息、文本信息、语音信息；

分类处理单元，用于分类对短文本中各种信息进行处理并得到统一的文本信息集；

分词处理单元，用于将统一的文本信息集中中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；

特征提取单元，用于通过向量空间模型表示文本表示模型；通过选择算法来获取输入的短文本特征。

8.如权利要求7所述的多维度短文本特征提取系统，其特征在于，所述分类处理单元包括：

对于表情符号信息，获取表情符号信息所对应的感情倾向信息以及表情符号信息的中文含义；将感情倾向信息以及中文含义进行处理获得关键词；将关键词加入到统一的文本信息集中；

对语音信息，通过语音识别将语音信息转换为文本信息；并通过分析语音信息中的音调获得语音信息中的情感倾向信息；将文本信息以及情感倾向信息进行处理获得关键词；将关键词加入到统一的文本信息集中；

所述分词处理单元中通过ICTCLAS分词系统进行分词；

所述特征提取单元包括：

对于经过预处理后的文本信息集，根据短文本中的词项，抽取出具有代表性的词条作为短文本的特征，并为每个特征赋予一定的权值，将所有特征项构成的向量表示该短文本，即文本空间实际上是由一组由数字描述的词项所构建的向量空间；

所述特征提取单元还包括：

生成特征词序号列表，根据预先设定的特征阈值，选择相对应的特征，通过词频逆文档词频算法获得特征相对应的权值，最终得到提取后的特征向量；将得到的特征向量进行归一化处理得到多维向量。

9.如权利要求8所述的多维度短文本特征提取系统，其特征在于，进行情感分析时，预先设置不同情感词相对应的情感偏向以及正负长度值；通过情感偏向以及正负长度值得到整体感情倾向信息。