[发明专利]一种结合情感强度的文本TF-IDF特征重构法

摘要

本发明涉及一种结合情感强度的文本TF‑IDF特征重构法，通过正则匹配方法对表情和用户名进行提取和分割，依据强度词典和否定词、程度副词、重复词的位置关系对词语强度进行修正，通过基于Word2Vec的近义词替换方法对生词进行替换，从而对文本的TF‑IDF特征向量进行重构。与现有技术相比，本发明考虑否定词、程度副词、重复词等情况，对词语的TF‑IDF特征进行修正，保留词语的强度、位置等信息；用训练集中出现过的熟词替换测试集上的生词，增强泛化性能；使用时可直接将原句子作为输入，不需要手动进行分词。

主权项

1.一种结合情感强度的文本TF‑IDF特征重构法，其特征在于，包括以下步骤：S1，构建停用词典、程度词典和否定词典，所述的程度词典中的词语为具有情感强度等级的程度副词，所述的否定词典中的词语为否定词；S2，获取待分析的文本，以标点符号为分界点，将文本分割为多个子句；S3，遍历子句中的每个词语并记录它们出现的次数和位置，删去其中的停用词，对程度副词后面的词语进行情感强度修正，对否定词后面的词语进行情感极性的翻转；S4，对每一段待分析的文本新建一个空白字典，用词语作索引，用词语的情感强度、数量作键值，遍历每个词语，如果当前词语是停用词、程度副词或否定词，则跳过该词语不做任何操作；如果现有字典中不包含当前词语，则将该词语存进字典；如果字典中已经存在了当前词语，则更新字典中对应词语的情感强度和数量；S5，提取文本的TF‑IDF特征值，分别将每个词语的TF‑IDF值与字典中相应的情感强度相乘，得到重构后的特征值：TF‑IDF_new,w＝TF‑IDF_w×deg_w其中，TF‑IDF_new,w为重构后的词语w的TF‑IDF特征值，TF‑IDF_w为词语w的原始TF‑IDF特征值，deg_w为词语w的情感强度。