[发明专利]一种基于多特征因素相融合的短文本特征提取方法

说明书

一种基于多特征因素相融合的短文本特征提取方法，通过结巴分词工具对短文本评论进行分词、去停用词处理，以此构建初步的文本特征词向量矩阵；结合传统的TF‑IDF算法对构建后的特征词向量矩阵进行权重计算，以此得到权重向量矩阵；引入特征词位置影响因子和词性特征因子，并对初步的文本特征词逐一进行词性标注，计算每个特征词的和值；将得到的和值与传统TF‑IDF算法对应的权重值相乘，最终得到优化后TF‑IDF算法的权重向量矩阵。根据本发明所提供的技术方案，一定程度上能够解决传统TF‑IDF算法的特征词权重失衡问题，从而提高文本特征提取的精确度，为情感分类任务提供有效性帮助。

技术领域

本发明涉及文本挖掘技术领域，具体涉及一种基于多特征因素相融合的短文本特征提取方法。

背景技术

随着Web3.0时代的推进，互联网信息已经越来越多地融入到人们的生活。大批量用户在网络上就某个事件或商品发表自己的言论观点，且这些评论信息在时间效应下会很大程度地影响人们的思维及行为方式。同时，这些评论信息包含了人们的各种情感态度和情感信息，诸如，喜、怒、哀、乐、悲或积极、中性、消极。基于这些评论信息，其他用户就可以通过网络平台了解群体用户对某事件或商品的评论和看法，因此这些信息具有巨大的潜在挖掘价值。此外，在互联网的高速发展过程中，各大网络平台每天都会产生数以万计的文本评论信息，而且这些信息还在源源不断地产生着。如果仅仅依靠人工方式进行文本挖掘，需要耗费大量的人力和物力资源，因此，借助文本挖掘等技术方法就显得尤为重要。

文本挖掘的关键点就在于文本特征提取，而特征提取的方法有很多，诸如向量空间模型(VSM)、词频-逆向文件频率(TF-IDF)、互信息(MI)、卡方统计(Chi-square)等方法，这些方法在特征提取的研究工作中取得了很好的效果。其中，TF-IDF方法在特征提取中具有公认的代表性价值，这种方法随着字词的重要性在文中出现的次数成正比增加，但同时也随着它在语料库中出现的频率成反比下降。该方法以词频衡量一个词的重要性，致使某些特征词的无意义高频出现，使得赋予了相对较高的权重，而有些具备分类特性的词汇特征因低频原因被丢弃，这种现象可被理解为权重失衡。同时，这种方法未考虑到词的前后位置和自身词性特征，且出现位置靠前的词与出现位置靠后的词都具有一定的重要权衡性，从而使得特征提取的过程难免存在一些误差。

发明内容

为了实现上述目的，本发明的目的是提供一种基于多特征因素相融合的短文本特征提取方法，提高特征提取的精准性。

为了实现上述目的，本发明采用的技术方案是：

一种基于多特征因素相融合的短文本特征提取方法，包括以下步骤：

1)通过结巴分词工具对短文本评论进行分词、去停用词处理，以此构建初步的文本特征词向量矩阵；包括：

针对用户的商品评论进行抽取、过滤等预处理；

利用结巴分词工具对短文本评论信息进行分词，结合Stopwords词表对分词后的文本进行去停用词操作；

假设存在n条评论句，对这n条评论句进行数据预处理，就能够得到初步的文本特征词向量矩阵，然后定义特征词向量矩阵为F＝{w_i1,w_i2,…,w_ik|1≤i≤n,k∈N⁺}；

2)结合传统的TF-IDF算法对构建后的特征词向量矩阵进行权重计算，以此得到权重向量矩阵；计算特征词的TF值、IDF值及对应的权重值W_tf；

以特征词在文档d中出现的次数和包含该特征词的文档数之比作为该词的权重，对于某一特定文件中的词语重要性衡量为：