[发明专利]信息处理方法和信息处理装置

说明书

本发明提供了一种信息处理方法和装置，所述信息处理方法可以包括：获取包含自然语言表述的信息；使用针对特定词性的词库，处理所述信息；以及输出经过处理的信息。根据本发明的信息处理方法和装置通过使用基于依存句法分析和无监督聚类的产品属性提取方法生成的属性词库，来处理包含自然语言表述的信息，从而能够准确快速地执行情感分析。

技术领域

本发明涉及信息技术领域，具体地，涉及一种信息处理方法和信息处理装置，其中所述信息处理方法和装置通过使用基于依存句法分析和无监督聚类的产品属性提取方法生成的属性词库，来处理包含自然语言表述的信息，从而能够准确快速地执行情感分析。

背景技术

情感分析在是自然语言处理的基本问题之一，有着广泛的应用领域。电商评论情感分析是情感分析的一个分支领域，在商品推荐和商品口碑等领域具有广泛应用。产品属性评价分析是电商情感分析的重要应用，但是在评论中经常出现针对产品同种属性的多种说法(例如，价格、价钱和价位)，这就大大增大了产品属性情感分析的难度。为了解决上述问题，往往通过人工定义、有监督标注或无监督标注等方式，来定义针对特定词性(例如，产品属性词)的词库，并通过使用所述词库来分析包含自然语言的信息。

然而，通过人工定义的方式来定义针对特定词性的词库的方法是根据专家知识定义特定词性。这种方法需要大量人工干预，且无法解决相似词归一化的问题。另外，通过有监督标注的方式来定义针对特定词性的词库的方法是将对特定词性的识别作为序列标注问题。当定义产品属性词词库时，将对产品属性的识别作为序列标注问题。例如，如果将0用于代表其他词并将p用于代表属性词，则可以把属性词识别作为序列标注问题，诸如，将“洗衣机外观很漂亮”的评论识别作为序列0p00。常用的序列标注算法有条件随机场模型(crf)、隐马模型(hmm)和最大熵(ME)。尽管这种方法可以针对特定词性的词建立词库，然而这种方法需要大量的人工标记语料。另一方面，无监督标注是采用关联规则发现热点词并根据热点词邻接的形容词进一步识别其他属性的方法。这种方法的提取精度不高，同时也无法解决属性归一化问题。

综上，需要一种信息处理方法和信息处理装置，所述信息处理方法和装置能够采用句法分析构造针对特定词性词库，并通过使用所述词库来处理包含自然语言表述的信息，从而能够更准确迅速地执行情感分析。

发明内容

本公开的方面在于解决至少上述问题和/或缺点并提供至少下述优点。

根据本发明的第一方面，提供了一种信息处理方法，可以包括：获取包含自然语言表述的信息；使用针对特定词性的词库，处理所述信息；以及输出经过处理的信息。

优选地，所述词库可以是针对属性词的属性词库，所述属性词库可以是通过提取样本自然语言表述中的属性词并对提取的属性词执行聚类来建立的。

优选地，所述提取属性词可以包括：通过对样本自然语言表述执行分词、词性标注以及依存句法分析，选择主语作为候选属性词；统计候选属性词的词频，并按照词频依次排列所述候选属性词；通过使用过滤词典来滤除所述经排列的候选属性词中的非属性词；从保留的属性词中截取词频最频繁的预定数量个属性词，作为所提取的属性词。

优选地，所述对提取的属性词执行聚类可以包括：针对所提取的属性词，生成词向量；根据所生成的词向量，计算每一属性词的相似属性词；以及如果对于所提取的属性词中的任意两个属性词，相同的相似属性词的数量大于任一属性词的相似属性词的一半，则对所述两个属性词执行聚类。

优选地，所述对提取的属性词执行聚类还可以包括：确定经聚类后的属性词是否具有相同的相似属性词；如果确定经聚类后的属性词存在相同的相似属性词，则计算所述相似属性词与其所属的属性词的其他相似属性词的平均相似度；以及根据计算出的平均相似度，确定所述相似属性词所属的属性词类别并更新所述属性词库。