[发明专利]一种抽取用户细粒度典型意见数据处理系统及方法

权利要求书

1.一种抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法包括以下步骤：

第一步，对数据进行清洗，过滤掉噪声数据；对清洗后的数据进行分字，分词；

第二步，使用词嵌入模型训练字向量、词向量表示，生成相应的文件；定义产品常见属性；

第三步，使用命名实体识别的方法，抽取用户评论中与产品相关的属性；

第四步，将所有抽取到的属性文本采用字向量加权求平均值的方法转换为向量表示；

第五步，以属性向量为特征，对文本进行聚类；得到产品不同属性的用户典型意见。

2.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法数据进行清洗包括：过滤掉与本产品无关的用户评论，水军评论以及用户评论中出现的无意义的符号；对用户评论中出现的标点符号、英文字母，采用统一的书写方式，转换为统一的表述；对于没有任何标点符号分割的较长文本评论，采用textrank的方法，对文本进行分割，人为添加标点符号进行断句。

3.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法对清洗后的数据进行分词过程中，对于专业领域的词汇、网络用语或缩写，出现分词错误，人工构建自定义分词词典；

所述抽取用户细粒度典型意见数据处理方法字或词的向量化表示，使用Word2vec或Glove模型对文本数据进行训练，生成相应的字向量、词向量文件。

4.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法在产品属性定义阶段，通过调研，人工自定义得到与产品相关的常见属性；

所述抽取用户细粒度典型意见数据处理方法采用命名实体识别的方法抽取用户评论中与该产品相关的属性，命名实体识别使用BiLSTM+CRF网络模型，以输入文本字向量和词向量的组合作为特征输入，对模型进行训练，以识别出与产品相关的属性描述。

5.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法将抽取到的属性文本转换为向量前，通过相似度计算，生成同义词典，将属性文本中所有的同义词进行同义词替换，并使用停用词词典过滤掉无实际意义的词语，通过字向量加权求平均值的方法生成属性文本的向量表示。

6.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法以属性向量为特征，使用Kmeans算法对文本进行聚类，在聚类过程中选取聚类初始中心点：(1)对抽取到的属性文本统计所有文本出现的频率；(2)选择出现次数大于一定阈值的属性文本；(3)计算文本之间的相似度，挑选出相似度小于一定阈值的文本向量作为聚类初始中心点。

7.如权利要求1所述的抽取用户细粒度典型意见数据处理方法，其特征在于，所述抽取用户细粒度典型意见数据处理方法聚类结束后中心观点的选取包括：(1)计算每个簇中文本之间的相似度；(2)将簇中相似度较大的文本映射为同一文本，统计每个簇中，所有文本出现的次数；(3)将出现频率最高的文本作为该簇的中心观点；

所述抽取用户细粒度典型意见数据处理方法计算所有簇中每个属性文本与所有中心观点之间的相似度，对相似度小于阈值的属性文本所属的簇进行调整，将其分配到与该簇中心观点相似度较大的簇中，最后抽取每个簇的中心观点，作为用户对该属性的典型意见。