[发明专利]基于评论文本挖掘的产品特征结构树构建方法

摘要

本发明提出了一种基于评论文本挖掘的产品特征结构树构建方法，为数据挖掘研究提供了一种新颖、有效的方法。该方法的步骤如下：1，语料库的获取；2，产品特征的提取；3，产品特征结构树的构建；4，产品特征的定量分析；5，产品特征结构树的扩展。目前，关于评论文本的获取、产品特征的提取等技术都已较为成熟，但对提取的产品特征并没有进行深入的研究。而本发明旨在研究产品特征之间的关系和其对产品质量特性的反应，为产品特征提取之后的研究拓展了方向、提供了思路。利用本发明的方法，制造企业可以快速、有效地了解用户反馈的使用产品信息，有助于企业与消费者之间建立对话，帮助企业进行产品设计的改进，扩大市场占有率。

主权项

基于评论文本挖掘的产品特征结构树构建方法，其特征在于：该方法包括下述步骤：步骤1：语料库的获取利用网络爬虫软件，制定爬取规则，抓取与指定产品相关的电商网站以及论坛上的用户评论文本，并对其进行预处理，以结构化形式保存到数据库中；步骤2：产品特征的提取2.1利用分词器对语料库进行初次分词及词性标注，从初次分词结果中通过新词发现方法，识别领域新词，并将其添加到用户词典中，再基于用户词典对语料库进行优化分词；2.2将优化分词结果进行词性标注集转换，用中文自然语言处理工具包对转换后的优化分词结果进行依存关系分析；2.3用整理的情感词词典对依存关系分析结果中的支配词进行标注，得到以词语为基本记录单元的结构化数据；2.4将情感分析的结果分为训练集和测试集，制定条件随机场特征模板，利用开源工具包，对已经标注产品特征的训练集进行训练，生成条件随机场模型，再利用该模型对测试集进行产品特征标注，并对测试结果进行测评；2.5从语料库中将标记的产品特征提取出来；步骤3：产品特征结构树的构建3.1定义产品特征的类型，构建特征类型的层次结构；3.2对于每个产品特征，定位它在优化分词结果中的位置，对于位置的前面的信息，统计在同一条评论语句中、且是第一个能与产品特征表匹配的、不是本产品特征的产品特征出现的频数，将匹配的非本产品特征、非本产品特征的类型、非本产品特征频数统计结果保存到结果数组中；对于位置的后面的信息，与位置前面的信息处理结果相同；3.3对结果数组中的频数按照从大到小的顺序进行排序，基于特征类型的层次结构，在结果数组中寻找本产品特征的类型的上层类型，则对应的非本产品特征就是寻找的关联特征；3.4遍历产品特征结构树，当不存在本产品特征时，将本产品特征‑关系‑关联特征这个分支保存到分支数组中；当存在本产品特征时，先判断产品特征树中是否存在该分支，当不存在该分支时，将关联特征作为本产品特征的子节点，添加到产品特征结构树中；否则，不变；3.5将分支数组中的本产品特征与产品特征结构树中的节点进行匹配，当存在时，将该分支添加到树中对应节点上，并删除分支数组中的该分支，整理数组；否则，不变；步骤4：产品特征的定量分析4.1统计优化分词结果中所有产品特征出现的频数；4.2基于产品特征结构树和已统计的产品特征频数，统计产品特征中部件特征的频数；4.3分析句法分析结果中产品特征的支配词和上下文，查找情感词、程度副词和否定词语素，计算产品特征的情感得分；4.4可视化产品特征频数的统计结果和情感得分，分析用户对产品的关注点；步骤5：产品特征结构树的扩展5.1对同义子节点的扩展，通过定量计算特征相似度的方法，计算新产生的产品特征与产品特征结构树中的节点之间的相似度，来确定新产品特征的父节点，并将其添加到产品特征结构树中；5.2对隶属子节点的扩展，通过定量计算特征相关度的方法，计算新产生的产品特征与产品特征结构树中的节点之间的相关度，来确定新产品特征的父节点，并将其添加到产品特征结构树中。