[发明专利]一种点评文本标签的自动提取方案

说明书

本申请公开了一种点评文本标签的自动提取方案，包括分词模块：对点评文本进行分词；词嵌入模型：根据海量文本训练处词语的embedd i ng向量表示；情感极性模型：判断文本的情感分类，以正向、负向、中性标记；得出点评结果。本申请的有益效果是：使用了机器学习的方式，自动化提取点评文本的文本标签，在保证正确性的基础上大大减少了人工标注的工作量，同时可挖掘词语的内在语义含义，通过对分散的文本标签进行聚类，减少文本标签的类别数，增强数据的准确性，通过文本情感极性模型的引入，可以直观地对文本进行情感分类，并通过点评文本和标签文本的情感极性判断，完善点评文本和标签文本的匹配效果。

技术领域

本申请涉及一种自动提取方案，具体是一种点评文本标签的自动提取方案。

背景技术

文本，是指书面语言的表现形式，从文学角度说，通常是具有完整、系统含义的一个句子或多个句子的组合，一个文本可以是一个句子、一个段落或者一个篇章，广义“文本”：任何由书写所固定下来的任何话语，狭义“文本”：由语言文字组成的文学实体，代指“作品”，相对于作者、世界构成一个独立、自足的系统。

业界的已知的技术方案：由运营人员手动给文本打上标签、基于规则的文本匹配和基于词频统计的tf-idf方案，不同的不足之处在于：随时海量文本的发布，工作量大，成本过高、需要不断手工添加规则，个人主观随意性较大和无法发掘文本中的词语的内在语义关系。因此，针对上述问题提出一种点评文本标签的自动提取方案。

发明内容

本申请的目的就在于为了解决上述问题而提供一种点评文本标签的自动提取方案。

本申请通过以下技术方案来实现上述目的，一种点评文本标签的自动提取方案，包括如下步骤：

步骤一、分词模块：对点评文本进行分词；

步骤二、词嵌入模型：根据海量文本训练处词语的embedding向量表示；

步骤三、情感极性模型：判断文本的情感分类，以正向、负向、中性标记；

步骤四、得出点评结果。

优选的，所述步骤一中分词将连续的字序列按照一定的规范重新组合成词序列的过程，且分词分为英文分词和中文分词。

优选的，所述中文分词技术为机械分词技术、基于统计的序列标注技术和隐式马尔科夫模型技术，优选隐式马尔科夫模型作为分词模块的主引擎。

优选的，所述隐式马尔科夫模型基本思想为根据观测值序列找到真正的隐藏状态值序列，并手工收集部分特有词语集合，使用条件随机场，进行分词后的顺序校对。

优选的，所述词嵌入模型机制如下：

(1)先是获取大量文本数据；

(2)然后我们建立一个可以沿文本滑动的窗；

(3)利用这样的滑动窗就能为训练模型生成大量样本数据。

优选的，所述步骤二中词嵌入模型把自然语言中的每一个词，表示成一个统一意义统一维度的短向量，若遇到生僻的词时，则利用Word2Vec进行词汇捕捉获取。

优选的，所述Word2Vec训练出的词嵌入有两个特点如下：

(1)体现了语义相似关系，如计算距离“red”最近的词嵌入，结果就是“white”，“black”等表示颜色的单词。

(2)体现了语义平移关系，如计算距离“woman”-“man”+“king”最近的词嵌入，结果就是“queen”。

优选的，所述步骤三中情感极性模型按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析，基于新闻评论的情感分析对舆情监控和信息预测，基于产品评论的情感分析帮助用户了解某一产品在大众心目中的口碑。