[发明专利]一种标签提取方法及装置

说明书

技术领域

本发明属于信息处理技术领域，尤其涉及一种标签提取方法及装置。

背景技术

网上商城提供了从细小的生活用品到大且贵重的家电商品，极大地节省了 消费者的购物时间。在网购时，消费者主要通过商品评价来获取商品的整体质 量及其使用信息。当产品评价越来越多时，消费者花费在浏览商品评价上的时 间和精力也将增大，因此，必须对商品评价进行挖掘。

然而，消费者对商品的评价一般都是短而简洁的，对这些评价进行标签化 属于短文本挖掘范畴。现有的标签提取算法，比如基于TF*IDF、信息增益、卡 方选择等算法，均存在以下不足：

1.过于依赖评价信息文本的词频，对短文本的稀疏性问题解决不好；

2.较多地依赖关键词，对评鉴潜在的挖掘程度不够；

3.过多地依赖向量空间模型，对短文本的相似度计算不够准确。

发明内容

鉴于此，本发明实施例提供了一种标签提取方法及装置，解决了现有的标 签提取算法对短文本稀疏性问题解决不够好的问题，提高了计算商品评价的相 似度的准确性和对商品评价挖掘的程度。

第一方面，提供了一种标签提取方法，所述标签提取方法包括：

获取商品的多个评价信息；

按照预设的标签语法规则提取每一个评价信息中的候选标签；

通过潜在狄利克雷分配模型LDA对每一个候选标签进行主题分析，获取每 一个候选标签对应的主题概率分布，所述主题概率分布包括该候选标签隶属于 每一个指定主题的概率；

根据所述主题概率分布确定每一个指定主题对应的候选标签集，根据所述 候选标签集中每一个候选标签的权重值确定所述指定主题对应的代表标签；

其中，所述权重值是根据所述候选标签集的所述候选标签数量以及每一个 所述候选标签隶属于每个所述指定主题的概率计算得出的。

第二方面，提供了一种标签提取装置，所述标签提取装置包括：

获取模块，用于获取商品的多个评价信息；

提取模块，用于按照预设的标签语法规则提取每一个评价信息中的候选标 签；

主题分析模块，用于通过潜在狄利克雷分配模型LDA对每一个候选标签进 行主题分析，获取每一个候选标签对应的主题概率分布，所述主题概率分布包 括该候选标签隶属于每一个指定主题的概率；

代表标签确定模块，用于根据所述主题概率分布确定每一个指定主题对应 的候选标签集，根据所述候选标签集中每一个候选标签的权重值确定所述指定 主题对应的代表标签。

与现有技术相比，本发明实施例通过获取商品的多个评价信息，按照预设 的标签语法规则提取每一个评价信息中的候选标签；通过潜在狄利克雷分配模 型LDA对每一个候选标签进行主题分析，获取每一个候选标签对应的主题概率 分布，所述主题概率分布包括该候选标签隶属于每一个指定主题的概率；然后 根据所述主题概率分布确定每一个指定主题对应的候选标签集，根据所述候选 标签集中每一个候选标签的权重值确定所述指定主题对应的代表标签。从而解 决了现有的标签提取算法对短文本稀疏性问题解决不够好的问题，避免了对文 本词频的依赖和对向量空间模型的依赖，有效地提高了计算商品评价的相似度 的准确性和对商品评价挖掘的程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的标签提取方法的实现流程图；

图2是本发明实施例提供的标签提取方法中步骤S102的实现流程图；

图3是本发明实施例提供的标签提取方法中步骤S203的实现流程图；

图4是本发明另一实施例提供的标签提取方法中步骤S102的实现流程图；

图5是本发明实施例提供的标签提取方法中步骤S104的实现流程图；

图6是本发明实施例提供的标签提取装置的组成结构图。

具体实施方式