[发明专利]一种数据分类的方法及装置

说明书

技术领域

本申请涉及数据处理领域，特别涉及一种数据分类的方法及装置。

背景技术

在电子商务网站中，各种商品数据通常是以文本、数据表等形式进行存储。一个电子商务网站所需要管理的商品数据数以千万计，因此，如何将商品数据按照其描述的信息内容进行分类，将相似的商品数据进行统一管理，以降低系统的管理复杂度，减轻系统的运行负荷，是电子商务网站运营时首先需要考虑的问题。

目前，在各类电子商务网站内，通常采用聚类算法对各种商品数据进行分类，即根据预设的一系列规则、条件，通过相似性分析，将商品数据划分为多种类别。现有技术下，最常采用的聚类算法是分层聚类算法。

所谓分层聚类算法，是一种自底向上的策略，即首先将每个分类对象作为单独的一个原子簇，然后合并这些原子簇为级别更高的簇，直到所有的分类对象均集中在同一个簇中，或者，达到某个终止条件。

在电子商务网站中，一件商品的相关数据通常包括多种，例如，商品的标识、类目、属性等等。而电子商务网站内设置的商品数目数以万计，相应地，其相关数据可多达数十万种，如，一件商品归属的类目为“手机”，该商品的某一属性为“手机品牌”，而该属性的取值可以为“A品牌”或“B品牌”等等。因此，采用分层聚类算法对电子商务网站中的各种商品的相关数据进行分类，计算量非常大，以致于单机无法完成，需要服务器集群进行统一计算。显然，这会大大地浪费系统资源，也耗费大量的计算时间，从而不能及时有效地完成商品的相关数据的分类，降低了商品相关数据分类流程的执行效率。

发明内容

本申请实施例提供一种数据分类的方法及装置，用以提高商品相关数据分类流程的执行效率。

本申请实施例提供的具体实施方式如下：

一种数据分类的方法，包括：

获取需要进行分类的各商品的相关数据，并提取出其中的商品标题；

对各商品标题分别进行分词划分，并确定各分词的权重，其中，各分词的权重用于表示该分词的历史出现频率；

针对不同的商品分别选取权重取值符合预设条件的分词组成分词序列；

将针对各商品选取的分词序列进行比较，并将分词序列相同的商品的相关数据进行合并。

一种用于进行商品分类的装置，包括：

提取单元，用于获取需要进行分类的各商品的相关数据，并提取出其中的商品标题；

划分单元，用于对各商品标题分别进行分词划分，并确定各分词的权重，其中，各分词的权重用于表示该分词的历史出现频率；

选取单元，用于针对不同的商品分别选取权重取值符合预设条件的分词组成分词序列；

合并单元，用于将针对各商品选取的分词序列进行比较，并将分词序列相同的商品的相关数据进行合并。

本申请实施例中，通过从商品标题和属性信息中划分并提取出的分词序列，来标识某一类商品，并将分词序列相同的商品进行合并，这样，这样，大大减少了需要处理的商品相关数据的数量，可以在较短时间内迅速、准确地实现商品分类，从而有效提高了商品分类流程的执行效率，降低了商品相关数据的管理复杂度，也减轻了系统的运算负荷。

附图说明

图1为本申请实施例中管理装置功能结构图；

图2为本申请实施例中对商品数据进行分类流程图；

图3为本申请实施例中对分类结果进行优化流程图。

具体实施方式

为了提高商品相关数据分类流程的执行效率，减轻系统的运行负荷，本申请实施例中，在进行商品相关数据分类时，获取需要进行分类的各商品的相关数据，并提取出其中的商品标题；对各商品标题分别进行分词划分，并确定各分词的权重，其中，各分词的权重用于表示该分词的历史出现频率；针对不同的商品分别选取权重取值符合预设条件的分词组成分词序列；将针对各商品选取的分词序列进行比较，并将分词序列相同的商品的相关数据进行合并。

其中，将分词序列相同的商品进行合并时，包括将分词序列相同的商品的相关数据直接进行合并；或者，获取分词序列相同的商品的指定属性值，并将指定属性值相同的商品的相关数据进行合并。以下实施例中，将以第二种情况为例进行说明。

下面结合附图对本申请优选的实施方式进行详细说明。

参阅图1所示，本申请实施例中，用于进行商品分类的管理装置包括提取单元10、划分单元11、选取单元12和合并单元13，其中，

提取单元10，用于获取需要进行分类的各商品的相关数据，并提取出其中的商品标题；

划分单元11，用于对各商品标题分别进行分词划分，并确定各分词的权重，其中，各分词的权重用于表示该分词的历史出现频率；