[发明专利]一种汽车配件名称分词方法和系统

说明书

本发明属于计算机技术领域，具体涉及一种汽车配件名称分词方法和系统。该方法包括：创建配件名列表、创建包含关系图和使用包含关系图。其中，人工标注创建配件名列表，对创建的配件名列表按配件名长度排序，并创建一个初始状态为空的已处理的配件名列表；对已排序的配件名列表中每个配件名执行以下操作：寻找包含关系，生成有向无环图，设置权重，根据动态规划算法在所有路径中寻找最优路径，更新包含关系图。本发明使用了包含关系图将分词结果保存在一个图的结构中，不仅完成了中文分词，而且将分词结果中蕴含的汽车配件领域知识也保存起来，为创建汽车配件领域的知识图谱提供了重要的知识来源，可以提高中文分词的准确性以及中文分词的效率。

技术领域

本发明属于计算机技术领域，具体涉及一种汽车配件名称分词方法和系统。

背景技术

在汽车配件领域，通常需要通过一个配件商品的名称来确定这个商品是属于哪个类别的配件。例如，配件生产厂家都会提供一个他们生产的汽车配件列表，但是不同的厂家会有他们自己的汽车配件命名风格。所以，对于同一个汽车配件商品，可能会有多个名称和它对应。而一个汽车配件ERP系统的其中一个目标就是整合不同来源的数据，并将它们转换到一个统一而标准的系统当中。对于不同来源的配件商品名称，汽车配件ERP系统需要创建一个标准的汽车配件类别库，并将每一个配件商品名称对应到一个标准的配件类别。

而汽车配件商品名称的一个特点是商品名称主要是由短文本构成。在一个由几百万配件商品名称构成的样本中，名称在十个字以内的占了总数的80％，名称在十二个字以内的占了总数的86％。汽车配件商品名称的简短的这一特点也确定了在汽车配件商品名称中并没有太多的上下文可以参考。

对汽车配件商品名称进行自然语言处理的主要目标是将商品名称分配到一个标准的配件类别中。而要实现这个目标，一个关键的步骤就是对汽车配件商品名称进行准确的分词。常用的中文分词软件例如结巴分词并不能对汽车配件商品名称进行准确的分词，因为这些商品名称中包含了汽车配件领域特有的专业名词，例如“空气滤清器”，“减震器”，“点火线圈”等。

为此，需要提出了一个适用于汽车配件领域对汽车配件商品名称进行分词的方法和系统。使用分词方法对汽车配件商品名称进行准确的分词，从而为汽车配件商品的准确分类提供基础。

发明内容

为解决汽车配件商品名称的准确分词问题，本发明提供了一种汽车配件名称分词方法和系统，采用递归的方法对短文本进行分词，通过一个配件名的包含关系图来保存分词结果，实现对汽车配件商品名称进行准确的分词。

本发明采用以下技术方案实现：

一种汽车配件名称分词方法，包括以下步骤：

一、创建配件名列表

人工标注创建配件名列表；

二、创建包含关系图

对创建的配件名列表按配件名长度排序，并创建一个初始状态为空的已处理的配件名列表；对已排序的配件名列表中每个配件名执行以下操作：

寻找包含关系；生成有向无环图；设置权重，根据动态规划算法在所有路径中寻找最优路径，更新包含关系图，得到执行的配件名的分词结果；

将当前执行的配件名加入到已处理的配件名列表，并将已排序的配件名列表中全部配件名进行一个循环，完成配件名的包含关系图创建；

三、使用包含关系图

使用创建后的配件名的包含关系图对配件商品名称进行分词。

作为本发明的进一步方案，所述人工标注创建配件名列表时，由本领域的专家手动标注或提取出来，一个配件名必须对应到一个汽车配件类别，并且一个配件名中的所有词都是和汽车配件有关的。