[发明专利]分类表达式生成方法和装置

说明书

本申请公开了一种分类表达式生成方法和装置，所述方法包括：获取至少两个分类，每个所述分类包括多个语料；根据各分类包括的语料对每个分类进行算法挖掘生成对应于该分类的频繁模式集合，每个所述频繁模式集合中包括至少一个频繁模式；比较每个所有分类下的频繁模式集合中，各个频繁模式的概念和/或要素，排除相同的频繁模式，保留至少有一个概念或要素与其它频繁模式不同的频繁模式，并生成候选频繁模式集合；将所述至少一个候选频繁模式中的概念和/或要素组合运算生成每个所述分类的分类表达式。本方法能够排出分类中重复的频繁模式，并自动生成分类表达式，避免了人工筛选和挖掘过程，提高了语料筛选效率和准确度。

技术领域

本申请涉及文本挖掘技术领域，用于对大量的语料进行挖掘并生成属于不同分类下的分类表达式，具体地涉及了一种分类表达式生成方法和装置。

背景技术

社会化大数据中有80％属于非结构化数据，非结构化数据处理是大数据面临着诸多的挑战，其中的一种挑战是：业务分类及规划多变化快带来的维护挑战，业务分类多，分类变化快，每次分类变化时，需要把相关的所有分类的语言规则重新梳理，维护的工作量大，效率低。

对于业务性较强的相似短文本的分类或者语料，比如银行管理系统对客服工单来电原因进行分类，由于文本内容很短，同一特征出现次数很少，并且不同的文本或者语料所属的类别之间存在很多交叉特征，采用统计挖掘算法如TFIDF、KNN等都难以权衡合理的特征权重，导致对这些文本或语料分类的准确度不高。

实际工作中，为了保证对业务性较强的相似短文本的分类能够达到实际运用的准确度，需要人工从大量语料中进行特征的筛选来生成分类表达式，这一过程耗时耗力。

发明内容

本申请提供了一种分类表达式生成方法和装置，以提高对语料筛选的效率和准确度。

第一方面，本申请提供了一种分类表达式生成方法，所述方法包括：获取至少两个分类，每个所述分类包括多个语料；根据各分类包括的语料对每个所述分类进行算法挖掘生成对应于该分类的频繁模式集合，每个所述频繁模式集合中包括至少一个频繁模式，每个所述频繁模式中包括概念或要素中的至少一种，所述概念或要素可通过对每个所述语料解析获得；比较所有分类下的频繁模式集合中，各个频繁模式的概念和/或要素，即组成各个频繁模式的元的种类，排除相同的频繁模式，保留至少有一个概念或要素与其它频繁模式不同的频繁模式，并生成候选频繁模式集合，所述候选频繁模式集合中包括至少一个候选频繁模式；将所述至少一个候选频繁模式中的概念和/或要素组合运算生成每个所述分类的分类表达式。

本方面提供的方法，通过对每个分类进行算法挖掘形成频繁模式集合，并对所有生成的频繁模式集合进行比较和筛选形成分类表达式，该方法能够排出分类中重复的频繁模式，并为任一语料生成对应于其所在分类的分类表达式，是一种自动实现过程，避免了人工筛选和挖掘过程，提高了语料筛选效率和准确度。

结合第一方面，在第一方面一种具体的实现中，每个所述语料对应一个项集，所述算法包括Apriori算法，所述根据各分类包括的语料对每个所述分类进行算法挖掘生成对应于该分类的频繁模式集合，包括：获取所述每个分类下的多个语料所对应的多个项集；将所述多个项集通过所述Apriori算法运算生成多个频繁模式集合，每个所述分类对应一个频繁模式集合。

结合第一方面，在第一方面另一种具体的实现中，所述生成多个频繁模式集合，包括：筛选二元或二元以上且只包含概念和要素中的一种的频繁模式；排除所述只包含概念和只包含要素组成的二元及二元以上的频繁模式，保留一元频繁模式和包含概念和要素的二元及二元以上的频繁模式，并利用保留的频繁模式生成所述多个频繁模式集合。

本实现方式排除了二元及二元以上只包含概念和要素的频繁模式，使得生成的分类表达式中包括概念和要素两种，从而更准确地将要筛选的语料划分在对应的分类下，方便业务人员对数据库中大量语料进行统计和整理。