[发明专利]基于频繁项集的模板自动挖掘系统及其方法

权利要求书

1.基于频繁项集的模板自动挖掘系统，其特征在于，包括意图识别模块、类目词替换模块、频繁项集挖掘模块、筛选模板模块、模板排序模块；

所述意图识别模块用于对用户的历史搜索记录进行意图识别，并将经过意图识别后的记录发送至类目词替换模块；

所述类目词替换模块用于对经过意图识别以后的记录进行切词，替换类目词，并将替换类目词后的记录发送至频繁项集挖掘模块；

所述频繁项集挖掘模块用于对替换类目词后的记录进行频繁项集挖掘并将挖掘的结果发送至筛选模板模块；

所述筛选模板模块根据频繁项集挖掘模块得到的结果对替换类目词后的记录进行筛选，得到初步的模板并将其发送至模板排序模块；

所述模板排序模块计算最初的模板的熵值以及与已有匹配词的相似度，并根据熵值、相似度以及搜索记录次数对模板进行排序，得到最终的模板；

所述意图识别模块中，采用相关记录训练意图识别模型，所述相关记录指的是用户的搜索记录，所述意图识别模型包括fasttext模型，采用训练完的意图识别模型对历史搜索记录进行意图识别；

所述训练意图识别模型是输入带有类目标签的数据，模型的输出为对应的类目标签，经过训练使得意图模型根据输入的记录计算该记录分别属于各个类目的概率并输出其中概率最大的类目；

所述类目词替换模块中，采用结巴分词对经过意图识别的记录进行切词，将记录中和固定类相关的词语替换成固定类目词；

所述频繁项集挖掘模块中，对替换类目词后的记录进行切词；对切词以后得到的单词进行去重并且去掉标点符号作为待挖掘的项，利用关联规则挖掘算法进行挖掘，然后将挖掘得到的结果发送至筛选模板模块；

所述筛选模板模块中，对满足置信度的频繁项保留下来，然后把包括特定频繁项的记录保留得到挖掘模板，所述置信度的计算公式如下：

其中P(A)指的是A出现的概率，P(AB)指的是A和B同时出现的概率；

所述模板排序模块中，计算同一类型模板中配模词的可能性，利用熵值来评价模板的通用性，所述熵值排序，衡量的是带有固定类目词所包括的可能性个数，熵值S的计算公式如下：

S＝-∑p(A)log(p(A))；

用余弦相似度计算与已有词表的相似度，根据熵值，与已有词表的相似度以及搜索记录的次数，训练LR模型即排序模型对模板进行排序，排序模型用到的是LR算法首先训练模型得到排序优先度占比参数，再根据熵值、与已有词表的相似度以及搜索记录次数的优先度占比参数对模板进行排序；

所述排序模型的训练方法是，首先人工收集历史记录数据，与训练类目相关的数据打上标签‘1’，不相关的打上标签‘0’，然后输入到排序模型里面去训练，得到排序模型的优先度占比参数，下次输入新的记录安装该参数进行排序。

2.根据权利要求1所述的基于频繁项集的模板自动挖掘系统，其特征在于，所述关联规则挖掘算法，包括FP-Growth算法。

3.利用权利要求1所述的基于频繁项集的模板自动挖掘系统的模板自动挖掘方法，其特征在于，包括以下步骤：

S1：输入用户的历史记录，采用意图识别模块对用户的历史记录进行意图识别；

S2：采用类目词替换模块对经过意图识别的记录用结巴分词进行切词，将记录中和固定类相关的词语替换成固定类目词，得到替换类目词后的记录；

S3、采用频繁项集挖掘模块对替换类目词后的记录用结巴分词进行切词并且进行去重，把切词以后得到的词语作为待挖掘的项；

S4：把经过S3处理的项输入FP-Growth算法，筛选指标选择支持度以及置信度，采用筛选模板模块把满足支持度，置信度阈值的结果筛选出来；

S5：遍历S1中处理得到的记录，把同时包含S4中频繁项的结果保留下来得到初步的模板；

S6：根据S5得到的模板，采用模板排序模块根据模板的熵值、与已有词表的相似度、搜索记录的次数，训练排序模型进行排序。