[发明专利]基于分布式系统的意图识别方法及装置

说明书

本发明提供了一种基于分布式系统的意图识别方法及装置，所述方法通过数据分块模型，对原始数据进行有效分块预处理；将每一块数据作为单一独立模块数据，分别通过Scikit‑learn算法实现文本数据信息处理和训练，经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit‑learn算法中间件存储于本地，便于对用户数据直接进行关联特征选取；接下来，独立模块分别对应进入XGBoost算法训练，通过损失函数设置训练周期，意图识别XGBoost模型结果存储于本地；最后分布式系统根据分块训练的个数配置分布式计算规模，每个节点位置，对应配置Scikit‑learn算法中间件和XGBoost存储模型，根据用户意图分析模块，综合分析用户意图。本发明有效解决海量数据时，初始样本巨大，造成训练周期长，训练效果不理想的问题。

技术领域

本发明涉及一种意图识别方法及装置，尤其是指一种基于分布式系统的意图识别方法及装置。

背景技术

随着信息时代的快速发展，用户数据以指数级增长，大数据背景下，充分挖掘海量细粒度查询意图，不仅有效提高搜索的速度和准确性，同时覆盖率较高。因此用户意图识别技术研究是一项具有重要意义和挑战性的工作。

传统意图识别方法中，XGBoost算法凭借在分类，回归，排序等具体场景时，通用问题解决能力，在学术竞赛和工业界领域使用非常频繁。但是数据量较大时，XGBoost算法内部使用的贪婪算法耗时严重；另外XGBoost使用level-wise生成决策树，当多叶子节点的分裂增益较低时，系统开销巨大。

发明内容

本发明所要解决的技术问题是：提供一种基于分布式系统的意图识别方法及装置，旨在解决在面对大数据量的文本数据时，传统意图识别技术在训练效率和意图识别准确率低的问题。

为了解决上述技术问题，本发明采用的技术方案为：一种基于分布式系统的意图识别方法，包括以下步骤，

S10、通过数据分块模型，对原始文本数据进行分块处理，得到文本分块数据；

S20、基于分块数据，每一块数据作为单一独立模块数据，分别通过Scikit-learn算法模型中的countVectorizer和tfidfVectorizer函数模型进行训练；

S30、将经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit-learn算法中间件存储于本地，保留文本数据特征间相互关联关系，形成XGBoost模型初始数据；

S40、分别对与分布式系统的每个节点对应的XGBoost算法通过XGBoost模型初始数据进行独立训练，得到意图识别XGBoost模型存储于本地；

S60、在分布式系统的每个节点位置，对应配置Scikit-learn算法中间件和意图识别XGBoost模型；

S70、根据在分布式系统的每个节点位置对应配置的Scikit-learn算法中间件和XGBoost存储模型，分析用户意图。

进一步的，在步骤S60之前，还包括步骤，

S50、通过分布式系统，根据分块训练的个数配置分布式计算规模，分布式计算出分布式系统的每个节点位置。

进一步的，所述步骤S20具体包括，

S21、通过Scikit-learn算法中的CountVectorizer函数将分块数据转换词频矩阵；

S22、词频矩阵通过TfidfVectorizer函数计算出每个短语权重分值。