[发明专利]基于分布式系统的意图识别方法及装置

权利要求书

1.一种基于分布式系统的意图识别方法，其特征在于：包括以下步骤，

S10、通过数据分块模型，对原始文本数据进行分块处理，得到文本分块数据；

S20、基于分块数据，每一块数据作为单一独立模块数据，分别通过Scikit-learn算法模型中的countVectorizer和tfidfVectorizer函数模型进行训练；

S30、将经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit-learn算法中间件存储于本地，保留文本数据特征间相互关联关系，形成XGBoost模型初始数据；

S40、分别对与分布式系统的每个节点对应的XGBoost算法通过XGBoost模型初始数据进行独立训练，得到意图识别XGBoost模型存储于本地；将XGBoost模型初始数据，经过XGBoost模型中梯度增强算法进行模型训练，通过收缩比例因子新增加权重防止过拟合情况，训练直至达到损失函数条件，终止模型训练，得到XGBoost算法意图识别模型；

S60、在分布式系统的每个节点位置，对应配置Scikit-learn算法中间件和意图识别XGBoost模型；

S70、根据在分布式系统的每个节点位置对应配置的Scikit-learn算法中间件和XGBoost存储模型，分析用户意图。

2.如权利要求1所述的基于分布式系统的意图识别方法，其特征在于：在步骤S60之前，还包括步骤，

S50、通过分布式系统，根据分块训练的个数配置分布式计算规模，分布式计算出分布式系统的每个节点位置。

3.如权利要求1所述的基于分布式系统的意图识别方法，其特征在于：所述步骤S20具体包括，

S21、通过Scikit-learn算法中的CountVectorizer函数将分块数据转换词频矩阵；

S22、词频矩阵通过TfidfVectorizer函数计算出每个短语权重分值。

4.一种基于分布式系统的意图识别装置，其特征在于：包括以下模块，

数据分块模块，用于通过数据分块模型，对原始数据进行有效分块处理；

特征函数训练模块，用于基于分块数据，每一块数据作为单一独立模块数据，分别通过Scikit-learn算法模型中的countVectorizer和tfidfVectorizer函数模型进行训练；

特征函数存储模块，用于将经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit-learn算法中间件存储于本地，保留文本数据特征间相互关联关系，形成XGBoost模型初始数据；

XGBoost模型优化模块，用于分别对与分布式系统的每个节点对应的XGBoost算法通过XGBoost模型初始数据进行独立训练，得到意图识别XGBoost模型存储于本地；所述XGBoost模型优化模块，还用于将XGBoost模型初始数据，经过XGBoost模型中梯度增强算法进行模型训练，通过收缩比例因子新增加权重防止过拟合情况，训练直至达到损失函数条件，终止模型训练，得到XGBoost算法意图识别模型存储于本地；

XGBoost模型配置模块，用于在分布式系统的每个节点位置，对应配置Scikit-learn算法中间件和意图识别XGBoost模型；

用户意图分析模块，用于根据在分布式系统的每个节点位置对应配置的Scikit-learn算法中间件和XGBoost存储模型，分析用户意图。

5.如权利要求4所述的基于分布式系统的意图识别装置，其特征在于：在XGBoost模型配置模块之前，还包括，

节点位置计算模块，用于通过分布式系统，根据分块训练的个数配置分布式计算规模，分布式计算出分布式系统的每个节点位置。

6.如权利要求4所述的基于分布式系统的意图识别装置，其特征在于：所述特征函数训练模块包括，

数据转换单元，用于通过Scikit-learn算法中的CountVectorizer函数将分块数据转换词频矩阵；

短语权重计算单元，用于词频矩阵通过TfidfVectorizer函数计算出每个短语权重分值。