[发明专利]基于分布式系统的意图识别方法及装置

摘要

本发明提供了一种基于分布式系统的意图识别方法及装置，所述方法通过数据分块模型，对原始数据进行有效分块预处理；将每一块数据作为单一独立模块数据，分别通过Scikit‑learn算法实现文本数据信息处理和训练，经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit‑learn算法中间件存储于本地，便于对用户数据直接进行关联特征选取；接下来，独立模块分别对应进入XGBoost算法训练，通过损失函数设置训练周期，意图识别XGBoost模型结果存储于本地；最后分布式系统根据分块训练的个数配置分布式计算规模，每个节点位置，对应配置Scikit‑learn算法中间件和XGBoost存储模型，根据用户意图分析模块，综合分析用户意图。本发明有效解决海量数据时，初始样本巨大，造成训练周期长，训练效果不理想的问题。

主权项

1.一种基于分布式系统的意图识别方法，其特征在于：包括以下步骤，S10、通过数据分块模型，对原始文本数据进行分块处理，得到文本分块数据；S20、基于分块数据，每一块数据作为单一独立模块数据，分别通过Scikit‑learn算法模型中的countVectorizer和tfidfVectorizer函数模型进行训练；S30、将经过训练后的countVectorizer和tfidfVectorizer函数模型，作为Scikit‑learn算法中间件存储于本地，保留文本数据特征间相互关联关系，形成XGBoost模型初始数据；S40、分别对与分布式系统的每个节点对应的XGBoost算法通过XGBoost模型初始数据进行独立训练，得到意图识别XGBoost模型存储于本地；S60、在分布式系统的每个节点位置，对应配置Scikit‑learn算法中间件和意图识别XGBoost模型；S70、根据在分布式系统的每个节点位置对应配置的Scikit‑learn算法中间件和XGBoost存储模型，分析用户意图。