[发明专利]语义分析引擎的分布式平台构架方法、系统

权利要求书

1.一种语义分析引擎的分布式平台构架方法,其特征在于，包括：

接收输入的用户语句数据；

对所述用户语句数据进行离线训练；以及

对所述用户语句数据进行实时解析以得到语义结果；

其中，所述对所述用户语句数据进行离线训练的过程包括：

将输入的所述用户语句数据存储于分布式系统上以生成训练数据，将所述训练数据转换为分布式数据集以使所述训练数据被分块，对分块后的所述训练数据按照分词格式进行训练以得到CRF分词模型和按照词语的词性进行训练以得到CRF词性模型；

将所有的所述训练数据进行分词，将分词处理后的所述训练数据通过无监督的方法为每个词计算出一个d维向量以得到词向量，进而生成词向量模型；

搭建基于神经网络的双向编解码模型，将所述词向量输入所述双向编解码模型进行训练学习获知输入语句的意图，同时将所有的所述训练数据进行分词，将分词处理后的用户数据转换为弹性分布式数据集，并输入所述双向编解码模型进行校验所述意图是否准确，以训练出意图提取模型；以及

将所述词向量通过查询标准字典的方法为每个词提供近义词和/或标注标签以生成带标签的近义词词网；

所述对所述用户语句数据进行实时解析的过程包括：

调用预先训练完毕的CRF分词模型，对所述用户语句数据进行分词，以分解成多个词汇，然后调用预先训练完毕的CRF词性模型，对分解得到的每个所述词汇标注词性；

将标注了词性的所有的所述词汇在预先训练得到的带标签的近义词词网中进行搜索，每个所述词汇结合相应的自身被标注的词性找到该词汇相对的所有标签；

同时，调用预先训练完毕的意图提取模型，对标注了词性的所有的所述词汇进行分析，以得出当前用户语句可能的意图信息；以及

结合所述意图信息和标签词信息，解析获得最终的语义结果。

2.一种语义分析引擎的分布式平台构架系统，其特征在于，包括：

离线训练系统，被配置为接收输入的用户语句数据，对所述用户语句数据进行离线训练；以及

实时解析系统，被配置为接收输入的用户语句数据，对所述用户语句数据进行实时解析以得到语义结果；

所述离线训练系统被配置为：

将输入的所述用户语句数据存储于分布式系统上以生成训练数据，将所述训练数据转换为分布式数据集以使所述训练数据被分块，对分块后的所述训练数据按照分词格式进行训练以得到CRF分词模型和按照词语的词性进行训练以得到CRF词性模型；

将所有的所述训练数据进行分词，将分词处理后的所述训练数据通过无监督的方法为每个词计算出一个d维向量以得到词向量，进而生成词向量模型；

搭建基于神经网络的双向编解码模型，将所述词向量输入所述双向编解码模型进行训练学习获知输入语句的意图，同时将所有的所述训练数据进行分词，将分词处理后的用户数据转换为弹性分布式数据集，并输入所述双向编解码模型进行校验所述意图是否准确，以训练出意图提取模型；以及

将所述词向量通过查询标准字典的方法为每个词提供近义词和/或标注标签以生成带标签的近义词词网；

所述实时解析系统，被配置为调用预先训练完毕的CRF分词模型，对所述用户语句数据进行分词，以分解成多个词汇，然后调用预先训练完毕的CRF词性模型，对分解得到的每个所述词汇标注词性；

将标注了词性的所有的所述词汇在预先训练得到的带标签的近义词词网中进行搜索，每个所述词汇结合相应的自身被标注的词性找到该词汇相对的所有标签；

同时，调用预先训练完毕的意图提取模型，对标注了词性的所有的所述词汇进行分析，以得出当前用户语句可能的意图信息；以及

结合所述意图信息和标签词信息，解析获得最终的语义结果。