[发明专利]一种客服系统结构化数据的训练方法、装置、设备及介质

说明书

本申请提供一种客服系统结构化数据的训练方法、装置、设备及介质。该方法包括：采集客服系统中的数据，生成专业语料集，利用爬虫程序，爬取通用文本作为通用语料集，确定所述专业语料集和所述通用语料集对应的权重值，并基于分词法对所述专业语料集合所述通用语料集包含的语料进行分词生成词向量，根据所述词向量生成词库，并利用无监督深度学习算法对所述词库中的数据进行训练生成结构化数据的训练模型。本申请的方法，解决了现有系统中的人工采编效率低的问题。

技术领域

本申请涉及机器学习技术，尤其涉及一种客服系统结构化数据的训练方法、装置、设备及介质。

背景技术

随着机器学习的发展，无监督学习的应用也变得越来越广泛。所谓无监督学习指的并不是现实中没人看管的学习方式，而是指计算机等设备利用无标签的数据学习数据的分布或者数据之间的关系。目前无监督学习被广泛应用于数据处理和数据分析等方面。

在客服系统中包含着许多结构化数据信息。现有的客服系统对于通过数据采集获得的原始数据均是由人工对所述数据进行标注，从而生成泛化数据集。之后，人工标注的泛化数据集会被输送至人工智能算法和模型里完成调用。

但是，随着客服系统中用户的增多，客服系统所产生的数据也随之增多。当数据持续增加时，人工对系统中数据进行结构化标注的成本很高并且采编效率很低。

发明内容

本申请提供一种客服系统结构化数据的训练方法、装置、设备及介质，用以解决现有客服系统中结构化知识泛化标注的问题。

第一方面，本申请提供一种客服系统结构化数据的训练方法，包括：

采集客服系统中的数据，生成专业语料集。

利用爬虫程序，爬取通用文本作为通用语料集。

确定所述专业语料集和所述通用语料集对应的权重值，并基于分词法对所述专业语料集合所述通用语料集包含的语料进行分词生成词向量。

根据所述词向量生成词库，并利用无监督深度学习算法对所述词库中的数据进行训练生成结构化数据的训练模型。

在一种具体实施方式中，所述利用无监督深度学习算法对所述词库中的数据进行训练生成结构化数据的训练模型，包括：

将所述词库中的数据作为训练数据，利用无监督深度学习算法对所述训练数据进行训练，采用客服系统中的标注数据对训练结果数据进行验证。

在一种具体实施方式中，所述利用无监督深度学习算法对所述训练数据5进行训练，采用客服系统中的标注数据对训练结果数据进行验证，包括：

将所述词库中的数据作为训练数据，将客户系统中的设定数量的标注数据作为验证数据。

使用训练数据利用无监督深度学习算法训练，生成第一训练结果集；将

第一训练结果集与验证数据进行对比，如果第一训练结果集未超过所述验证0数据，则将所述验证数据加入到所述词库中。

同时调整无监督深度学习算法中的权重值，对所述训练数据进行训练，得到第二训练结果集。

将所述第二训练结果集和所述客服系统中作为验证数据的其他标注数据

进行对比，若所述第二训练结果集未超过验证数据，则重复训练及验证过程，5直至训练结果集超过验证数据。

在一种具体实施方式中，所述基于分词法对所述专业语料集合所述通用语料集包含的语料进行分词生成词向量，包括：

基于词库及词频分词法对所述专业语料集合所述通用语料集包含的语料进行分词，生成所述词向量。

0在一种具体实施方式中，所述根据所述词向量生成词库，包括：