[发明专利]一种通顺模型训练方法及辅助语音识别方法

说明书

本发明公开了一种通顺模型训练方法，包括如下步骤：步骤1，生成字数为2和3的统计词频的字典；步骤2，非通顺数据集预处理：通顺数据集中的句子通过分词生成基于词的列表；步骤3，非通顺数据集生成：将词的列表打乱，重新生成一个非通顺句子，从而构成非通顺数据集；步骤4，数据集向量化：通过3‑gram技术使用字数为2和3的统计词频的字典，将非通顺和通顺数据集向量化，同时分别给通顺数据集和非通顺数据集打上0，1标签；通顺数据集通过通顺语句知识库生成；步骤5，模型准备：搭建textcnn神经网络模型；步骤6，通顺模型训练：使用向量化的数据对神经网络模型进行训练，从而获得通顺模型。本发明公开一种使用通顺模型辅助语音识别的方法。

技术领域

本发明属于自然语言处理领域，尤其涉及对话系统中辅助语音识别的通顺模型方法及辅助语音识别方法。

背景技术

N-gram是自然语言处理领域中的一个较为重要的语言模型，应用于判断句子是否合理，句子矫正，模糊查询等。该模型通常与预设的阈值做比对来判断一个句子是否合理。评估语音信息的得分，若该得分小于或等于预设的阈值得分，则判定句子是不合理的。若该得分大于预设的阈值得分，则判定句子是合理的并且句子通顺。

人工智能分为三大学派：行为主义，符号主义，连接主义。其中连接主义认为人工智能源于仿生学，特别是对人脑模型的研究，研究的主要代表为神经网络模型。学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。

中国专利CN202010600771.X公开了一种文本通顺度确定方法、装置、设备及介质，对目标文本进行划分，得到至少一个文本片段，对该至少一个文本片段中的每个文本片段进行划分，得到该每个文本片段对应的多个分词；通过获取目标文本中的每个文本片段的通顺度，以及获取目标文本中的每个分词的通顺度，并基于目标文本中的每个文本片段的通顺度和目标文本中的每个分词的通顺度确定目标文本的通顺度，即从不同维度对文本的通顺度进行判断，因此可以提高判断文本通顺度的准确性。该方法主要采用第一通顺度和第二通顺度结合的方法来判断语言是否通顺，但方法过于复杂，训练时间长，难以满足较大数据量的处理需求。

约翰·霍普金斯大学、波兰波兹南工业大学、弗罗茨瓦夫科技大学以及初创公司Avaya的研究人员研究表明，某些语音识别系统错误率较高，如果直接使用这些语音识别系统会严重影响自然语音处理的下游任务。

发明内容

针对上述技术问题，本发明公开了一种辅助语音识别的通顺模型方法，将语音识别识别合理的通顺语句顺利进入到自然语言处理的下游任务，若语音识别出不规则和不合理的语句时，对此进行过滤。

为达到上述目的，本发明采用的技术方案为：一种通顺模型训练方法，详细步骤如下：

步骤1，生成字数为2和3的统计词频的字典：使用预先准备的通顺数据生成统计词频个数为2以及词频个数为3的字典；通顺数据集是由通顺语句组成的数据库，例如百度百科常识知识库。

步骤2，非通顺数据集预处理：通顺数据集中的句子通过分词生成基于词的列表；

步骤3，非通顺数据集生成：将词的列表打乱，生成非通顺数据集；

步骤4，数据集向量化：使用3-gram技术，使用字数为2和3的统计词频的字典，将非通顺和通顺数据集向量化，同时分别给通顺数据集和非通顺数据集打上0，1标签；

步骤5，模型准备：搭建textcnn神经网络模型；

步骤6，通顺模型训练：将非通顺数据、通顺数据的向量，求其向量的平均值，标准差，方差，最大值，最小值，重新生成维度为5的向量，保证维度的统一，然后输入到textcnn模型中进行训练，获得通顺模型。

优选的，步骤1后进一步包括如下步骤：使用同义词替换、回译的方式对通顺数据集进行数据集增广。