[发明专利]语料增广方法、装置、设备及存储介质

说明书

本申请提供了一种语料增广方法、装置、设备及存储介质，该方法包括：获取原始语料；确定原始语料中的正确语料和错误语料；确定错误语料中错误字词出现的频率；按照错误语料中错误字词出现的频率将正确语料中错误字词对应的正确字词替换为错误字词，以生成第一语料；将第一语料添加至原始语料中。该方法解决了现有技术中可能引入大量生僻字的问题，使得训练数据能够更好地模拟真实场景下的错误，提高了语料质量，有助于后续模型的学习。

技术领域

本申请实施例涉及计算机技术领域中的语言处理技术，尤其涉及一种语料增广方法、装置、设备及存储介质。

背景技术

语言是复杂的，中文相对于其他语言更加复杂，例如中文中容易出现同音、谐音、混淆音、形似等的字，这将导致在搜索引擎、人机对话、语音识别、内容审核等场景中需要提供强大的语料，以包括各种纠错语句等，如该语料中包括：同音、谐音、混淆音、形似等的字。

目前最常见的方法还是采用了构建同音、同形字表对语料中对应的字进行替换，以此来生成纠错语料。然而，由于中文同音同形字较多，对于特定场景，如金融领域的人机对话场景，这种无目标的替换字的方法，会引入较多无用的生僻字，使得训练数据无法较好地模拟真实场景下的错误，降低了语料的质量，不利于后续模型的学习。

发明内容

本申请提供一种语料增广方法、装置、设备及存储介质，使得训练数据能够更好地模拟真实场景下的错误，提高了语料质量，有助于后续模型的学习。

第一方面，提供一种语料增广方法，包括：获取原始语料；确定原始语料中的正确语料和错误语料；确定错误语料中错误字词出现的频率；按照错误语料中错误字词出现的频率将正确语料中错误字词对应的正确字词替换为错误字词，以生成第一语料；将第一语料添加至原始语料中。

第二方面，提供一种语料增广装置，包括：获取模块、第一确定模块、第二确定模块、第一生成模块和第一添加模块，其中，获取模块用于获取原始语料；第一确定模块用于确定原始语料中的正确语料和错误语料；第二确定模块用于确定错误语料中错误字词出现的频率；第一生成模块用于按照错误语料中错误字词出现的频率将正确语料中错误字词对应的正确字词替换为错误字词，以生成第一语料；第一添加模块用于将第一语料添加至原始语料中。

第三方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面或其各实现方式中的方法。

第四方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

第五方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。

第六方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

通过本申请提供的技术方案，电子设备可以按照错误语料中错误字词出现的频率将正确语料中错误字词对应的正确字词替换为错误字词，以生成第一语料，即模拟真实的错误语料，解决了上述现有技术中可能引入大量生僻字的问题，使得训练数据能够更好地模拟真实场景下的错误，提高了语料质量，有助于后续模型的学习。进一步地，本申请利用连续滑动分词和/或语言模型，从有限原始语料基础上快速提取了正确语料和错误语料，并且本申请通过语料增广模型可以生成与正确语料相似的语料，用于扩充正确语料，从而提高了语料的丰富性，并且如果该语料增广模型是Simbert模型，该模型得到的语料更加通顺且符合人类语言形式。并且可以利用目标音形编码得到与真实语料字词相似度最高的字词，有目标的替换真实正确语料中的字词，由于目标音形编码同时与同音、形似、谐音与方言、九宫格与全键盘错误等有关，使得基于该编码方式而进行的语料扩充能更好的模拟真实聊天场景中的输入错误。

附图说明