[发明专利]方言文本生成方法和装置、存储介质和电子设备在审
申请号: | 202010583168.5 | 申请日: | 2020-06-23 |
公开(公告)号: | CN111737998A | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 潘俊杰 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/205;G06F40/242;G06F40/58;G06F40/117 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 王晓霞 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 方言 文本 生成 方法 装置 存储 介质 电子设备 | ||
本公开涉及一种方言文本生成方法和装置、存储介质和电子设备,所述方法包括将待处理文本输入分词模型,得到分词结果,所述待处理分词结果包括所述待处理文本的各个单词及该单词的前词和/或后词;将所述分词结果输入预训练的方言转写模型,其中,所述方言转写模型用于基于分词结果中的待转写单词及所述待转写单词的前词和/或后词,将所述待转写单词转写为方言单词结果;获取所述方言转写模型输出的方言文本,所述方言文本包括多个所述方言单词结果。
技术领域
本公开涉及文本处理领域,具体地,涉及一种方言文本生成方法和装置、存储介质和电子设备。
背景技术
地域不同导致了人们的语言习惯不同,各地方言的用语习惯也存在差异,即使同属于一个语言体系,不同方言之间仍旧存在很大的不同。这导致通用语使用者与方言使用者、不同的方言的方言使用者之间的沟通存在困难。
在现有技术中,可以基于文本生成特定方言口音的音频,以帮助方言使用者理解文本内容,但是基于通用语言文本生成的方言音频可能存在由于用语习惯不同导致的理解偏差的风险。同一个事物在不同的方言里存在不同的表述,在有些方言里,相同事物在不同语境里的表述也不尽相同,现有技术中没有能够提供符合方言语言习惯的合理文本的方案。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种方言文本生成方法,包括将待处理文本输入分词模型,得到分词结果,所述待处理分词结果包括所述待处理文本的各个单词及该单词的前词和/或后词;将所述分词结果输入预训练的方言转写模型,其中,所述方言转写模型用于基于分词结果中的待转写单词及所述待转写单词的前词和/或后词,将所述待转写单词转写为方言单词结果;获取所述方言转写模型输出的方言文本,所述方言文本包括多个所述方言单词结果。
第二方面,本公开提供一种方言文本生成装置,包括分词模块,用于将待处理文本输入分词模型,得到分词结果,所述待处理分词结果包括所述待处理文本的各个单词及该单词的前词和/或后词;转写模块,用于将所述分词结果输入预训练的方言转写模型,其中,所述方言转写模型用于基于分词结果中的待转写单词及所述待转写单词的前词和/或后词,将所述待转写单词转写为方言单词结果;生成模块,用于获取所述方言转写模型输出的方言文本,所述方言文本包括多个所述方言单词结果。
第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现本公开第一方面中所述方法的步骤。
第四方面,本公开提供一种电子设备,包括存储装置和处理装置,存储装置上存储有计算机程序,处理装置用于执行所述存储装置中的所述计算机程序,以本公开第一方面中所述方法的步骤。
基于上述的技术方案,至少可以达到以下的技术效果:
通过分词模型得到包括单词的前词和/或后词的分词结果,并通过预训练的方言转写模型对该包括了前词和/或后词的分词结果进行转写,可以高效地对待处理文本进行批量化处理以得到方言文本,且使得方言文本更符合方言在不同语境下的语言习惯,更加有利于方言使用者理解。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。在附图中:
图1是根据一示例性公开实施例示出的一种方言文本生成方法的流程图。
图2是根据一示例性公开实施例示出的一种方言文本生成方法的流程图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010583168.5/2.html,转载请声明来源钻瓜专利网。