[发明专利]一种文本生成方法及设备在审
申请号: | 202011156277.5 | 申请日: | 2020-10-26 |
公开(公告)号: | CN112287667A | 公开(公告)日: | 2021-01-29 |
发明(设计)人: | 卫海天;丁若谷 | 申请(专利权)人: | 北京明略昭辉科技有限公司 |
主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/44;G06F16/35 |
代理公司: | 青岛清泰联信知识产权代理有限公司 37256 | 代理人: | 赵燕 |
地址: | 100089 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 生成 方法 设备 | ||
1.一种文本生成方法,其特征在于,所述方法包括:
S1、获取输入文本;
S2、根据所述输入文本对一预训练模型进行参数优化训练获得文本生成模型;
S3、根据所述输入文本应用所述文本生成模型生成对应于所述输入文本的输出文本。
2.如权利要求1所述的文本生成方法,其特征在于,所述步骤S3具体包括以下步骤:
S31、根据所述输入文本应用所述文本生成模型生成对应于所述输入文本的初始文本;
S32、计算所述初始文本的主题生成概率;
S33、判断所述主题生成概率是否大于设定阈值;
S34、若所述主题生成概率大于所述设定阈值,则直接输出初始文本;若所述主题生成概率小于所述设定阈值,则根据所述主题生成概率更新所述文本生成模型以生成新的初始文本,对所述主题生成概率进行调整,直至所述主题生成概率满足阈值要求,从而输出初始文本;
S35、判断所述初始文本的文本长度;
S36、若所述初始文本长度达到预设文本长度,则所述初始文本为所述输出文本;若所述初始文本长度未达到预设文本长度,则循环执行所述步骤S31至所述步骤S36,继续获得新的初始文本,直至所述初始文本长度累计达到预设文本长度,获得所述输出文本。
3.如权利要求1所述的文本生成方法,其特征在于,所述步骤S2中预训练模型为GPT-2模型。
4.如权利要求2所述的文本生成方法,其特征在于,所述步骤S32中主题生成概率为所述初始文本属于预设主题的概率,根据所述初始文本通过词袋模型进行计算所述主题生成概率。
5.如权利要求2所述的文本生成方法,其特征在于,所述步骤S34中根据所述主题生成概率更新所述文本生成模型具体包括以下步骤:
S341、根据所述主题生成概率计算所述初始文本的更新梯度;
S342、根据所述更新梯度更新所述文本生成模型的内部参数。
6.一种文本生成设备,运行如权利要求1至5中任一项所述的文本生成方法,其特征在于,包括:
文本获取模块,用于获取输入文本;
模型生成模块,用于根据所述输入文本对一预训练模型进行参数优化训练获得文本生成模型;
文本输出模块,用于根据所述输入文本应用所述文本生成模型生成对应于所述输入文本的输出文本。
7.如权利要求6所述的文本生成设备,其特征在于,所述文本输出模块包括:
初始文本生成模块,用于根据所述输入文本应用所述文本生成模型生成对应于所述输入文本的初始文本;
概率计算模块,用于计算所述初始文本的主题生成概率;
概率判断模块,用于判断所述主题生成概率是否大于设定阈值;
模型更新模块,若所述主题生成概率大于所述设定阈值,则直接输出初始文本;若所述主题生成概率小于所述设定阈值,则根据所述主题生成概率更新所述文本生成模型以生成新的初始文本,对所述主题生成概率进行调整,直至所述主题生成概率满足阈值要求;
文本长度判断模块,用于判断所述初始文本的文本长度;
文本长度调整模块,若所述初始文本长度达到预设文本长度,则所述初始文本为所述输出文本;若所述初始文本长度未达到预设文本长度,则循环执行所述步骤S31至所述步骤S36,继续获得新的初始文本,直至所述初始文本长度累计达到预设文本长度,获得所述输出文本。
8.如权利要求6所述的文本生成设备,其特征在于,所述模型生成模块中预训练模型为GPT-2模型。
9.如权利要求7所述的文本生成设备,其特征在于,所述概率计算模块中主题生成概率为所述初始文本属于预设主题的概率,根据所述初始文本通过词袋模型进行计算所述主题生成概率。
10.如权利要求7所述的文本生成设备,其特征在于,所述模型更新模块包括:
更新梯度计算模块,用于根据所述主题生成概率计算所述初始文本的更新梯度;
模型参数更新模块,用于根据所述更新梯度更新所述文本生成模型的内部参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明略昭辉科技有限公司,未经北京明略昭辉科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011156277.5/1.html,转载请声明来源钻瓜专利网。