[发明专利]一种基于Performer结构的GPT2文本自动生成方法

说明书

本发明提供一种基于Performer结构的GPT2文本自动生成方法，包括如下步骤：步骤一，读取语料集合中的样本文本S并转化为向量ID_S；步骤二，对于输入的语料集合基于步骤一的方法生成字向量矩阵V；步骤三，构建注意力矩阵A；步骤四，根据所述字向量矩阵V和注意力矩阵A计算样本矩阵P；步骤五，将所述样本矩阵P作为输入，进行多层Performer编码计算后得到矩阵P_X；步骤六，基于步骤五的方法构建文本生成模型M；步骤七，利用所述文本生成模型M自动生成文本。本发明能够以更低的硬件成本，生成比GPT2和GPT3模型更优质的长文本信息，且文本生成的效率、准确性、逼真度都较高。

技术领域

本发明涉及AI应答系统的文本自动生成技术领域，具体而言，涉及一种基于Performer结构的GPT2文本自动生成方法。

背景技术

随着NLP技术的不断发展，越来越多的人工智能（AI）系统采用了复杂的方法来实现人机交互。从过去的命令输入式、提问选择式、知识库检索式，到目前的语音输入式、自然语言输入式等。为了使用户在交互中对AI无感，对AI的应答系统提出了更高的技术要求，其中文本自动生成能力是核心。在机器学习领域，文本自动生成的常用方法可以基于以下模型：Word2Vec模型、ELMo模型、BERT模型、MT-DNN模型、Transformer XL模型、XLNet模型、GPT模型、GPT2模型、GPT3模型等。GPT全称Generative Pre-Training，出自2018年OpenAI发布的论文《Improving Language Understanding by Generative Pre-Training》，之后2019年，OpenAI对GPT进行了改进，提出了GPT2模型，将训练层数上调至48层，隐层的维度达到1600层，参数达到15亿个。之后在2020年，OpenAI又对GPT2进行了改进，提出了GPT3模型，进一步提高了训练的层数，同时增加了参数的个数，以提高文本生成的真实性。但由于GPT3对资源的要求过高，在实际应该过程中，很难在时间和效率中进行取舍；GPT2虽然对计算资源要求较少，但生成的文本长度有限，在一些特殊场合难以满足用户需求。在GPT2模型的基础上，对文本自动生成算法进行优化，能够在一定程度上解决模型的训练时间长、生成的文本长度短、文本场景的符合度低等问题。

发明内容

本发明旨在提供一种基于Performer结构的GPT2文本自动生成方法，以减少模型的训练周期、降低模型的训练资源、提高文本生成的长度、提高文本的场景符合度。

本发明提供的一种基于Performer结构的GPT2文本自动生成方法，包括如下步骤：

步骤一，读取语料集合中的样本文本S并转化为向量ID_S；

步骤二，对于输入的语料集合基于步骤一的方法生成字向量矩阵V；

步骤三，构建注意力矩阵A；

步骤四，根据所述字向量矩阵V和注意力矩阵A计算样本矩阵P；

步骤五，将所述样本矩阵P作为输入，进行多层Performer编码计算后得到矩阵P_X；

步骤六，基于步骤五的方法构建文本生成模型M；

步骤七，利用所述文本生成模型M自动生成文本。

进一步的，步骤一中所述读取语料集合中的样本文本S并转化为向量ID_S的方法为：

读取语料集合中的一条样本文本S，该样本文本S包含N个字符，则有S={S₁,S₂,…,S_N}；