[发明专利]一种神经机器翻译系统的动态大小训练批形成方法和系统

权利要求书

1.一种神经机器翻译系统的动态大小训练批形成方法，其特征在于，该方法包括：

S1.解析平行语料，对语料进行切分和向量化，得到向量化句对；

S2.对向量化句对进行分块，按照词条数对向量化句对块中的句对进行升序排序；

S3.按照批大小对句对块中排序后句对进行分组和填充，所述批大小为一批中所有句对的长度之和，形成训练批。

2.如权利要求1所述的方法，其特征在于，步骤S1包括：

S11.对平行语料进行解析，得到源语言和目标语言句对流；

S12.对句对流中的句子进行切分，生成源语言和目标语言字典并保存；

S13.利用生成的源语言和目标语言字典，向量化平行语料。

3.如权利要求2所述的方法，其特征在于，步骤S11中，不同格式的平行语料使用不同解析器，语料格式和解析器的对应关系存放在配置文件中。

4.如权利要求2所述的方法，其特征在于，步骤S12中，不同文本语言使用不同的切分器，文本语言和切分器的对应关系存放在配置文件中。

5.如权利要求2所述的方法，其特征在于，步骤S13中，若指定生成的字典大小，维护词条和它在文本中出现次数的计数结构，扫描文本的过程中更新出现次数，扫描结束后根据出现次数对计数结构进行降序排序，将排序后的计数结构中前面指定字典大小的词条作为字典内容。

6.如权利要求1至5任一项所述的方法，其特征在于，步骤S2中，对向量化句对进行成块缓存，每次取一个向量化句对块，并对向量化句对块中的句对根据两个数字序列的总长进行升序排序。

7.如权利要求1所述的方法，其特征在于，步骤S3中，根据每个批的词条总数对排序后的句对块进行分组；对分组后的每组中的句对按照该组中最大句对长度进行句末补零填充，得到长度一致的句对组；将句对组进一步转换成训练程序需要的批张量，形成动态大小训练批。

8.一种神经机器翻译系统的动态大小训练批形成系统，其特征在于，该系统包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至7任一项所述的神经机器翻译系统的动态大小训练批形成方法。

9.如权利要求8所述的系统，其特征在于，所述处理器包括配置模块，用于维护平行语料类型和解析器对应关系、文本语言和切分器对应关系、字典大小、句对块大小和批大小。