[发明专利]在线手写文本合成方法、装置和存储介质

权利要求书

1.一种在线手写文本合成方法，其特征在于，所述方法包括：

获取输入文本输入到训练好的、基于注意力机制的手写文本合成模型，由所述模型中的编码器输出隐状态特征；

基于所述模型的注意力机制将所述隐状态特征变换为上下文特征，所述上下文特征能够指示待解码笔迹点所属的字符；

将所述上下文特征输入到所述模型中的解码器，由所述解码器输出所述输入文本的在线手写笔迹点。

2.根据权利要求1所述的方法，其特征在于，在获取所述输入文本时还获取书写风格信息，所述解码器还基于所述书写风格信息输出所述输入文本的在线手写笔迹点。

3.根据权利要求1或2所述的方法，其特征在于，所述编码器包括双向长短时记忆网络，所述编码器输出的所述隐状态特征包括N个隐藏向量，每个所述隐藏向量是前向状态和后向状态的串联，所述N大于或等于所述输入文本包含的字符的数量。

4.根据权利要求1或2所述的方法，其特征在于，所述解码器每隔一个时间步长解码一次，每次解码输出一个笔迹点的位置偏移坐标和所述笔迹点的笔迹状态。

5.根据权利要求4所述的方法，其特征在于，所述笔迹点的笔迹状态包括：笔画未结束状态、笔画结束状态、全部文本结束状态。

6.根据权利要求4所述的方法，其特征在于，所述解码器在每次解码时，预测当前笔迹点相对于前一个笔迹点的相对位置的高斯混合分布，并对所述高斯混合分布进行采样，得到所述当前笔迹点的所述位置偏移坐标。

7.根据权利要求4所述的方法，其特征在于，所述解码器在每次解码时，将前一个预测输出、当前的所述上下文特征和书写风格信息这三者拼接得到拼接特征，根据所述拼接特征送入到所述解码器得到解码器隐状态特征，根据所述解码器隐状态特征得到线性映射特征，并根据所述线性映射特征得到当前预测输出。

8.根据权利要求1或2所述的方法，其特征在于，所述解码器包括双向长短时记忆网络。

9.根据权利要求1或2所述的方法，其特征在于，所述基于注意力机制的手写文本合成模型是通过如下方式训练得到的：

第一阶段：将训练集中的手写文本笔迹点渲染成离线图片数据，基于所述离线图片数据训练基于注意力机制的序列到序列模型，得到基于注意力机制的图片文本行识别模型，使所述第一阶段获得针对单个字符对应的原图上的注意力位置信息；

第二阶段：训练手写文本合成模型，在训练过程中，以所述第一阶段获得的所述注意力位置信息作为监督信号对所述手写文本合成模型进行监督训练，得到所述基于注意力机制的手写文本合成模型。

10.根据权利要求9所述的方法，其特征在于，在训练所述手写文本合成模型时还基于书写者标识信息，所述书写者标识信息对应的书写者的手写文本笔迹点包括在所述第一阶段的训练集中。

11.一种在线手写文本合成装置，其特征在于，所述装置包括：

编码器模块，用于获取输入文本，并基于所述输入文本输出隐状态特征；

注意力模块，用于基于注意力机制将所述隐状态特征变换为上下文特征，所述上下文特征能够指示待解码笔迹点所属的字符；

解码器模块，用于基于所述上下文特征输出所述输入文本的在线手写笔迹点。

12.一种在线手写文本合成装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如权利要求1-10中的任一项所述的在线手写文本合成方法。

13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时，执行如权利要求1-10中的任一项所述的在线手写文本合成方法。