[发明专利]故事模型训练及生成方法、系统、机器人及存储设备

权利要求书

1.一种故事模型训练方法，其特征在于，包括：

利用第一编码器将训练集中的故事描述转换为向量表示，其中训练集包括绘本I_i及其对应的故事描述O_i，I_i＝{I_i1，I_i2，…，I_im},O_i＝{O_i1，O_i2，…，O_im}；I_ij为绘本I_i第j页的图片，O_ij为绘本I_i第j页的故事描述，故事描述O_i转换为向量表示V_i＝{V_i1，V_i2，…，V_im}，V_ij为O_ij对应的向量表示；1≤j≤m，m为绘本I_i的总页数，1≤i≤k，k为训练集中绘本的总数量；

根据V_i以及O_i训练第一解码器；

利用第二编码器提取I_i的特征F_i，F_i＝{F_i1，F_i2，…，F_im}，F_ij为绘本I_i第j页的图片的特征；

根据该F_i以及V_i训练第三编解码器；

根据第二编码器、第三编解码器、以及第一解码器组成故事模型；

其中，所述绘本由一系列前后相互关联的图片组成。

2.根据权利要求1所述的方法，其特征在于，所述第一编码器为句子向量编码器。

3.根据权利要求1所述的方法，其特征在于，所述第一解码器为基于循环神经网络、长短期记忆网络或门控循环单元神经网络的解码器。

4.根据权利要求1所述的方法，其特征在于，所述第二编码器为基于卷积神经网络的编码器。

5.根据权利要求1所述的方法，其特征在于，第三编解码器包括第三编码器和第三解码器，其中第三编码器的输出作为第三解码器的输入；

所述第三编码器为基于循环神经网络、长短期记忆网络或门控循环单元神经网络的编码器，所述第三解码器为基于循环神经网络、长短期记忆网络或门控循环单元神经网络的解码器。

6.根据权利要求1所述的方法，其特征在于，所述根据第二编码器、第三编解码器、以及第一解码器组成故事模型包括：

将所述第二编码器、第三编解码器、以及第一解码器依次连接组成故事模型。

7.一种故事生成方法，其特征在于，包括：

将新的绘本图片输入根据权利要求1-6任意一项所述的方法得到的故事模型；

所述故事模型输出与所述新的绘本图片对应的故事描述。

8.一种故事模型训练系统，其特征在于，该系统包括存储设备和处理器；

所述存储设备，用于存储程序；

所述处理器，用于执行所述程序以实现权利要求1-6任意一项所述的方法或者权利要求7所述的方法。

9.一种绘本阅读机器人，其特征在于，该机器人包括根据权利要求8所述的系统。

10.一种存储设备，其上存储有程序，其特征在于，所述程序用于被处理器执行时实现权利要求1-6任意一项所述的方法或者权利要求7所述的方法。