[发明专利]对数据源生成语义描述的方法、设备和电子设备

权利要求书

1.一种对数据源生成语义描述的方法，包括：

获取数据源的数据编码特征；

从范例句集合中获取至少一个范例句，并且获取所述至少一个范例句的句法编码特征；以及

基于所述数据编码特征和所述句法编码特征，生成所述语义描述，

其中，所述生成语义描述还包括：

基于所述句法编码特征对所述数据编码特征进行调制并获取调制特征；

利用长短时记忆网络，基于所述调制特征，生成所述语义描述。

2.如权利要求1所述的对数据源生成语义描述的方法，其中，

所述调制特征包括调制输入特征、调制隐藏特征以及调制单元特征中的一项或多项，其中，利用所述句法编码特征对所述数据编码特征进行调制并获取调制特征还包括以下各项中的一项或多项：

基于所述数据编码特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量来获取输入特征，并且基于所述句法编码特征对所述输入特征进行调制，得到调制输入特征；

基于所述句法编码特征对所述长短时记忆网络在前一时刻的隐藏特征进行调制，得到调制隐藏特征；或者

基于所述句法编码特征对所述长短时记忆网络在当前时刻的单元特征进行调制，得到调制单元特征。

3.如权利要求2所述的对数据源生成语义描述的方法，其中，基于所述数据编码特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量，生成输入特征还包括：

基于所述数据编码特征和长短时记忆网络在前一时刻生成的隐藏特征，获取用于当前时刻的语义特征；

基于所述用于当前时刻的语义特征和所述长短时记忆网络在前一时刻生成的语义描述词的词向量，生成所述输入特征。

4.如权利要求3所述的对数据源生成语义描述的方法，还包括：

基于所述句法编码特征和所述长短时记忆网络在前一时刻的隐藏特征获取用于当前时刻的句法特征，

其中，基于所述句法编码特征对所述数据编码特征进行调制包括：基于所述当前时刻的句法特征对所述输入特征、所述前一时刻生成的隐藏特征或所述单元特征中的一项或多项进行调制。

5.如权利要求1所述的对数据源生成语义描述的方法，其中，所述生成语义描述还包括：

基于所述长短时记忆网络的当前时刻的隐藏状态和所述长短时记忆网络的生成权重，获取当前时刻的词概率分布；

基于所述当前时刻的词概率分布获取当前时刻的语义描述词；

将多个时刻的语义描述词组合成所述语义描述。

6.如权利要求1所述的对数据源生成语义描述的方法，其中，所述数据源是视频数据，所述获取数据源的数据编码特征还包括：

将所述视频数据的一个或多个视频帧转换为一个或多个视频帧特征；

将所述一个或多个视频帧特征转换为视频编码特征；以及

将所述视频编码特征作为所述数据源的数据编码特征。

7.如权利要求1所述的对数据源生成语义描述的方法，其中，所述获取至少一个范例句的句法编码特征还包括：

将所述范例句转化为句法序列；

将所述句法序列转换为句法特征序列；以及

将所述句法特征序列作为所述范例句的句法编码特征。

8.如权利要求1所述的对数据源生成语义描述的方法，还包括：

利用数据源重构网络来从所述长短时记忆网络的隐藏特征序列中获取所述数据源的数据源重构向量；或者

利用句法重构网络来从所述长短时记忆网络的隐藏特征序列中获取所述范例句的句法重构向量。