[发明专利]基于神经网络的内容标题生成方法、装置、设备、和计算机可读存储介质

权利要求书

1.一种基于神经网络的内容标题生成方法，其特征在于：所述神经网络包括编码器—解码器网络，所述方法包括：

针对所述内容的至少两种类型的信息，分别生成所述至少两种类型的信息中的每一种类型的信息的向量表示，其中所述至少两种类型的信息中的一种是文本，所述内容中的所述至少两种类型的信息还包括图像和音频，以及所述文本包括以下中的一个或多个：所述内容的字幕、弹幕、评论和现有标题；

利用所述编码器—解码器网络的各个编码器分别处理所述每一种类型的信息的向量表示；

利用所述编码器—解码器网络的解码器对所述编码器—解码器网络的各个编码器的输出进行处理，生成所述内容的一个或多个标题词，其中所述编码器—解码器网络的解码器通过计算所述文本中的词的注意力权重来计算所述文本中的词的拷贝概率，其中基于所述每一种类型的信息的向量表示来计算所述文本中的词的注意力权重，从而确定是从所述文本中的词中拷贝来生成标题词，还是从词表示中来生成标题词，所述词表示是所述文本的向量表示经所述编码器—解码器网络的编码器处理后生成的，其中所述注意力权重表示所述文本中的词对于内容标题的相关性，所述拷贝概率表示所述文本中的词拷贝成为标题词的概率；以及

基于所述一个或多个标题词生成所述内容标题。

2.如权利要求1所述的方法，其特征在于，针对所述一个或多个标题词中的每一个标题词，所述编码器—解码器网络的解码器均执行一次以下计算步骤：通过计算所述文本中的词的注意力权重来计算所述文本中的词的拷贝概率，从而确定是从所述文本中的词中拷贝来生成每一个标题词，还是从词表示中来生成每一个标题词。

3.如权利要求1所述的方法，其特征在于：当所述至少两种类型的信息中的一种类型的信息是音频，所述利用所述编码器—解码器网络的各个编码器分别处理所述每一种类型的信息的向量表示包括：

获取所述内容的音频帧序列；

针对所述音频帧序列中的每个音频帧，利用音频特征提取模型进行处理，以生成所述每个音频帧的向量表示。

4.如权利要求3所述的方法，其特征在于：所述音频特征提取模型包括VGGish或YAMNet。

5.如权利要求1所述的方法，其特征在于：当所述至少两种类型的信息中的一种类型的信息是图像，所述利用所述编码器—解码器网络的各个编码器分别处理所述每一种类型的信息的向量表示包括：

获取所述内容的图像或图像序列；

针对所述图像或所述图像序列中的每个图像，利用图像特征提取模型进行处理，以生成所述图像或所述图像序列中的每个图像的向量表示。

6.如权利要求5所述的方法，其特征在于：所述图像特征提取模型包括残差网络或Inception卷积神经网络。

7.如权利要求1所述的方法，其特征在于，所述编码器—解码器网络的编码器包括Transformer编码器，所述编码器—解码器网络的解码器包括Transformer解码器。

8.如权利要求1所述的方法，其特征在于，还包括以下步骤中的至少一个：

基于以下一项或多项而选取所述内容：一个统计时间段内所述内容的播放量、播放完成度、观众互动程度；

基于以下一项或多项选取所述神经网络的训练数据：一段时间内内容的播放量、播放完成度、观众互动程度。

9.如权利要求8所述的方法，其特征在于，所述选取是从较长的内容中截取。

10.如权利要求1所述的方法，其特征在于，所述基于所述一个或多个标题词生成所述内容的标题包括：

选择所述一个或多个标题词中生成概率最大的标题词作为所述内容的标题，或者

响应于基于所述一个或多个标题词的编辑输入，生成所述内容的标题。

11.如权利要求1所述的方法，其特征在于，所述内容是短视频。