[发明专利]字幕提取方法、视频搜索方法、字幕分享方法及装置

权利要求书

1.一种字幕提取方法，其特征在于，包括：

获取待处理图像；

检测所述待处理图像中的字幕区域，并将所述字幕区域的图像提取出来作为第一字幕图像；

去除所述第一字幕图像中的背景，得到第二字幕图像；

采用预先训练的卷积自编码器模型对所述第二字幕图像进行去噪，得到第三字幕图像；

对所述第三字幕图像进行字符识别，得到字幕文本；

其中，所述检测所述待处理图像中的字幕区域，包括：

采用预先训练的目标检测模型检测所述待处理图像中的字幕区域；

其中，所述目标检测模型包括依次连接的输入层、多个隐含层以及输出层；所述多个隐含层包括初始层和融合层，所述初始层能够将所述待处理图像处理成不同分辨率和尺寸的特征图，所述融合层为对每一初始层进行上采样，并对每两个相邻的上采样层进行均值处理后得到；

其中，所述卷积自编码器模型包括依次连接的输入层、第一卷积层、至少一个网络结构、第二卷积层和输出层；其中，每一个网络结构包括依次连接的第三卷积层、下采样层、第四卷积层和上采样层；所述卷积自编码器模型还包括至少一个第二网络结构，所述至少一个第二网络结构设置在任意两个相邻的第一网络结构之间；每一个第二网络结构包括依次连接的至少一个网络单元以及与所述至少一个网络单元连接的一个第二下采样层；每一个网络单元包括第五卷积层和第二上采样层，所述第二下采样层的输入信息为所连接的网络单元的输出信息和各个网络单元的输入信息的加权求和；每一个第二网络结构中除了第一个网络单元之外的每一个网络单元的输入信息为该网络单元的上一个网络单元的输出信息以及该网络单元之前的各个网络单元的输入信息的加权求和；第一个第二网络结构中第一个网络单元的输入信息为该网络单元所连接的第一个第一网络结构的输出信息和第一卷积层的输出信息的加权求和；第一个第一网络结构中第四卷积层的输入信息为第一卷积层的输出信息和第一下采样层的输出信息的加权求和。

2.根据权利要求1所述的方法，其特征在于，所述去除所述第一字幕图像中的背景，包括：

提取所述第一字幕图像中的字符轮廓；

对所述第一字幕图像进行二值化处理，得到对应的二值图像；

将所述字符轮廓和所述二值图像进行对比，确定所述第一字幕图像的背景区域，并将所述背景区域内像素的颜色值修改为预设值，得到所述第二字幕图像；其中，所述预设值不同于字符区域内像素的颜色值。

3.根据权利要求2所述的方法，其特征在于，所述提取所述第一字幕图像中的字符轮廓，包括：

采用至少两种不同的边缘检测算法分别从所述第一字幕图像中提取候选字符轮廓；

将采用所述至少两种不同的字符边缘检测算法提取出的所述候选字符轮廓进行融合，得到目标字符轮廓。

4.根据权利要求2所述的方法，其特征在于，所述对所述第一字幕图像进行二值化处理，包括：

确定所述第一字幕图像中每个像素的平均颜色值；

根据所述平均颜色值，确定用于进行二值化处理的二值化阈值；

根据所述二值化阈值，对所述第一字幕图像进行二值化处理。

5.根据权利要求2所述的方法，其特征在于，所述对所述第一字幕图像进行二值化处理之前，所述方法还包括：

对所述第一字幕图像进行预处理，所述预处理包括锐化处理、亮度调整和对比度调整中的至少一种。

6.一种视频搜索方法，其特征在于，包括：

预先采用权利要求1～5任一项所述的方法提取视频的多帧图像中每一帧图像中的字幕文本；以及将每一帧图像对应的字幕文本及其所属视频的标识和在所属视频中的播放时间发送至服务器，以便所述服务器将每一帧图像对应的字幕文本与其所属视频的视频标识和在所属视频中的播放时间相关联；

响应于利用字幕文本进行视频搜索的操作，向所述服务器发送视频搜索请求，以使所述服务器根据该字幕文本关联的视频标识和播放时间确定该字幕文本对应的播放信息；

接收所述服务器发送的该字幕文本对应的播放信息；

展示该字幕文本对应的播放信息。