[发明专利]视频图文课件文本提取方法、装置、设备及介质

说明书

本发明涉及人工智能，揭露一种视频图文课件文本提取方法，包括：对视频图文课件进行分类,采用文本识别方法识别出视频图文课件中的图片及图片上所有存在的文本框，获得图片的结构化信息；对所述图片进行正则化处理，以更新所述图片上每个所述文本框的坐标；构建神经网络语言模型进行训练，所述神经网络语言模型的输入为多个文字字段，输出为所述多个文字字段拼接的合理性；对所述文本框进行拼接，并采用训练后的神经网络语言模型对拼接进行合理性判断，若所述合理性符合预设值，则提取所述文本框拼接后的文本。此外，本发明还涉及区块链技术，所述视频图文课件可存储于区块链中。本发明可从图像、视频中提供完整可读性、可处理性、结构化的文本。

技术领域

本发明涉及人工智能，尤其涉及一种视频图文课件文本提取方法、装置、电子设备及计算机可读存储介质。

背景技术

随着人工智能技术和移动网络的高速发展，在线教育变得越来越普及。在线教育的教学通常以视频、ppt、或图文html的方式来展开，存在大量以图片形式存放的课程知识。然而，想对这些知识进行利用时，往往需要有效、准确、结构化的文本信息。因此，对这些视频图文数据进行文字的结构化提取有着迫切的需求。

现有技术视频、图文的文本提取是基于OCR(Optical Character Recognition,光学字符识别)识别的，但无论是什么OCR识别算法，都是通过识别文本框后，进一步识别文本框中的文本来完成的。识别出来的文本是短小的句子碎片，通常用标点符号进行切分，而非完整的文本。另外，用于识别的视频文件、ppt文件通常含有大量不规范的文本，如斜着的文字，竖着的文字，动画效果也会造成识别的失效。因此，现有的OCR技术虽然可以识别出视频、ppt、图文中含有的文本，但是提取出的文本是碎片化的、不完整的、缺失结构信息的文本片段，并无法进行进一步的提取使用。

发明内容

本发明提供一种视频图文课件文本提取方法、装置、电子设备及计算机可读存储介质，其主要目的在于从图像、视频中提供完整可读性、可处理性、结构化的文本。

为实现上述目的，本发明提供一种视频图文课件文本提取方法，包括：

对视频图文课件进行分类,采用文本识别方法识别出视频图文课件中的图片及图片上所有存在的文本框，获得图片的结构化信息；

对所述图片进行正则化处理，以更新所述图片上每个所述文本框的坐标；

构建神经网络语言模型，所述神经网络语言模型的输入为多个文字字段，输出为所述多个文字字段拼接的合理性；

对所述文本框进行拼接，并采用训练后的神经网络语言模型对拼接进行合理性判断，若所述合理性符合预设值，则提取所述文本框拼接后的文本。

可选地，所述对视频图文课件进行分类，采用文本识别方法识别出视频图文课件中的图片及图片上所有存在的文本框的步骤包括：

将视频图文课件分为图文课件和视频课件；

利用文本识别方法对图文课件进行文本识别，获取图文课件中所有存在的文本框及文本框内的文本信息；

对视频课件进行切帧处理，形成多个图文课件，利用文本识别方法对所述多个图文课件进行文本识别，获取图文课件中所有存在的文本框及文本框内的文本信息，去除所述多个图文课件中内容重复的图文课件。

可选地，所述对视频课件进行切帧处理，形成多个图文课件，利用文本识别方法对所述多个图文课件进行文本识别，去除所述多个图文课件中内容重复的图文课件的步骤包括：

对视频课件进行切帧处理，每秒保存设定帧数的图像，每个图像作为一个图文课件，使所述视频课件形成按帧排序的多个图文课件；

将第一个图文课件的图像作为先帧图像，先帧图像的后一帧图像作为对应的后帧图像，依次执行以下去重步骤：