[发明专利]一种面向移动端的试卷版面图文实时检测方法

说明书

本发明涉及图像目标检测技术领域，且公开了一种面向移动端的试卷版面图文实时检测方法，该系统基于MobileNetV2和PeleeNet网络架构设计，主要包含仿真数据生成、图片特征提取、ResBlock模块、联合预测和后处理部分；该发明通过从移动端设备(摄像头或拍照等)获取试卷图像数据，并通过移动端内置的tflite格式目标检测模型实时对图像数据中的文字和图片区域进行检测，从数据获取到模型输出结果等一系列过程均在移动端完成，无需通过网络传输，这样节省了数据网络传输时间，具有快速、低延迟、高性能等特点，极大提高移动端使用者用户体验。

技术领域

本发明涉及图像目标检测技术领域，具体为一种面向移动端的试卷版面图文实时检测方法。

背景技术

目标检测作为图像处理中的一个重要应用领域，在智能交通、安防、医疗、教育等领域得到了广泛的应用。随着移动设备的普及，现有目标检测模型由于参数量大、前向传播耗时等缺点，不能部署在移动端进行实时检测，因此，如何在移动端进行实时目标检测任务成为关注热点。试卷版面分析中，由于使用对象的不同，如何在手机等移动设备上完成试卷版面中图文的实时检测成为热点需求。本方法提出一种新颖的MobileNetV2与PeleeNet相结合的网络架构，该网络模型体积和参数量小，可以部署在移动端进行试卷版面图文实时检测。

目前，针对试卷版面图文检测中，很多都是基于yolo、ssd、faster rcnn等通用目标检测框架，但这些模型参数量大、前向传播耗时，而现实场景下的移动端设备的体积和存储空间等资源有限，部署模型要求参数量少、精度高，并且尽可能占用资源少，因此移动端不合适部署通用目标检测模型，需要专门开发设计针对移动端运行的目标检测算法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向移动端的试卷版面图文实时检测方法，解决了现有试卷版面图文检测算法模型由于参数量大、前向传播耗时等缺点而不能部署在移动端进行实时检测的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种面向移动端的试卷版面图文实时检测方法，该系统基于MobileNetV2和PeleeNet网络架构设计，主要包含仿真数据生成、图片特征提取、ResBlock模块、联合预测和后处理部分。

优选的，所述仿真数据自动生成中的仿真程序生成需要的批量训练数据，生成的仿真数据原则上与真实样本数据高度相似，通过指定需要的总样本量，仿真程序可自动生成包含各种常见样式在内的多种版面试卷。

优选的，所述图片特征提取使用轻量级的MobileNetV2提取图片特征，作为面向移动端部署的实时检测模型，由于MobileNetV2本身就是面向移动端的轻量级网络，其模型可以同时做分类与检测任务，因此用MobileNetV2提取图片特征可以从网络主要结构层面降低参数量。本方法对其进行改进，去掉原始网络中最后两层conv2d和avgpool层，保留第3、第4、第5、第6和第7个bottleneck输出特征图作为后续融合使用。这5个不同状态保留的特征图大小不同，分别对应大小不同目标的预测，并且具有不同的纹理、边缘等信息。同时，将最后一个bottleneck块的输出通道数降为16，从而降低最后一层计算量。