[发明专利]基于移动深度学习引擎的移动端人像智能背景替换方法

说明书

本发明提出一种基于移动深度学习引擎的移动端人像智能背景替换方法，至少包括以下步骤：S1.选取待训练的卷积神经网络模型；S2.在服务端训练卷积神经网络模型；S3.基于移动深度学习引擎，结合自适应多级模型选择策略，将卷积神经网络模型部署在移动端；S4.利用选择得出的最优卷积神经网络模型进行人像智能背景替换。本发明在移动设备上就能实现背景替换的功能，解决了因网络因素导致人像背景替换的处理效率和成功率低的问题；另外，在进行卷积神经网络模型移动端的部署时，结合了自适应多级模型选择策略，达到根据用户设备差异有效选择最优模型的目的，提升用户使用体验。

技术领域

本发明涉及人工智能计算机视觉的技术领域，更具体地，涉及一种基于移动深度学习引擎的移动端人像智能背景替换方法。

背景技术

数字人像分割是计算机视觉领域的一项基础且重要的研究，它要求模型识别图像中的人体和背景，即将图像进行二值分类。数字人像分割有很多方面的应用，例如图像说明(ImageCaption)，背景替换(BackgroundReplace)等。

数字人像分割主要依据两大块深度神经网络：图像语义分割网络(ImageSemanticSegmentation)和轻量化基础网络结构(LightweightBackbone)，图像语义分割网络的主要目的是区分图像中每个像素点的类别，根据给定语义，相同类别的像素点颜色标注(mask)相同，其中全卷积网络(FCN)是其他网络的基础，它通过将网络全连接层用卷积取代，使得任意图像大小的输入成为可能，该网络采用encoder-decoder结构，另外还有Google的DeepLab系列网络；轻量化基础网络结构是深度学习主干网络中的一个研究分支，目的是使网络更快，结构更轻量化。主要包括三个模型：SqueezeNet，MobileNet以及ShuffleNet。

目前，针对移动端的人像背景替换的方法，大多采用C/S架构，即在移动端制作相应软件负责选原图和背景图，然后通过网络通信的方式发送给服务端，在服务端上调用训练好的人像分割网络获取Mask，再根据二值mask在背景图上进行逐像素处理，从而生成替换背景后的人像图,最后将该图回传给客户端软件，并进行显示,但这种方法是建立在网络通信基础之上的，网络问题包括客户端和服务端的网卡速率以及网络传输的速率。除去网卡性能因素，就网络状况而言，一旦出现高并发，高负载的情况或路由损坏，很可能造成网络拥塞，从而导致图像处理时间大幅延长，而这对于实时交互性要求高的客户端应用是极其严重的。因此，几乎所有的研究都在致力于如何精简网络从而使其能应用于移动端，关注点主要集中在移动端软件、网络及服务端子部分研究上，但几乎没有研究能真正完整实现轻量网络在移动端部署落地应用的人像背景替换。另外，少数可以实现在移动端部署的人像背景替换方法，直接选取指定设备进行图像处理，而没有考虑移动端设备性能差异以及用户业务需求，导致用户体验很差。

综上所述，如何考虑移动端设备性能差异，通过移动端完整部署，从而实现人像智能背景替换，是一项亟待解决的技术问题。

发明内容

现有人像背景替换方法里采用C/S架构的技术，具有对网络通信依赖性强的缺陷，而少数可以实现在移动端部署的人像背景替换方法，没有考虑移动端设备性能差异以及用户业务需求，具有用户体验很差的弊端，为克服上述不足，本发明提出一种基于移动深度学习引擎的移动端人像智能背景替换方法，通过移动端落地部署，从而实现人像智能背景替换，且提高用户体验。

本发明旨在至少在一定程度上解决上述技术问题。

为了达到上述技术效果，本发明的技术方案如下：

一种基于移动深度学习引擎的移动端人像智能背景替换方法，至少包括：

S1.选取待训练的卷积神经网络模型；

S2.在服务端训练卷积神经网络模型；

S3.基于移动深度学习引擎，结合自适应多级模型选择策略，将卷积神经网络模型部署在移动端；