[发明专利]一种基于深度学习的图像个性化语义分析方法

权利要求书

1.一种基于深度学习的图像个性化语义分析方法，其特征在于包括如下步骤：

S1、图像云平台根据收集的大量图像以及文字原始图像信号导入网络，进而转化为高层抽象语义向量，形成文字生成模型；

S2、将文字生成模型通过安全通道上传到图像云平台；

S3、图像云平台根据移动终端的设置，加载个性化的模型，用于图像的识别、文字的识别及文字的生成，数据验集限定的语义风格因子范围内时，图像云平台通过图像识别识别提取图像中的实体词；

S4、图像云平台将经过显著性检测跟用于图像识别提取的实体词语加入到连接词，利用弱监督方法进行连词造句，生成句子；

S5、图像云平台将中间数据及最终的语义内容进行保存，用于个性化模型的训练；图像云平台利用用户个性化数据基于通用模型进行训练，形成个性化的模型，进行多源融合的图像语义文字生成，再将个性化模型的训练结果进行保存；

S6、将图像云平台部署在云数据中心，而图像云平台对移动终端进行安全认证，将移动终端采集的图像及传感数据进行存储，根据移动终端用户的不同需求，利用用户的个性化数据基于通用模型进行训练，形成个性化的模型数据；图像云平台进行多源融合的图像语义文字生成，将图像识别的语义内容反馈给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。

2.根据权利要求1所述的一种基于深度学习的图像个性化语义分析方法，其特征在于：所述图像云平台采用k8s和docker架构，其为每一个服务分配一个存储器，将个性化的模型存储为镜像，动态加载。

3.根据权利要求1所述的一种基于深度学习的图像个性化语义分析方法，其特征在于：所述移动终端是具备有线WLAN或无线网络联网功能的移动通讯设备，移动终端为采用手机、平板或物联网智能终端设备。

4.根据权利要求1所述的一种基于深度学习的图像个性化语义分析方法，其特征在于：所述图像云平台结合图像及生成语义数据的历史信息库，完成文字的生成；同时图像云平台将图像识别的语义内容发送给移动终端，用户可以通过人工来进行评判修改，并将结果上传到图像云平台，用于生成语义模型的持续优化。

5.根据权利要求1所述的一种基于深度学习的图像个性化语义分析方法，其特征在于：所述移动终端通过语音输入进行音频采集或者文字录入功能添加相关文字的数据，移动终端将获取的输入文字等数据上传到图像云平台，图像云平台通过语音识别服务对上传的语音进行识别，生成文字数据；图像云平台将得到的文字数据采用LSTM进行文字生成。

6.根据权利要求1所述的一种基于深度学习的图像个性化语义分析方法，其特征在于：所述图像识别和目标检测采用Faster-CNN算法。