[发明专利]基于人工智能的前端交互页面转换方法、装置及介质

说明书

本发明涉及一种基于人工智能的前端交互页面转换方法、装置及介质的技术方案，包括：对HTML5的多个组件元素进行机器学习，得到HTML5组件的分类模型；对组件位置和印刷字体进行机器学习，得到OCR文字识别模型；获取待转换矢量图形参数信息，根据参数信息将矢量图形转换为HTML5定义文件，进而根据HTML5定义文件生成HTML5的多个基础组件；选取相似度最高的基础组件进行填充，对填充的图像区域进行基于OCR文字识别模型的识别，并在基础组件添加OCR文字识别模型的识别文字信息。本发明的有益效果为：将人工智能图像分类技术引入到前端界面开发中，可以减少开发人员的编码工作，使前端界面从UI设计图到最终成品HTML5文件之间的转化效率提高，从而使前端的开发变得高效。

技术领域

本发明涉及计算机领域，具体涉及了一种基于人工智能的前端交互页面转换方法、装置及介质。

背景技术

当前银行的各类业务均采用HTML5作为主要的人机交互界面，包括内部使用的柜面系统、监控系统、各类管理应用及外部使用的手机银行、自助设备，从而造成目前HTML5开发需求量急剧增加。同时，对用户体验要求越来越高，往往需求UI设计师先进行大量的设计工作，然后再由技术人员进行实现，从而加长了开发周期。

传统的HTML5前端开发方案，均为UI设计师使用Sketch等工具先进行原型设计，然后技术人员对照设计图，进行手工的编码开发，或通过可视化工具，进行复刻开发；现有开发模式均需求耗费相当大的开发成本在对原型设计转化为实际可用的HTML5文件上，此工作往往是低技术难度的重复机机械劳动，从推高了整个项目的开发成本。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于人工智能的前端交互页面转换方法、装置及介质，通过神经网络深度学习的图像分类技术，以达到降低开发成本及提高开发效率的目的。

本发明的技术方案包括一种基于人工智能的前端交互页面转换方法，其特征在于，该方法包括：分类模型训练，基于MobileNet模型的图像分类对HTML5的多个组件进行机器学习，得到HTML5组件的分类模型；文字定位模型训练，基于CTPN模型学习组件的位置，得到OCR文字定位模型；文字识别模型训练，基于DenseNet模型学习印刷字，得到OCR文字识别模型；矢量图形文件第一转换步骤，获取待转换矢量图形参数信息，根据参数信息将矢量图形转换为HTML5定义文件，进而根据HTML5定义文件生成HTML5的若干第一组件，所述第一组件包括文本、图片及矢量图；矢量图形文件第二转换步骤，根据待显示的前端交互页面图像信息，调用分类模型进行识别，根据识别结果匹配对应的第一组件，选取相似度最高的第一组件进行填充，对填充的图像区域进行基于OCR文字识别模型的识别，并在第一组件添加OCR文字识别模型的识别文字信息，得到第二组件；其中，矢量图形文件为Sketch文件。

根据所述的基于人工智能的前端交互页面转换方法，其中分类模型训练包括：数据预处理、预训练模型训练、数据标注、模型微调及模型发布；其中数据预处理包括将ReDraw数据集按组件类型进行归类，并统一等比例缩放图片尺寸至设定像素；其中预训练模型训练包括基于MobileNet模型使用多个ReDraw数据集训练模型；其中数据标注包括对HTML页面数据的多个组件数据进行对应标注；其中模型微调包括使用MobileNet模型并加载预训练模型进行微调；模型发布包括发布模型并提供HTTP服务并提供调用接口。

根据所述的基于人工智能的前端交互页面转换方法，其中OCR模型训练包括文字定位模型训练和文字识别模型训练，其中文字定位模型训练通过CTPN算法实现，其中文字识别模型训练通过DenseNet算法实现。

根据所述的基于人工智能的前端交互页面转换方法，其中文字定位模型训练包括：文字定位图片标注、图像数据预处理与数据增强、CTPN模型构建、CTPN模型训练、CTPN模型评估和CTPN模型保存。