[发明专利]基于人工智能的前端交互页面转换方法、装置及介质

权利要求书

1.一种基于人工智能的前端交互页面转换方法，其特征在于，该方法包括：

分类模型训练，基于MobileNet模型的图像分类对HTML5的多个组件进行机器学习，得到HTML5组件的分类模型；

文字定位模型训练，基于CTPN模型学习组件的位置，得到OCR文字定位模型；

文字识别模型训练，基于DenseNet模型学习印刷字，得到OCR文字识别模型；

矢量图形文件第一转换步骤，获取待转换矢量图形参数信息，根据参数信息将矢量图形转换为HTML5定义文件，进而根据HTML5定义文件生成HTML5的若干第一组件，所述第一组件包括文本、图片及矢量图；

矢量图形文件第二转换步骤，根据待显示的前端交互页面图像信息，调用分类模型进行识别，根据识别结果匹配对应的第一组件，选取相似度最高的第一组件进行填充，对填充的图像区域进行基于OCR文字识别模型的识别，并在第一组件添加OCR文字识别模型的识别文字信息，得到第二组件；

其中，矢量图形文件为Sketch文件。

2.根据权利要求1所述的基于人工智能的前端交互页面转换方法，其特征在于，所述分类模型训练包括：数据预处理、预训练模型训练、数据标注、模型微调及模型发布；其中数据预处理包括将ReDraw数据集按组件类型进行归类，并统一等比例缩放图片尺寸至设定像素；其中预训练模型训练包括基于MobileNet模型使用多个ReDraw数据集训练模型；其中数据标注包括对HTML页面数据的多个组件数据进行对应标注；其中模型微调包括使用MobileNet模型并加载预训练模型进行微调；模型发布包括发布模型并提供HTTP服务并提供调用接口。

3.根据权利要求1所述的基于人工智能的前端交互页面转换方法，其特征在于，所述OCR模型训练包括文字定位模型训练和文字识别模型训练，其中文字定位模型训练通过CTPN算法实现，其中文字识别模型训练通过DenseNet算法实现。

4.根据权利要求3所述的基于人工智能的前端交互页面转换方法，其特征在于，所述文字定位模型训练包括：文字定位图片标注、图像数据预处理与数据增强、CTPN模型构建、CTPN模型训练、CTPN模型评估和CTPN模型保存。

5.根据权利要求3所述的基于人工智能的前端交互页面转换方法，其特征在于，所述文字识别模型训练包括：文字识别图片标注、图像数据预处理与数据增强、DenseNet模型构建、DenseNet模型训练、DenseNet模型评估和DenseNet模型保存。

6.根据权利要求1所述的基于人工智能的前端交互页面转换方法，其特征在于，所述矢量图形文件第一转换步骤包括：

从Sketch设计文件中获取到各个图层信息，具体地，通过sketch-file插件将Sketch文件读取并转换为JSON文件，其中所使用到JSON文件中字段图片信息、文档信息及页面信息；

将JSON文件的图片信息、文档信息及页面信息转换为Def文件，Def文件为定义文件；

将Def文件转换成HTML5标准格式的VUE页面文件，VUE页面包括文本标签、图片标签及矢量图标签，并保持VUE页面模块结构与Sketch文件的模块结构一致。

7.根据权利要求1所述的基于人工智能的前端交互页面转换方法，其特征在于，所述矢量图形文件第二转换步骤包括：

S410，对前端交互页面进行截图，选取获取所述第一组件的界面区域，结合截图取得界面区域图像；

S420，对界面区域图像进行Base64编码，并调用分类模型对编码后的图片进行，识别结果按相似度从高至低排列，返回若干候选组件；

S430，根据用户所选择的最匹配组件，对对应的基础组件替换为最匹配组件；

S440，调用OCR识别模型对界面区域图像的Base64编码进行文字识别，得到文字识别结果；

S450，对S430规制后的组件增加文字识别结果，得到所述第二组件。