[发明专利]一种基于图像自动报价系统及方法

说明书

本发明公开了一种基于图像自动报价系统，通过完成定制拍摄的约拍流程，在电子商务交易网站上爬取真实交易数据，通过对模型中设计的特征进行分析，从电子商务网站的页面内容中选取合适的参数，通过正则匹配或JSON格式来提取数据，对数据的格式进行处理，存储为符合格式需求的数据集，支持全景商品的交易，包括编辑商品信息、购物车管理和全景商品的结算交易，在提取特征之后，行为属性和文本内容均进行数据的分类识别，实现数据清洗、分词、去停用词和训练词向量等数据预处理，搭建模型并设置参数完成特征提取，从而完成分类过程，结合混淆矩阵给出分类效果的评价函数，以提高基于图像自动报价的网络交易的真实性和安全性。

技术领域

本发明属于数据处理技术领域，尤其涉及基于一种基于图像自动报价系统及方法。

背景技术

需求方和摄影师提供图片销售信息服务的定制拍摄和数据交易服务平台，平台方基于先进的信息集散技术，构建图片约拍信息收集、推送、反馈的平台，并根据需求方指令，将图片约拍信息提供给服务方，最终撮合需求方与摄影师之间订立图片约拍合同，需求方拟通过平台发布图片约拍需求信息，以寻求符合其要求的图片拍摄服务。由于商业网站的识别算法与技术术语商业秘密，且所使用的特征维度还可能包含用户信息、操作日志、交互记录等无法公开获得的网站内容数据，使得存在虚假交易信息，而虚假交易识别通常存在语料使用范围、人工标注工作量大等问题，依靠人工经验提取特征输入模型进行分类或预测，而特征的好坏成为瓶颈，降低了网络交易平台的安全性。

发明内容

有鉴于此，本发明提供了一种基于图像自动报价系统及方法，改善了传统人工特征设计造成的信息流失，减少标注数据的稀疏性问题，从而提高了网络交易的安全性，具体采用以下技术方案来实现。

第一方面，本发明提供了一种基于图像自动报价系统，包括：

数据采集模块，用于完成定制拍摄的约拍流程，包括发布或接取约拍单、签约和交付数据以得到数据模型，在电子商务交易网站上爬取真实交易数据，通过对模型中设计的特征进行分析，从电子商务网站的页面内容中选取合适的参数，通过正则匹配或JSON格式来提取数据，对数据的格式进行处理，存储为符合格式需求的数据集；

数据预处理模块，用于支持全景商品的交易，包括编辑商品信息、购物车管理和全景商品的结算交易，数据为离散型取值，数据的预处理包括数值型数据的标准化、归一化和编码；在文本特征中，为自然语言处理相关的数据清理和训练词向量；

特征提取模块，用于提供对全景图数据的管理，包括全景图的查看、预览和对全景数据的信息编辑，通过Embedding操作转换为计算机容易处理的形式，并通过CNN、LSTM神经网络的各种模型进行特征提取；

分类模块，用于对定制拍摄和全景市场产生的订单提供管理功能的模块，包括约拍订单管理和商品交易订单管理，在提取特征之后，行为属性和文本内容均进行数据的分类识别，其中，将提取到的特征向量输入到分类器中，将分类与模型的优化过程进行融合，采用softmax函数完成分类以实现基于图像的自动报价过程。

作为上述技术方案的进一步改进，数据预处理模块包括：

数据清洗单元，对文本中的异常字符进行处理，对交易数据中用户评论内容中的特定字符进行筛选和剔除，其中分词包括Jieba分词工具，使用jieba.cut()函数，将存储评论文本内容的文件传入并使用精确模式进行分词；

去停用词单元，在Jieba分词完成时使用readlines()遍历预先设定的停用词表，排除分词后的数据中包含的停用词；

词构建单元，采用skip-gram模型进行词向量的建立，根据代码、词向量的长度和迭代次数对领域数据进行建模，获取词向量字典，将输入的数据中的词转换成词向量，使用embedding_lookup()函数，输出更新后的词嵌入矩阵。

作为上述技术方案的进一步改进，数据预处理模块还包括：