[发明专利]一种从边缘端相机到算法推理过程数据预处理的方法

说明书

本发明公开了一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：S1、数据处理开始，具体场景选择不同规格的相机；S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；S12、判断功率是否满足要求，若功率不满足要求，则返回S1。本发明提供了从边缘端相机到算法推理过程数据预处理的方法，在精准农业，高精度数据测绘等工业领域适用，根据具体对应的场景，采用SPV数据采集方法、MPP数据处理方法、LM数据标注方法多维度对数据质量进行管控，克服了在现有测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高导致落地困难的缺陷。

技术领域

本发明涉及数据预处理技术领域，具体为一种从边缘端相机到算法推理过程数据预处理的方法。

背景技术

随着深度学习的普及和商用化，当大量的深度学习算法需要在对多场景化的数据进行模型训练和学习时，只有对从边缘端拿到高质量的图像数据进行训练才能更有力的对同模型的准确率提升至最大化，实现高精确率算法的关键技术之一就是对场景化的数据针对不同的业务类型进行数据划分和预处理，根据不同的数据划分手段和数据预处理手段，有效的对原始数据进行数据清洗。

现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高，导致落地困难，在测绘、精准农业等场景下，数据预处理手段在深度学习下应用的技术储备几乎为零，在没有较为完整的数据预处理方案的情况下，将深度学习算法应用到端侧场景领域很难达到高精度、高效率，不能满足作业场景的业务需求，所以我们提出一种从边缘端相机到算法推理过程数据预处理的方法，用于解决上述所提到的问题。

发明内容

本发明的目的在于提供一种从边缘端相机到算法推理过程数据预处理的方法，以解决上述背景技术中现有的测绘、精准农业场景下数据数据预处理在深度学习算法精度不能进一步提高，导致落地困难，在测绘、精准农业等场景下，数据预处理手段在深度学习下应用的技术储备几乎为零，在没有较为完整的数据预处理方案的情况下，将深度学习算法应用到端侧场景领域很难达到高精度、高效率，不能满足作业场景的业务需求问题。

为实现上述目的，本发明提供如下技术方案：一种从边缘端相机到算法推理过程数据预处理的方法，包括以下步骤：

S1、数据处理开始，具体场景选择不同规格的相机；

S11、判断相机分辨率是否满足要求，若分辨率不满足要求，则返回S1，若分辨率满足要求，则转至S12；

S12、判断功率是否满足要求，若功率不满足要求，则返回S1，若功率满足要求，则转至S13；

S13、判断帧率是否满足要求，若帧率不满足要求，则返回S1，若帧率满足要求，则转至S2；

S2、根据用户需求的业务场景频率进行数据采集；

S3、记录不同场景下采集的数据量并且对其进行数据类型划分；

S4、每个类型数据下采用SV方法进行数据分割；

S5、针对分割数据进行数据清洗；

S6、数据进行均衡化处理；

S7、采用LM方法对数据进行标注。

优选的，所述步骤S2中的业务场景包括农业倒伏场景和全站仪棱镜场景。

优选的，所述农业倒伏场景包括倒伏程度、时间类型、气候类型、地域类型和作物类型。

优选的，所述全站仪棱镜场景包括运动状态、有无干扰、气候类型、业务场景和时间类型。

优选的，所述步骤S7中的数据标注包括人工标注和模型自动化标注。

优选的，所述步骤S5中的数据清洗包括人工清洗和相似度匹配算法清洗。