[发明专利]一种大数据处理方法及系统

说明书

本发明公开了一种大数据处理方法及系统。在该方法中，首先对当前三维激光扫描数据进行数据预处理，能够对当前三维激光扫描数据进行第一次冗余数据筛选，在此基础上，继续对对数据预处理后的当前三维激光扫描数据进行数据去噪处理，这样能够再次对当前三维激光扫描数据进行第二次冗余数据处理，如此，通过多次处理冗余数据，能够避免后续对三维激光扫描数据进行分析时出现分析结果不准确的情况。

技术领域

本公开涉及数据处理技术领域，特别涉及一种大数据处理方法及系统。

背景技术

三维激光扫描技术在测量方面的应用越来越广泛，它能快速准确地获取近距离静态物体的空间三维数据，一般而言，在测量静态物体时需要进行多次测量和分析，才能够准确的得到三维激光扫描数据，然而进行多次测量时会产生大量的冗余数据，这时对得到的三维激光扫描数据进行分析时会出现分析结果不准确的情况。

发明内容

为改善相关技术中存在的技术问题，本公开提供了一种大数据处理方法及系统。

本发明提供了一种大数据处理方法，包括：

针对当前三维激光扫描数据与上一三维激光扫描数据中的每个关键数据，计算第一关键数据系数；根据所述第一关键数据系数对当前三维激光扫描数据进行数据预处理；

针对数据预处理后的当前三维激光扫描数据中的每个关键数据，计算第二关键数据系数；根据所述第二关键数据系数对所述数据预处理后的当前三维激光扫描数据进行数据去噪处理；

其中，所述针对当前三维激光扫描数据与上一三维激光扫描数据中的每个关键数据，计算第一关键数据系数的步骤包括：对当前三维激光扫描数据和上一三维激光扫描数据分别进行第一次深度数据提取，其中所述当前三维激光扫描数据在所述第一次深度数据提取中所使用的提取方式包含一行内的多列关键数据，所述上一三维激光扫描数据在所述第一次深度数据提取中所使用的提取方式包含多行和多列关键数据；将第一次深度数据提取后的当前三维激光扫描数据的每个关键数据的关键数据权重与第一次深度数据提取后的上一三维激光扫描数据的对应关键数据的关键数据权重相减，以获得所述第一关键数据系数；

所述根据所述第一关键数据系数对当前三维激光扫描数据进行数据预处理的步骤包括：根据所述第一关键数据系数计算当前三维激光扫描数据中每行的第一数据干扰因子；根据所述第一数据干扰因子对当前三维激光扫描数据中的对应行进行数据预处理。

在一种可替换的实施方式中，所述根据所述第二关键数据系数对所述数据预处理后的当前三维激光扫描数据进行数据去噪处理的步骤包括：根据所述第二关键数据系数计算当前三维激光扫描数据中每行的第二数据干扰因子；根据所述第二数据干扰因子对所述数据预处理后的当前三维激光扫描数据中的对应行进行数据去噪处理。

在一种可替换的实施方式中，所述根据所述第一关键数据系数计算当前三维激光扫描数据中每行的第一数据干扰因子的步骤包括：

基于所述第一关键数据系数对当前三维激光扫描数据中每行的各个关键数据是否参与第一数据干扰统计进行第一判定；

根据所述第一判定的结果统计每行中参与第一数据干扰统计的关键数据个数、以及每行中参与第一数据干扰统计的关键数据的第一关键数据系数的第一求和值；

根据所述第一关键数据系数统计每行所有关键数据的第一关键数据系数的第二求和值；

基于所述第二求和值对当前三维激光扫描数据中各行是否参与数据预处理进行第二判定；根据所述第二判定的结果计算当前三维激光扫描数据中每行的第一数据干扰因子。