[发明专利]一种海量数据的无损保真可视化优化法

说明书

技术领域

本发明涉及数据可视化处理领域，具体的说，是一种海量数据的无损保真可视化优化法。

背景技术

试验中采集的数据通常以可视化的方式(如：时间历程曲线、轨迹曲线、图表等)进行数据分析，时间历程曲线是实现数据可视化显示最主要的方法，而逐点绘图是完成曲线绘制的通用方法。

随着测试技术的不断进步和发展、测试对象和测试内容的复杂性和多样性，产生的数据量从百兆级达到了万兆级，参数个数从数百个达到了数千个甚至上万个。在以逐点绘图的方式将海量数据绘制成曲线时，数据刷新明显延迟、软件不响应用户操作，甚至因系统资源耗尽而造成软件崩溃。

1、现有技术一的技术方案是：在对某个过程的试验数据进行分析时，采用限制参数个数的方法，减少每次数据分析的数据量，实现数据的可视化显示。

现有技术一存在缺点：采用该方法进行海量数据分析时，需反复对数据进行分析处理，不仅严重降低数据分析的工作效率，还难以实现相关参数间的横向对比分析。

2、现有技术二的技术方案是：在对试验数据进行分析时，采用将完整的数据分割成多个数据段的方法，减少每次数据分析的数据量，实现数据的可视化显示。

现有技术二存在缺点：采用该技术进行海量数据分析时，同样需反复对数据进行分析处理，不仅严重降低数据分析的工作效率，还难以实现对参数整体变化趋势的分析。

3、现有技术三的技术方案是：在对试验数据进行分析时，采用等间隔抽取采样点的方法减少数据量，实现数据的可视化显示。

现有技术三存在缺点：采用该技术进行海量数据分析时，不可避免地导致绘制的曲线严重失真，精度极差，造成关键点数据丢失导致对真实试验情况的误判。

因此，需要提供一种无损保真可视化优化法，既能保证海量数据可视化显示的精度，避免关键点数据丢失，真实再现整个试验过程，又能保证海量数据可视化显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

发明内容

本发明的目的在于提供一种海量数据的无损保真可视化优化法，既能保证海量数据可视化显示的精度，避免关键点数据丢失，真实再现整个试验过程，又能保证海量数据可视化显示的效率和资源的有效利用，避免出现响应迟缓和系统崩溃问题。

本发明通过下述技术方案实现：一种海量数据的无损保真可视化优化法，基于曲线绘图区和海量数据生成无损保真可视化数据，然后进行数据可视化显示；

所述生成无损保真可视化数据的系统包括海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块；

所述曲线绘图区其数据可视化范围激活或发生变化时触发海量数据动态采样模块、数据逆推保真优化模块、数据智能无损优化模块运行，并由数据智能无损优化模块从海量数据中智能优化出可视化数据；其中，对曲线绘图区曲线进行缩放或还原时数据可视化范围发生变化。

进一步地，为了更好的实现本发明，所述生成无损保真可视化数据的方法，具体包括以下步骤：

步骤A：海量数据动态采样模块获取曲线绘图区横向像素点个数并保存在变量PixelNumber中，初始化保真数据缓冲区大小，触发数据逆推保真优化模块、数据智能无损优化模块；

步骤B：数据逆推保真优化模块依据步骤A中变量PixelNumber和海量数据，采用逆推法消除数据可视化显示时在横坐标上的累积漂移，触发数据智能无损优化模块；

步骤C：数据智能无损优化模块依据步骤A中每个像素点对应的采样点范围，从海量数据中智能优化出可视化数据。

进一步地，为了更好的实现本发明，所述步骤A，主要包括以下步骤：

步骤A1：定义整数型采样点个数变量SPNumber；

步骤A2：创建浮点类型的原始数据动态缓冲区SrcDataBuf；

步骤A3：读取数据文件，将原始数据保存在SrcDataBuf中，并统计采样点个数，将其保存在SPNumber变量中；

步骤A4：定义整数型的绘图起始采样点和结束采样点变量StartSP和EndSP，并将初始值分别设定为0和SPNumber-1；

步骤A5：获取曲线绘图区横向像素点个数，并保存在变量PixelNumber中；

步骤A6：创建数据类型为浮点数的动态无损保真数据缓冲区数组VDBuf，将该数组大小设定为PixelNumber的2倍；

步骤A7：创建整数型的动态可视化数据与采样点映射关系缓冲区动态数组VD_SP_Map，将该数组大小设定为PixelNumber的2倍；