[发明专利]一种数据解析方法和装置

摘要

本发明公开了一种数据解析的方法和装置。本发明实施例提供的数据解析的方法采用将数据文件划分为固定大小的多个数据块，将数据块通过缓冲区buf依次送入创建的共享解析BLOCK队列中，从而对BLOCK队列中的数据块依次进行读取和解析，大大缓解了传统的串行解析算法一次性解析数据所造成的加载时间过长的局面，提高了海量数据的解析效率，同时提高相应软件系统的运行效率及波形绘制效率。

主权项

一种数据解析的方法，其特征在于，包括：读取配置文件，从所述配置文件中获得每个采样点的模拟量通道数A_count和状态量通道数D_count；根据预设的数据块大小block_size将数据文件中的数据划分为M个数据块，其中M为正整数；创建大小为block_size的动态缓冲区buf；创建由N个共享解析结构BLOCK组成的BLOCK队列，并且每个BLOCK的大小都为block_size，N为正整数；依次从所述数据文件中读取一个数据块存入所述buf中；查询所述BLOCK队列中是否有BLOCK为空，若是，则将所述buf中的数据块存入为空的BLOCK中，若否，则循环等待；向所述BLOCK队列请求数据块，并根据所获得的数据块中每个采样点的A_count和D_count对获得的数据块进行解析；其中，所述向所述BLOCK队列请求数据块，并根据所获得的数据块中每个采样点的A_count和D_count对获得的数据块进行解析包括：向所述BLOCK队列请求数据块，若没有获得数据块，则循环等待，若获得数据块，则设置当前BLOCK的占用标志位为1，表明当前BLOCK正在被解析；将获得的数据块按照所述数据块中每个采样点的序号index、采样时间time、模拟量通道数A_count和状态量通道数D_count进行解析，待解析完毕，将当前BLOCK的占用标志位设置为0，表明当前BLOCK解析完毕；其中，所述方法还包括：通过读取配置文件获得所述数据文件的采样点总数Sam_count和所述数据文件的文件类型；根据所述采样点总数Sam_count、每个采样点的模拟量通道数A_count和状态量通道数D_count，以及所述文件类型设置数据块大小block_size和数据块个数M；其中，若所述数据文件为ASCII文件，则所述将buf中的数据块存入为空的BLOCK中包括：从所述buf中数据块的末尾向前搜寻换行符，若搜寻到，则停止搜寻，将搜寻的数据个数作为下边缘数据长度E_size；将所述数据块的末尾E_size个数据剪掉后存入为空的BLOCK中，并将剪掉的E_size个数据存入buf中下一个数据块的前面；其中，所述向所述BLOCK队列请求数据块，并根据所获得的数据块中每个采样点的A_count和D_count对获得的数据块进行解析包括：向所述BLOCK队列请求数据块，并将获得的数据块保存至预设的解析结构block1中；以换行符为分隔，依次从所述block1中的数据块中读取一行数据L；在所述L中，以逗号为分隔，依次截取一个数据作为当前采样点的序号index，一个数据作为当前采样点的采样时间time，A_count个数据分别作为当前采样点的各个模拟量通道的值A_VAL，D_count个数据分别作为当前采样点的各个状态量通道的值D_VAL；将每行数据L的index、time、A_VAL和D_VAL按照index的顺序保存至预设的存储结构中；根据所述预设的存储结构进行数据解析；其中，若所述数据文件为BINARY文件，则所述向所述BLOCK队列请求数据块，并根据所获得的数据块中每个采样点的A_count和D_count对获得的数据块进行解析包括：向所述BLOCK队列请求数据块，并将获得的数据块保存至解析结构block1中；从所述block1中的数据块中依次读取4个字节数据作为当前采样点的序号index，4个字节数据作为当前采样点的采样时间time，2*A_count个字节数据分别作为当前采样点的各个模拟量通道的值A_VAL，D_count/8个字节数据分别作为当前采样点的各个状态量通道的值D_VAL；将所述数据块中的index、time、A_VAL和D_VAL保存至预设的存储结构中；根据所述预设的存储结构进行数据解析。