[发明专利]一种分散式大数据管理与检索的方法

摘要

本发明涉及一种分散式大数据管理与检索的方法，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。本发明能够准确、直观的渔船的时空分布统计查询。

主权项

1.一种分散式大数据管理与检索的方法，其特征在于，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件；所述基础数据包括海域数据、区划数据和渔船数据；所述业务数据包括渔船小时分布、渔船天分布和渔船轨迹数据；所述区划数据与渔船数据通过区划编号关联；所述渔船轨迹数据通过渔船编号与渔船数据相关联；所述渔船小时分布表通过小渔区编号与海域数据关联；所述渔船天分布表通过小渔区编号与海域数据关联；所述海域数据的内存结构所表达的海域层次关系为海区、渔场、渔区、小渔区由上向下成包含的层次关系；所述区划数据的内存结构所表达的区域层次关系为省级行政区划、地区级行政区划、县级行政区划由上向下成包含的层次关系；所述渔船数据的内存结构为省级行政区划编号、地区级行政区划编号同区划数据的内存结构，每个县级行政区划中存储起止的渔船编号，每个渔船编号中存储渔船基本信息；通过区划数据的内存结构和海域数据的内存结构，查询分散的北斗船位空间分布数据文件，统计某段时间，某区划渔船去各海域作业的数量或统计某段时间，某海域渔船来源于各区划的数量。