[发明专利]通用力场数据库及其更新方法和检索方法

权利要求书

1.通用力场数据库，其特征在于，包括模型层、视图层、控制层的3层MVC架构；

所述的模型层，数据存储采用SQL+文件数据库的混合架构，核心数据包括 SQL 中的8张表，分别是分子表，分子片段表、力场参数表、原子类型表、力场计算数据表、量化计算数据表、实验数据表、分子动力学模拟数据表；力场计算、量化计算、分子动力学模拟的计算日志都是以文件的形式存储在文件数据库中的；

控制层包括4个核心模块，分别为数据采集模块、数据清洗模块、数据校验模块和数据检索模块；所述的数据采集模块对模型层有读写的权限；数据校验模块、数据检索模块对模型层只有读的权限；数据清洗模块只被数据采集模块调用，对模型层没有读写权限；

所述的视图层用 Python 封装的SDK实现；

控制层和视图之间通信连接。

2.根据权利要求1所述的通用力场数据库的更新方法，其特征在于，包括两种方式：定期从公开的数据源获取最新的元数据，根据数据仓库的数据更新从公开的数据源获取目标数据；

所述的定期从公开的数据源获取最新的元数据，包括以下过程：

（1）用户通过SDK向数据采集模块发送需要获取数据的数据源地址，更新频率，以及数据源中的数据与标准数据的对应关系；

（2）数据采集模块内部持续运行的定时器，根据用户设定的更新频率，定时器触发更新，数据采集模块主动向数据源发送请求获取数据；

（3）数据源返回数据后，数据采集模块将数据存储在临时文件系统中；

（4）数据采集模块调用数据清洗模块按标准数据格式清洗数据，并将输出的标准化的数据存储在临时文件系统中；

（5）数据采集模块调用数据校验模块，按照预设的规则逐一校验标准化后的数据，并将通过校验的数据传给模型层添加到数据库中；

（6）未通过校验的数据会记录到疑似错误数据表中，用户可以通过SDK手动编辑数据，并重新校验；

所述的根据数据仓库的数据更新从公开的数据源获取目标数据，包括以下过程：

（1）用户主动导入数据，用户通过SDK向数据采集模块主动导入了一批数据；

（2）数据采集模块会根据用户导入的数据自动判断哪些已有的数据源与这些数据有关联，并向这些数据源发送获取数据请求；

（3）以下步骤同所述的定期从公开的数据源获取最新的元数据的步骤（3）~步骤（6）。

3.根据权利要求2所述的通用力场数据库的更新方法，其特征在于，所述的用户主动导入数据的方法为，用户通过SDK向数据采集模块发送需要导入的数据和数据类型，导入的数据格式支持JSON、XML、TXT、CVS、数据类型可以指定分子、分子片段、力场参数、原子类型、力场计算数据、量化计算数据、实验数据；将用户上传的数据存储在临时文件系统中。

4.根据权利要求2所述的通用力场数据库的更新方法，其特征在于，还包括数据清洗，数据清洗由数据采集模块触发，包括以下过程：

（1）数据采集模块调用数据清洗模块，并将需要清洗的数据从临时文件系统传给数据清洗模块；

（2）数据清洗模块首先会根据数据内容和类型标记判断需要清洗的数据的类型；并根据类型调用相应的解释器；

（3）解释器安装标准格式据逐一匹配内容，如果匹配成功，就将数据填入内存里对应的数据结构中；

（4）直到全部数据匹配完成，内存中的数据就是清洗好的数据，模,将这些数据持久化到临时文件系统中。

5.根据权利要求1所述的通用力场数据库的更新方法，其特征在于，还包括数据校验，数据校验由数据采集模块触发，包括以下过程：

（1）数据采集模块调用数据校验模块，并将需要校验的数据从临时文件系统传给数据校验模块；

（2）数据校验模块逐条校验数据，首先识别数据的类型，根据数据的类型，从模型层读取相应的校验规则列表；

（3）按校验规则列表逐条匹配需要校验的单条数据，对每一条校验规则，先请求模型层，获取校验规则中需要用到的数据，然后通过校验规则运算后看看与被校验数据是否一直，如果一致则校验成功，如果不一致则校验失败；

（4）上述步骤循环完成后全部通过校验的数据会被模块持久化到临时文件系统中。