DB37／T 4529-2022 标准规范下载简介：

内容预览由机器从pdf转换为word，准确率92%以上，供参考

DB37／T 4529-2022 海洋大数据分级存储技术规范.pdf

海洋大数据的分级存储实现： a 应事先明确海洋大数据的数据分级等级，分级等级的判定应根据5.2的要求开展； 6 应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋 大数据分级等级及存储要求应符合5.3的要求； C 海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏 数据、穴余数据的清洗、去噪、过滤等； d 应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级 的存储设备或系统，包括以下两种方式： 1）归档的历史海洋大数据可直接拷贝至磁带库/光盘库等存储介质中； 2 采用数据抽取方式将海洋大数据迁移至相应等级的存储设备或系统，应按照6.3的规定 开展数据迁移。 e 应支持根据海洋大数据的分级等级及存储要求、数据访问量，进行不同存储方式之间的迁移 策略的设置、修改、删除等操作； 应支持根据迁移策略实现对海洋大数据的组合查询 g）应支持根据海洋大数据的迁移策略实现海洋大数据的自动迁移，自动迁移应支持迁移日志。

迁移准备工作应包括但不限于：

迁移准备工作应包括但不限于：

DB37/T45292022

制定待迁移数据源的详细说明GB/T 17215.101-2010 电测量 抄表、费率和负荷控制的数据交换 术语 与使用DLMSCOSEM的测量设备交换数据相关的术语，包括数据的存储方式、数据量、数据的时间跨度等； 建立新旧系统数据库的数据字典； 旧系统历史数据的质量分析； 新旧系统数据结构的差异分析； 新旧系统代码数据的差异分析： 建立新旧系统数据库表的映射关系，并对无法映射的字段进行处理； g）开发、部署ETL工具，编写数据转换的测试计划和校验程序； 制定数据转换的应急措施。

6. 3. 2. 1数据抽取

应建立新旧系统数据库表的映射关系，采用合适的数据抽取工具将海洋大数据从源存储设备或 取至目标存储设备或系统

6.3.2.2数据转换

应对迁移至新存储设备或系统的海洋大数据进行数据质量分析，以找出存在问题的数据。 应对重复、错误、不完整、违反业务或逻辑规则等问题数据进行相应的操作。

6. 3. 2. 3数据装载

6. 3. 2. 4数据校验

迁移后的质量校验要求： 海洋大数据迁移后，应对迁移后的海洋大数据进行数据校验，可通过以下两种方式对迁移后 的海洋大数据进行校验： 1）新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查 询，并比较最终的查询结果； 2 将新系统的数据恢复到旧系统迁移前一天的状态，并将最后一天发生在旧系统上的业务 数据补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。 b 数据校验内容应包括但不限于： 数据格式检查：检查数据的格式是否一致和可用； 数据长度检查：检查数据的有效长度； 3 区间范围检查：检查数据是否包含在定义的最大值和最小值的区间中； 空值、默认值检查：检查新旧系统定义的空值、默认值是否相同； 完整性检查：检查数据的关联完整性； 6） 一致性检查：检查逻辑上是否存在不一致的数据

DB37/T45292022

支持分级存储系统或设备的磁盘、CPU、内存、电源、风扇、网口等信息的查询，以便实时了解分 级存储系统或设备运行状态等；同时及时了解运行有误的分级存储系统或设备GB/T 28443-2012 导航电子地图图形符号，若有必要应采取适当措 施保证其正常运行。

海洋大数据分级存储资源管理要求： 应提供分级存储系统的各个节点的服务情况的查询功能，包括节点的主备、节点的容量和性 能（IOPS、读流量、写流量）等信息，实时了解域内资源信息，运行状态； 应提供用户权限范围内的节点管理功能，包括存储信息的添加、修改、删除等； 应及时了解资源的异常，若有必要应采取适当措施保证其正常运行： 应提供CPU、内存、存储等资源的调度和配置功能； 应支持静态资源分配策略和动态资源分配策略； 应提供资源视图查看功能，包括可用CPU、内存、存储等的利用率、分占比等； 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜提供作业自动分配或手动分配功能： 宜提供作业运行状态管理功能，包括开始、暂停、转移和重启等； 宜提供资源扩展和预留功能，以及资源预警、告警功能

海洋大数据分级存储策略管理要求： a）分级存储策略管理： 1）应提供灵活的分级存储策略，包括异地存储、加密存储、压缩存储、同步或异步等存储 方式，不同分级等级海洋大数据的分级存储策略应符合5.3的要求； 2）应支持对海洋大数据分级存储策略的设置、修改、删除和查询等。 b 迁移策略管理：应支持对海洋大数据迁移策略的设置、修改、删除和查询等； 应提供海洋大数据分级等级、分级存储要求和迁移策略三者间的映射关系。

海洋大数据分级存储监控运维要求： a 应定期对海洋大数据的分级等级进行监测，海洋大数据分级等级发生变化时，应实现海洋大 数据的自动迁移或人工迁移； 应实时监控各分级等级的存储设备的剩余空间，当存储设备剩余空间达到预先设定指标时 应实现海洋大数据的自动迁移或人工迁移： 应定期扫描海洋大数据的数据访问量，可根据数据访问量对数据进行迁移管理： 宜充分考虑海洋大数据的增长速度，并定期对各级别存储设备的容量可扩展性进行分析，确 保各级别的存储设备有足够的存储容量

1]GB/T37722一2019信息技术大数据存储与处理系统功能要求 2］GB/T37973一2019信息安全技术大数据安全管理指南 31GB/T39786一2021信息安全技术信息系统密码应用基本要求

YC/T 164-2012 烟用香精DB37/T45292022