GB∕T 38673-2020标准规范下载简介：

内容预览由机器从pdf转换为word，准确率92%以上，供参考

GB∕T 38673-2020 信息技术大数据系统基本要求.pdf

数据预处理模块要求如下： a）应提供数据抽取功能，支持对结构化数据、非结构化数据和半结构化数据进行抽取 b）应提供数据清洗功能，支持对不一致数据、无效数据、缺失数据和重复数据的处理； c）应提供结构化数据的列转换、行转换和表转换功能； d) 应提供数据加载功能，支持将经过清洗和转换的数据加载到数据分析模块； e）宜提供清洗前后的数据比对功能； f 宜支持非结构化数据的数据转换功能。

数据存储模块要求如下： a）应提供数据存储功能，支持结构化数据、非结构化数据和半结构化数据存储。 b）应提供与关系型数据库、其他文件系统之间交换数据或文件的功能。 c）支持分布式文件存储，实现以下功能：

1）应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限修改 2） 应提供数据块多副本存储、恢复功能； 3） 宜支持文件快速检索功能，支持数据资源的统一检索、编目、增加和删除操作； 4） 宜支持数据压缩存储功能。 d）支持分布式列式数据存储DB31T 491-2020 旅游咨询服务中心(点)服务质量要求，实现以下功能： 1）应支持以键值形式存储数据的功能； 2）宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。 e 支持分布式结构化数据存储，实现以下功能： 1）宜支持结构化数据的分布式存储，保证数据存储的可扩展性和一致性； 2）： 宜提供API实现数据的各类查询操作； 3） 宜支持多表关联。 f）支持分布式图数据存储，实现以下功能： 1）宜支持由节点及边组成的数据模型； 2）宜支持图查询，支持单节点、多节点多层关系的扩线查询； 3）宜支持图遍历，支持最短路径、最优路径遍历查询； 4）宜支持图分析

g）宜支持以有向无环图形式描述作业内多任务的依赖关系。 h）宜提供对复杂任务的调度能力

可视化模块要求如下： a）应支持使用常规图表展示数据，如表格、柱状图、饼图、折线图、热力图等； b）宜支持第三方数据可视化工具的API

数据访问模块应支持相应的 序使用大数据系统的数

方问模块应支持相应的访问接口，以便于第三方应用程序使用大数据系统的数据。

资源管理模块要求如下： a）应提供CPU、内存等资源的调度和配置功能； b） 应提供对全局资源的集中管理功能； 应支持静态资源分配策略和动态资源分配策略； d 应支持资源的弹性与抢占，即有空闲资源时，租户可使用超过其配置上限的资源，系统繁忙时 若租户使用的资源未达到其原始配置，则可抢占其他租户使用资源的超出部分； e 宜提供设置任务优先级的功能，并按任务优先级对资源进行调度； 宜支持多层次的队列资源管理，队列资源实现隔离，即不为队列分配超过其资源上限的资源； g) 宜提供根据作业需求动态分配计算资源，自动管理回收资源功能。

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； 6 应提供租户管理功能，包括租户的角色、权限、资源等功能； ） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d 应提供服务管理功能，包括对大数据系统组件服务的管理； 宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查，

系统管理模块要求如下： 应提供配置管理功能，包括对大数据集群软硬件资源的配置管理，支持配置管理的分角色、分 组管理及自动化； b） 应提供租户管理功能，包括租户的角色、权限、资源等功能； c） 应提供监控告警管理功能，包括多维度、可视化的大数据系统的监控、告警等； d） 应提供服务管理功能，包括对大数据系统组件服务的管理； e）宜提供健康检查管理功能，支持以图形界面方式实现集群健康检查

高可用要求如下： a) 应提供系统自动故障探测及管理功能； b) 应确保系统组件不存在单点故障风险； 集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； 集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行。

高可用要求如下： a）应提供系统自动故障探测及管理功能； b）应确保系统组件不存在单点故障风险； c）集群任意节点发生故障时，不应出现服务中断、数据丢失或数据不一致的情况； d）集群任意单元发生故障时，系统操作应不受影响； e）应保证系统长期无故障不间断运行

7.1.2数据穴余存储与分布

数据完余存储与分布要求如下：

GB/T386732020

a）应提供元数据 b）应提供基于分区 理分布的能力

7.1.3数据备份和恢复

数据备份和恢复要求如下： a）应提供分布式文件存储备份和恢复功能； b) 应提供分布式结构化数据存储备份和恢复功能； 应提供分布式列式存储备份和恢复功能； d）宜支持数据全量备份和增量备份； e）宜支持数据自动备份和手动备份

7.1.4故障恢复与迁移

故障恢复与迁移要求如下： a）任意节点发生故障后，系统应提供将修复后的节点接回系统的能力； b）故障恢复与迁移过程不应影响系统用户数据的完整性与一致性； c）故障恢复与迁移过程不应影响系统整体服务能力。

大数据系统应兼容不同品牌的操作系统

用户管理要求如下： a）应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性； b）用户身份鉴别信息应满足一定的复杂度要求，并定期更换； c）应提供登录失败处理措施，如结束会话、限制非法登录次数、登录连接超时自动退出等措施

权限管理要求如下： a）应以系统组件为单位配置角色和用户； b）应按照权限最小化的原则为用户配置权限； c）应支持按照数据表级、数据列级的粒度为用户分配权限； d）应支持按照不同操作类型（如增、删、改、查TC/TES 1003-2017 可视性运动服，执行等）为用户分配权限

日志管理要求如下： a）应提供记录系统操作日志功能，记录用户的重要操作； b）应保证系统操作日志无法删除、修改或被覆盖； c）操作日志应包括日期、时间、操作者信息、操作类型、操作描述和操作结果等； d）应提供对系统操作日志进行统计、查询、分析及生成报表的功能。

GB/T38673—2020

a）应提供数据存储加解密功能，支持数据库级数据加密； b）应提供系统敏感数据加密传输功能，并且加密密钥可被替换； c）宜支持数据列级的数据加密。

系统可扩展性要求如下： a）应提供集群在线扩容和减容功能； b）应提供集群离线扩容和减容功能。

系统可维护性要求如下： a）应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； d）应提供错误诊断功能，发生错误时可提供准确的诊断信息以便于定位错误； e） 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能，支持单组件降级、降级过程中回退等。

系统可维护性要求如下： a 应提供安装部署管理功能，对大数据集群中管理节点和数据节点软件进行安装部署； 6） 应提供查看系统版本信息的功能； 应提供系统在线升级功能，支持单组件升级、升级过程中回滚等； 应提供错误诊断功能，发生错误时可提供准确的诊断信息以便于定位错误； 应提供各类计算任务运行进度、状态的实时跟踪及上报功能； f）宜提供系统降级功能GB/T 40245-2021 废弃防腐木材回收规范，支持单组件降级、降级过程中回退等。

系统易用性要求如下： a）应提供图形界面的系统安装配置工具，以便于系统部署； b）应提供完整的产品文档，包括但不限于安装部署手册、管理员使用手册、应用开发指南、用户操 作手册等。