GB∕T 38672-2020标准规范下载简介：
内容预览由机器从pdf转换为word，准确率92%以上，供参考
GB∕T 38672-2020 信息技术大数据接口基本要求.pdfGB/T 38672—2020
共享数据同步更新，不需要重复录人。这类接口在跨层级、跨系统业务数据共享共用、系统 联互通中广泛使用。
一方面，大数据应用提供者通过接口3向大数据框架提供者下发数据计算、存储或访问指令，利用 数据框架提供者的各类计算、存储和网络资源。另一方面，大数据框架提供者通过接口3向大数据应 提供者返回数据计算的结果或需要访问的数据。大数据框架提供者包括各类计算、存储组件，一般基 开源版本进行增强。 根据访问的大数据框架提供者组件，接口3的常见类型包括但不限于： a）离线计算接口：用于对数据进行离线计算，支持数据读取、分发、聚集、输出等操作。同时对计 算任务进行编排和调度； b）内存计算接口：用于使用内存对数据进行计算、分析，支持数据聚集、数据集转换等操作； c 分布式文件存储接口：用于对分布式文件数据进行交互，支持文件系统连接、文件访问、文件流 及存储空间管理等操作； d 分布式列式存储接口：用于对分布式列式数据进行交互，支持实时查询、分析等操作； e） 关系型数据库接口：用于对关系型数据进行交互，支持数据库连接、数据库管理、数据表管理、 数据访问等操作； f 多维分析数据库接口：用于对多维数据进行交互，支持数据查询，和数据表的动态修改等操作； g 分布式内存数据库接口：用于对分布式内存数据进行交互，支持数据库连接、数据访问、数据管 理等操作； h） 海量全文检索接口：用于对海量文本数据进行检索和查询，支持索引库连接、数据表管理、数据 访问等操作
一方面，管理模块通过接口4向大数据系统的其他模块发送监控、配置指令，监管大数据系统其他 模块的资源和运行状态。另一方面，大数据系统的其他模块通过接口4向管理模块传送自身状态、配置 请求、出错或告警信息。
一方面，安全和隐私模块通过接口5向大数据系统的其他模块传送安全和隐私相关配置和指令，支 持身份管理、访问授权、安全审计等操作。另一方面，大数据系统的其他模块通过接口5将数据安全、系 统安全、用户隐私相关的状态、操作、验证请求等发送给安全和隐私模块。
各类接口应满足如下总体要求： a）开放性：符合产业习惯，兼容主流开源接口，减小接口定制化带来的重新设计、适配成本； b）易用性：尽可能设计成抽象程度高、屏蔽底层实现、语法易理解的接口； c）扩展性：同一接口可通过增加函数、操作符、语句等形式支持新的功能。
a）应支持多种数据来源（业务系统、数据库、文件等）、多种数据类型（例如业务相关数据、监控 据）、多种数据格式（结构化、半结构化、非结构化等）的数据访问； b）应支持按照大数据采集留存规则进行数据采集； c）应支持接口运行情况（如主要函数调用时延）的监控，能及时发现错误、产生告警信号； d）宜支持多种数据访问接口实例的定时（例如按天、小时、分钟等）调用启动； e）宜支持对接常用数据库采集工具、主流日志采集工具（如Filebeat)； 宜支持对接基于系统应用服务接口（数据提供者提供或第三方重构的）实现数据采集的工具： 接口生成宜不受业务系统的开发语言、所处网络环境、系统形态等限制。
接口3的要求包括： a）应支持业界常用接口，兼容主流开源接口，支持系统集成； b）应支持海量数据的分布式离线计算，支持MapReduce计算模型，支持数据的读取、分发、聚集
接口3的要求包括 a）应支持业界常用接口，兼容主流开源接口，支持系统集成； b）应支持海量数据的分布式离线计算，支持MapReduce计算模型，支持数据的读取、
GB/T 386722020
输出等处理功能； 应提供内存计算的多种语言开发接口（例如Scala，Java），提供高度抽象算子构建分布式数据 处理应用； d 应支持分布式文件存储的文件操作（包括但不限于文件创建、读取、写人、删除、文件状态信息 查询等）及文件操作（包括但不限于文件夹创建、删除、状态信息查询、内容统计信息查询 等）； e） 应支持分布式文件系统设置，包括但不限于设置访向权限、设置文件所有者、设置访向时间或 者修改时间等； f)应支持关系型数据库的DDL、DML操作，支持标准SQL； 应支持多维分析数据库以标准SQL查询和分析； h） 应支持海量全文检索，提供结构化、非结构化文本的多条件检索、统计和报表生成； i 应支持自定义函数的定义、加载、使用机制； 应支持海量结构化数据的交互式OLAP分析； k） 宜支持分布式内存计算框架接入多种数据源（例如HDFS、HBase、Hive)，支持离线计算程序 平滑转接； 1 宜支持分布式列式存储不同类型索引（例如主键索引、组合索引、全文索引）的创建、查询 重建； m）宜支持关系型数据库的事务操作，包括但不限于事务开启、提交及回漆等，
接口4的要求包括： a）应支持大数据组件的安装部署、支持升级配置（包括但不限于查询可升级的版本、需配置的参 数等）； b） 应支持用户管理，包括但不限于增加、删除、修改用户，增加、删除、修改角色、用户权限控制等 c） 应支持监控告警，对资源使用情况、资源运行状态等进行监控，并提供多种展示方式，支持健康 检查； d） 应支持各类日志的收集和存储，包括但不限于运行日志、操作日志； e）应支持标准管理协议（例如SNMP)，提供RESTAPI、CLI等交互方式。
GB 223.54-87 钢铁及合金化学分析方法（火焰原子吸收分光光度法测定镍量）接口5宜提供RESTAPI。
接口5宜提供RESTAPI