可信智能计算服务产品功能

2023-05-27 18:21:52

动态联盟管理 邀请华为云租户作为数据参与方， 动态构建 可信计算 联盟， 实现联盟内严格可控的数据使用和监管。 可信计算节点 参与方使用数据源计算节点实现自主可控的数据源注册、隐私策略（脱敏、加密）设定、元数据发布等，为数据源计算节点提供全生命周期的可靠性监控、运维管理。 联邦SQL分析 支持标准SQL语法，对接多种主流数据存储系统，为数据消费者实现多方数据的融合分析，参与方敏感数据能够在具有TEE或MPC安全支撑的聚合计算节点中实现安全计算。 多方联合建模 对接主流深度学习框架实现横向和纵向联邦建模，支持基于TEE或MPC(如不经意传输、同态加密等)的多方样本对齐和训练模型保护。 云端容器化部署 参与方数据源计算节点 云原生 容器部署，聚合计算节点动态扩容，支持云、边缘、混合云多种部署模式。 可视化数据监管 为数据参与方提供可视化的数据使用流图，提供插件化的 区块链 对接存储，实现使用过程的可审计、可追溯。

参与方 云端 流图 计算 数据

云数据仓库无缝对接Hadoop

2023-05-27 18:21:52

GaussDB(DWS)可以无缝对接HDFS存储，通过外表机制，能够交互式查询分析Hadoop平台的数据，支持ORC/txt/csv/Parquet等文件格式，提供大数据分析能力。 基于Shared-nothing/MPP的对等并行计算模型可以充分利用CPU/IO/Mem等资源，获得极致的运算性能和线性的可扩展性，从而支持PB级数据规模。 1.兼容标准SQL SQL兼容SQL92/99/2003标准，支持存储过程，降低应用开发成本和迁移成本。 2.完备的事务支持 支持HDFS平台通用的ORC格式数据增删改，提供大数据平台互联互通能力。基于MVCC、两阶段提交分布式事务管理技术，支持ACID全事务能力。采用Smart Insert行列存混合存储引擎，支持数据智能分配存储，支持高速数据更新。 3.交互式的性能体验 基于MPP全并行异步Pipeline分布式执行框架，向量化执行引擎，谓词下推智能过滤扫描，LLVM等关键技术，实现内核引擎极致性能，支持高性能交互式查询分析。

性能 高性能 引擎 分布式 充分利用

云数据仓库GDS工具

2023-05-27 18:21:52

GaussDB(DWS)提供GDS（Gauss Data Service）工具，可以高效地进行文本数据导入导出。 如图，GDS服务器部署于集群每个物理节点上，可以实现数据的并行导入/导出，单机速度可达700MB/s。 图片 基于GDS的数据并行导入/导出 /cloudbu-site/china/zh-cn/hjm/dwssjdr.jpg 此外，借助外表数据封装器（Foreign Data Wrapper，简称FDW），不同的集群之间可以互相访问数据，例如在GaussDB集群A中访问GaussDB集群B中的数据。结合GDS，可以实现跨集群数据一键式高速迁移。如下图所示，通过GDS在两个集群之间形成高效的实时数据中转通路，将数据从源集群导出，不经落盘直接导入目标集群。 图片 用GDS实现跨集群 数据迁移 /cloudbu-site/china/zh-cn/hjm/dwssjdr1.png 其技术特点是： 使用方便简洁，一条SQL启动迁移业务（INSERT INTO … SELECT … FROM … [WHERE];）。 性能高效，充分利用两端集群所有节点算力。 中间数据不落盘，不占用磁盘空间。 可以满足：GaussDB(DWS)集群间全量数据迁移同步、GaussDB(DWS)集群间过滤条件数据迁移同步等场景的性能需求。

gds 数据迁移 集群 数据 迁移

云数据仓库透明安全技术

2023-05-27 18:21:52

GaussDB(DWS)支持对数据进行透明加密，加密解密的过程用户无感知。每个集群有一个CEK（集群秘钥），每个 数据库 采用单独配置的DEK（数据库加密密钥）加密保护，DEK使用CEK加密保护，保证秘钥安全。密钥通过Kerbores服务申请和加解密，加密算法通过配置项统一配置。目前支持AES、SM4算法，其中SM4算法在hi 1620以上版本芯片中支持硬件加速。 大数据中蕴藏巨大价值的同时，也带来了隐私信息保护方面的问题。GaussDB(DWS)支持客户以表的列为单元创建脱敏策略，客户可针对业务中的敏感数据进行策略创建，敏感数据的界定由客户结合自身业务场景识别。制定脱敏策略后，只有管理员和表对象的owner才能访问原始数据。同时，脱敏的数据可以参与实际运算及使用，仅在数据库服务最终返回结果时脱敏。 以图为例，用户数据中每个人员的工资、email和手机号码均为敏感数据，包含了用户的隐私信息，如果明文显示，将会暴露用户的隐私，带来一系列问题。经过透明脱敏处理后，普通用户查看到的数据均被掩码显示，从而保护了用户的隐私。 图片 数据脱敏效果 /cloudbu-site/china/zh-cn/hjm/dwshxjs4.png 数据脱敏的关键技术如下： 策略可配置 客户可结合自身业务场景识别敏感数据并使用DDL在表的指定列创建脱敏策略。 策略可扩展 内置数值、字符、时间类型脱敏函数，支持用户自定义脱敏函数。 访问控制 制定脱敏策略后，只有管理员和表对象的owner才能访问原始数据。 数据可用性 脱敏数据可以参与实际运算及使用，仅在最终返回结果时脱敏。

脱敏 敏感数据 加解密 明文 解密

云数据仓库全并行计算

2023-05-27 18:21:52

GaussDB(DWS)实现了一套高效能的分布式执行引擎，充分利用集群中各节点的资源，发挥并行计算的极致性能。 图片 GaussDB(DWS)的全并行计算 /cloudbu-site/china/zh-cn/hjm/dwshxjs.png 如图，GaussDB(DWS)的全并行计算核心技术如下： MPP节点并行 分布式执行框架，VPP用户态TCP协议，支持>1000服务器，万级CPU核并行计算。 SMP（Symmetric Multi-Processing）算子并行 采用多线程并行算法执行同一个SQL，充分利用多核CPU资源，支持众核(>64 cores)，NUMA架构优化。 SIMD（Single Instruction Multiple Data）指令级并行 一个指令执行一批数据的操作，支持X86，ARM指令。 LLVM（Low Level Virtual Machine）动态编译 将热点函数预编译成机器码，减少SQL执行指令数，提升性能。

充分利用 并行算法 x86 众核 指令

实时流计算服务实时流分析场景

2023-05-27 18:21:52

实时流分析场景 提供易用、低时延、高吞吐的实时流分析服务。支持Stream SQL和用户自定义作业做流分析 优势 易用 在线编辑Stream SQL，丰富的SQL函数满足复杂业务需要 完全托管 用户完全不感知计算集群，聚焦流分析本身 按需计费 作业选定SPU资源量，按时长计费，精确到秒 建议搭配使用： 对象存储服务 OBS、 数据接入服务 DIS

数据接入服务 实时 计算 优势 stream

数据湖探索地理大数据分析

2023-05-27 18:21:52

地理大数据分析 地理大数据具有大数据的相关特征，数据体量巨大，例如全球卫星遥感影像数据量达到PB级；数据种类多，有结构化的遥感影像栅格数据、矢量数据，非结构化的空间位置数据、三维建模数据；在大体量的地理大数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，是用户非常关注的话题 优势 提供地理专业算子 支持全栈Spark能力，具备丰富的Spark空间数据分析算法算子，全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云等巨量数据的离线批处理，支持带有位置属性的动态流数据实时计算处理 CEP SQL 提供地理位置分析函数对地理空间数据进行实时分析，用户仅需编写SQL便可实现例如偏航检测，电子围栏等地理分析场景 大 数据治理 能力 能快速将海量遥感影像数据接入上云，快速完成影像数据切片处理，为分布式批处理计算提供弹性分布式 数据集 建议搭配使用：数据接入服务 DIS、 对象存储 服务OBS、 云数据迁移 CDM、 数据快递 服务DES

地理大数据 遥感 海量 pb 结构化

数据湖探索数据库分析

2023-05-27 18:21:52

数据库分析 应用的数据（如：注册信息）存在关系型数据库中，想对数据库内的数据进行分析 痛点 数据量日益增多，复杂查询关系型数据库查不出来 数据分库分表存在多个关系型数据库中，无法做全量分析 不想因为分析业务影响在线业务 优势 熟悉的SQL体验 DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003，0学习成本，使用习惯保持一致 极致性能 DLI采用分布式内存计算模型，轻松处理海量数据 建议搭配使用：云数据迁移 CDM

关系型数据库 海量 数据量 性能 分库

MapReduce服务智慧水务

2023-05-27 18:21:52

智慧水务 以大数据云服务MRS-Hadoop为核心，构建高性能、高可靠的统一大数据存储分析平台 优势 统一数据平台，灵活弹性 使用MRS服务搭建，具备企业级大数据的平台能力，并提供了丰富的开源组件，灵活搭配，同时满足客户实时/离线等混合复杂业务处理诉求 高吞吐、低延时 可以通过Storm从Kafka获取实时流数据，实现高吞吐量、低延时的实时计算、分析能力 支持多类型数据融合 同时支持各种结构化/半结构化/非结构化数据计算处理，轻松迁移传统数仓数据，实现跨源数据探索分析 场景适用服务： MapReduce服务 MRS、云数据迁移 CDM、 云数据库 MySQL

大数据 数据平台 数仓 企业级 高可靠

湖仓构建数据湖建设和持续运营

2023-05-27 18:21:52

场景描述 数据湖 建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 传统方式的弊端 · 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对客户有一定的技能要求，缺少提升易用性的可视化界面。 · 一个完整的授权活动，需要针对计算引擎、对象存储执行两次授权操作，对客户操作带来不便，易用性差。 服务优势 · 站式可视化数据湖构建：提供数据湖元数据统一定义和授权的可视化界面，支持客户便捷操作，快速构建。 · 联动授权：支持在元数据授权的同时，自动化完成元数据所映射的文件目录的授权，使客户授权操作更便捷和高效。 · 细粒度访问控制：实现针对数据湖的库、表、列级元数据的细粒度访问控制，为业务数据的安全性提供有力保障。 建议搭配服务：MapReduce服务、 数据湖探索 DLI、云 数据仓库 GaussDB、 数据治理中心 DataArts Studio、 AI开发平台 ModelArts

数据湖 可视化 易用性 数据仓库 海量

数据治理中心功能描述

2023-05-27 18:21:52

数据集成 支持批量数据迁移、实时数据集成和数据库实时同步，支持20+异构数据源，全向导式配置和管理，支持单表、整库、增量、周期性数据集成 数据治理 提供智能数据规划、数据质量监控、数据标准化等功能，统一管理数据模型、数据标准，并落地数据模型和数据标准，用于改善数据质量，有效支撑决策 资产管理 提供企业级的元 数据管理 ，厘清信息资产。通过数据地图，实现数据资产的数据血缘和数据全景可视，提供数据智能搜索和运营监控 数据研发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据集成、脚本开发、工作流编排等操作，轻松完成整个数据的处理分析流程 智能服务 标准化的数据服务平台，提供一站式数据服务开发、测试部署能力，实现数据服务敏捷响应，降低数据获取难度，提升数据消费体验和效率，最终实现数据资产的变现 全场景可视 数据治理运营过程可视，拖拉拽配置，无需编码；处理结果可视，更直观，便于交互和探索；数据资产管理可视，支持钻取、溯源等 统一调度 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期 统一运维 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行 数据安全 统一的数据安全保护中心，提供敏感数据识别及分类，安全隐私保护，细粒度权限控制，数据风险识别及合规审计等能力，帮助用户增强整体安全防护能力，建立安全预警机制，让数据使用安全、合规

资产 提供数据 数据服务 实时 数据

日志分析服务日志分析

2023-05-27 18:21:52

日志分析 通过对接入的日志进行索引、分片、分析，提供一站式智能分析平台，对外提供日志检索、可视化、智能运维等功能。 特点 实时检索 提供日志场景端到端的解决方案，数据从入库到能够被检索到只需要数秒时间。 统计分析 提供20余种统计分析方法，支持表格、折线图、热图、云图等多种图表呈现方式。 APM 加速 针对时序数据，通过提前将细粒度数据聚合成粗粒度数据，提升drill up与drill down的性能。 建议搭配使用： 云搜索服务 CSS、MapReduce服务、对象存储服务 OBS、云数据迁移 CDM

统计分析 实时 时序 数据 可视化

云搜索服务全场景日志分析

2023-05-27 18:21:52

全场景日志分析 云搜索 服务CSS可用于全场景日志分析，包括ELB日志、服务器日志、容器和应用日志。 其中Kafka作为消息缓冲队列，用于削峰填谷，Logstash负责数据ETL，Elasticsearch负责数据检索与分析，最后由Kibana以可视化的方式呈现给用户。 优势 性价比高 采用鲲鹏算力、冷热分离、存算分离，成本同比降低30%+； 易用性好 支持丰富的可视化查询语句与拖拽式报表； 强大的处理能力 支持每天百TB级数量入库，提供PB级以上数据处理能力。 建议搭配使用： 弹性负载均衡 ELB、弹性 云服务器 ECS、 云容器引擎 CCE、分布式消息服务 Kafka

数据处理 能力 优势 可视化 易用性

表格存储服务物联网IoT设备监控

2023-05-27 18:21:52

物联网IoT设备监控 梯联网、燃气、水务、电力、化工、互联网等IoT设备通过物联网套件服务接入上云，设备数据和分析结果实时高效写入到CloudTable的 时序数据库 OpenTSDB中，通过 OpenTSDB接口将时序结果输出到用户的展现监控前端系统，实现物联网设备实时监控分析系统 优势 易接入 CloudTable(OpenTSDB)开放协议，轻松对接消息系统、实时流计算系统，降低开发难度 高性能读写 千万级的时序数据写入吞吐量， 百万数据点3秒的查询时延。相比开源OpenTSDB，针对读性能提高30%-60%，写并发提升60% 支持聚合能力 提供插值、降精度、丰富的聚合函数能力 低成本 存储按使用量计费，弹性扩容，从容应对业务的不确定性。10:1的高压缩比，成本更低 建议搭配使用： 实时流计算服务 CS、数据接入服务 DIS、数据湖探索 DLI、设备管理 IoTDM、对象存储服务 OBS、云数据迁移 CDM

实时 时序 能力 iot 数据接入服务

表格存储服务产品优势

2023-05-27 18:21:52

HBase原生接口 兼容原生HBase接口，架构高可用，存储和计算分离保证高可靠，内核深度优化 支持KeyValue数据模型：兼容HBase原生接口，支持KeyValue数据模型，基于社区HBase 1.3版本进行深度内核优化，修复社区关键BUG，优化HBase运行参数。兼容原生HBase常规表操作/数据读写接口 架构高可用 架构高可用：Master为两个节点，主备模式，HA实时检测；计算单元的故障，region可以秒级转移，保证业务的高可用 存储和计算分离保证高可靠：安全、可靠、可弹性扩展，适用于大容量、读写速率要求不高、事务性处理较少的应用场景 集成OpenTSDB 集成OpenTSDB来支持时序数据的高效存储与查询。对OpenTSDB源码深度优化，性能较之社区OpenTSDB版本提升30%+ 安全可靠：集成OpenTSDB来支持时序数据的高效存储与查询。对OpenTSDB源码深度优化，性能较之社区OpenTSDB版本提升30%+ OpenTSDB源码深度优化：针对物联网的高并发，大范围扫描等场景深度优化，千万级的时序数据写入吞吐量， 百万数据点3秒的查询时延。相比开源OpenTSDB，针对读性能提高30%-60%，写并发提升60% 集成GeoMesa 引入地理大数据处理套件GeoMesa，存储和分析海量时空(spatio-temporal)数据，提供路径查询、区域分布统计、区域查询、OD分析等功能 集成GeoMesa提供时空数据库能力：集成GeoMesa，提供位置数据、路径数据等时空数据的高效读写、路径查询、区域分布统计、区域查询、OD分析等功能 基于GeoMesa的数据分析能力：和华为云数据湖探索(Data Lake Insight, DLI)服务无缝集成，提供对时空数据的密度分析、热力图等分析功能 可视化监控运维 提供常用的监控信息和自定义告警规则，简化系统运维 可视化管理平台：可视化管理平台对CU进行扩容，修改配置参数等 全面的监控信息：提供实例的CPU使用率、IOPS、流入流出的流量等监控信息 自定义告警规则：支持异常告警和自定义告警规则，提供CPU使用超过阈值等告警，提供告警启用、停用、删除管理

opentsdb 时序 性能 秒级 实时
共11338条

为您推荐

GaussDB数据库 国外域名注册商 手机云电脑 消息短信平台 云服务平台登录入口 云服务器活动 云专线平台DC GaussDB