云数据仓库产品架构

2023-05-27 18:21:52

GaussDB(DWS)由 数据库 内核部分及一系列相关工具组成,其产品架构如图所示。 图片 GaussDB(DWS)产品架构 /cloudbu-site/china/zh-cn/zjy/architecture(3).png GaussDB(DWS)支持标准ANSI SQL,用户可通过GaussDB(DWS)提供的客户端工具或JDBC、ODBC接口与其进行交互。通过JDBC、ODBC和PLSQL等接口,客户可以针对自身业务进行定制开发。 GaussDB(DWS)采用Shared-nothing的MPP(Massively Parallel Processing)架构,整个集群由多个拥有独立且互不共享CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个物理节点上,数据访问任务被推送到数据所在位置就近执行,通过控制模块的协调,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。 GaussDB(DWS)支持行列混合存储和向量化执行,可同时满足高并发TP和分析AP业务的需要。 GaussDB(DWS)提供了 数据迁移 /备份,数据导入导出等多种 数据管理 工具,可以快速、方便地在不同数据库之间、GaussDB(DWS)的不同集群之间转移数据,为用户升级、扩展、替换、备份数据库系统提供有力地保障。 GaussDB(DWS)提供可视化的集群管理界面,可以一键部署、升级、扩容。用户可通过管理控制界面实时查看数据库状态,统计运行数据,分析数据库性能。

云数据仓库一站式BI解决方案

2023-05-27 18:21:52

一站式BI解决方案 企业积累的海量数据及各种数据资产,体量庞大,需高性能大数据平台支撑进行全量数据分析和挖掘。依托DWS+BI工具打造全局的、直观的、关联性的、可视化的运营数字化分析平台 ,以数据分析来驱动业务价值提升及管理提升 优势 多源数据接入 多源数据采集,打破数据孤岛,形成统一的数据展现平台 统一分析决策平台 统一的数据决策平台,多维分析企业经营数据,有效支撑企业的经营决策; 多场景展现 搭配BI工具多终端数据展现PC端/移动端/大屏,满足业务部门各种报表诉求。 建议搭配使用: 云数据迁移 CDM 数据湖 治理中心 DGC、BI/报表软件

数据湖探索游戏行业

2023-05-27 18:21:52

日志分析 游戏公司日常通过数据分析平台,借助数据力量没突破行业瓶颈。例如:寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等 痛点 日志分析通常是按周期进行调度,每次调度之间存在大量空闲期 优势 按量计费 DLI按量计费只在使用期间收费,成本较独占集群降低50%以上 融合分析 DLI三大引擎间元数据互通,数据实时清洗后入库进行离线ETL处理,处理结果直接可用交互式分析进行数据探索 建议搭配使用: 数据接入服务 DIS、 云数据库 服务 MySQL

MapReduce服务与自建Hadoop集群对比

2023-05-27 18:21:52

成本 MapReduce服务 :支持鲲鹏+自动 弹性伸缩 ,大大降低成本;已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买 自建Hadoop集群:无法弹性,资源利用率低,成本高;购买商业发行版操作系统及大数据产品License价格高昂 维护 MapReduce服务:提供I层基础设施自动化整合能力,自动做性能调优,性能更好;一键式快速创建大 数据集 群;支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑 自建Hadoop集群:无法快速整合Iaas层资源,需要手动调参优化;手动安装大数据集群,效率低,易出错;无运维支撑保障服务,不支持补丁更新或版本升级 灵活 MapReduce服务:支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰;支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁 自建Hadoop集群:业务量暴涨或回落时,不能及时扩容或收缩资源;不支持节点规格灵活升级,不支持临时创建集群自动销毁 专业 MapReduce服务:具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模;具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑 自建Hadoop集群:开源版大数据集群水平扩展能力有限制,不适合大规模生产部署;使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持 生态 MapReduce服务:天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态 自建Hadoop集群:自建系统比较封闭,无法快速的利用周边云生态服务能力 安全 MapReduce服务: 拥有企业级的大数据多租户权限管理能力;拥有企业级的大 数据安全 管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密 自建Hadoop集群:不具备企业级的多租户权限管理能力;开源大数据集群不具备完善的审计日志;缺少业界安全工具扫描报告 可靠 MapReduce服务: 经过大规模的可靠性、长稳验证,满足企业级高可靠要求;支持数据跨AZ/跨Region自动备份的数据容灾能力;自动反亲和技术,虚拟机分布在不同物理机上 自建Hadoop集群:仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试;业务双活、容灾设备投入大,且不能两地三中心容灾

MapReduce服务智慧物流

2023-05-27 18:21:52

智慧物流 依靠MRS大数据分析平台,实现物流各环节的智能管理,提高业务运营效率,大大的降低成本 优势 高吞吐、低时延 提供专属MRS Kafka集群,具备高吞吐、高可用、低延迟的数据接入能力,实现百万级消息实时接入 海量数据分析处理 利用MRS Spark,支持海量数据计算处理,选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析 搭载AI,更智能 MRS搭载AI技术,可以直接对大数据进行价值挖掘,为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析 场景适用服务:MapReduce服务 MRS、 数据仓库 服务 GaussDB(DWS)、云数据库 MySQL、 AI开发平台 ModelArts

MapReduce服务金融保险

2023-05-27 18:21:52

金融保险 利用专属云MRS大数据的优势,满足保险业在合规、安全、可靠等方面的需求,重构传统保险企业的IT架构,快速构建和部署保险业务系统,帮助保险企业快速实现数字化转型,轻松实现业务创新和业务的敏捷演进 优势 安全可信 护客户敏感数据安全 资源专属 专属MRS集群,资源独享,计算、存储物理资源隔离 创建灵活,全栈技术,简单运维 一键式灵活创建全栈式大数据平台,提供企业级平台管理界面,运维简单 场景适用服务:MapReduce服务、分布式缓存服务 Redis、 对象存储服务 OBS

MapReduce服务互联网行业

2023-05-27 18:21:52

互联网行业(主打) 互联网行业的业务需求快速膨胀,数据量爆发,导致自建大数据平台面临着无法快速扩容、数据利用率低及运维成本高等问题,MRS提供“存算分离+鲲鹏”云化大数据平台,为用户构筑下一代高性价比互联网新平台 优势 架构创新,高性价比、数据灵活共享 - 存算分离:业务数据分离、引擎级元数据分离- 异构算力:鲲鹏+x86,裸金属/虚机/容器 计算引擎源于开源,高于开源 - 主流引擎和开源深度互动:hadoop、spark、hive等主流引擎同接口,引擎内核深度优化提升x倍性能- 差异化能力贡献社区:CarbonData,海量数据毫秒级点查,数据分钟级更新,填补社区技术空白;Hetu,统一SQL、跨源跨域查询 核心能力提升 - 软硬结合等垂直协同优化- 高可用:首个支持单集群跨AZ的大数据服务 场景适用服务:MapReduce服务 MRS、 对象存储 服务 OBS

地理智能体地理智能体方案架构

2023-05-27 18:21:52

地理智能体 方案架构 华为云地理智能体Geogenius为开发者提供一站式全流程遥感智能开发云平台。AI开发是地理遥感数据开发的重要组成部分和前沿方向,Geogenius支持从数据准备、模型开发、模型训练的一站式AI流程,兼容业界主流引擎,兼容用户习惯,让AI开发变得更简单、更方便 架构优势 自主可控 系统基于华为云国产鲲鹏服务构建,具有自主可控、安全可靠的优势 灵活部署 根据客户条件、建设目标、实施阶段等差异,提供公有云、混合云和多云协同的灵活部署能力 数据安全 地面站数据通过VPN加密的隧道传输技术,确保数据上 云安全 可靠,云上 对象存储OBS 通过可信云认证,让数据存储安全放心 弹性伸缩 在业务高峰期,云主机、 云容器 等承载业务系统的资源可以快速弹性扩展,确保满足业务需求的同时将成本控制在最低 建议搭配使用:对象存储服务 OBS、 云容器引擎 CCE、 容器镜像服务 SWR、API网关 APIG、云数据库 MySQL、弹性 云服务器 ECS

地理智能体业务挑战

2023-05-27 18:21:52

数据获取慢、加工生产难 用户获取数据需通过数据中心进行订购、生产、下载,当天数据不能快速获取;遥感数据进行业务化应用需经过用户正射、镶嵌、匀色、融合等加工;用户需具备正射、镶嵌、匀色、融合等加工队伍,技术要求高、加工难度大 自建工作平台算力不足 传统自建工作平台投资高,很难满足海量存储访问、大量影像处理、模型和应用开发等业务峰值访问算力需求 人工作业效率低 遥感数据用于行业应用需要生成变化检测、目标识别、地物分类等高级服务,但是当前高级服务生成主要依赖行业专家人工勾画图斑生成结果,处理效果非常低下,无法满足业务时效性 行业应用软件购买成本高 从遥感数据处理加工到行业应用系统,需要用到各种各样的遥感业务软件,部分软件并非永久使用,采用一次买断的方式,对用户来说成本高、经济效益差

路网数字化服务什么是路网数字化服务

2023-05-27 18:21:52

路网数字化服务 通过 车路协同 、物联网等智能技术,打造人、车、路、云的全面协同,构建协作式的智慧交通,使能协同式的自动驾驶,给出行者提供更安全、更高效、更便捷的出行,给管理者提供全路段感知、全天候通行、全过程管控的智慧运营。 路网数字化服务是基于华为物联网服务,综合利用LTE-V/5G通信、高精度定位、 云计算 技术道路的数字化感知,向交通参与方提供信息,助力交通运行。 路网数字化服务提供以下功能: 建立交通事件,下发至路侧单元,路侧单元转发给车载单元。主要场景为车内标牌、恶劣天气类事件。 城市/区域交通实时监控,覆盖交通事故数、联接车辆数、拥堵路段、车型分布 、车流量、事故高发路段排行、在线设备数等重要指标。 RSU(Road Side Unit,路侧单元)等设备状态实时监控,帮助企业随时掌握设备情况,助力设备故障及时处理。 边云协同能力,可实现云上控制的路网数字化边缘服务的软件部署和更新。 数据存储和数据开放接口。

路网数字化服务产品优势

2023-05-27 18:21:52

路网数字化云服务 车路协同平台V2X Server,协作式智慧交通的调度中心 数据汇集:支持汇聚道路实时感知事件、实时车辆信息、实时目标物信息、红绿灯信号信息等,进行全局数据管理。 数据开放:支持全局感知事件、车辆V2X信息、传感数据等业务数据以及其他平台接入数据的开放;支持北向API调用及订阅推送两种方式,可供其他平台查询和调用数据。 设备模型:支持定义各种路侧设备的能力,为路侧设备提供边缘统一的设备模型。 设备接入:支持设备发放、认证、注册鉴权、配置、数据订阅、命令、数据存储归档服务等,保证合法设备相互通信以及传输信息的安全。 设备鉴权:支持一机一密、双向证书认证等多种认证方式,多种传输加密协议保障通道安全,数据隐私保护符合欧盟GDPR标准。 精准调度:支持边缘业务精准调度,结合全局事件推送规则配置,实现全局事件的精准推送和远距离推送。 事件融合:支持对于多个单点边缘感知计算单元上报的实时路况信息+事件进行融合分析,形成路段级的全局事件。 场景能力:支持的交通事件类型覆盖《合作式ITS车用通信系统应用层及应用数据交互标准》中所有的V2X事件。 边缘硬件:支持选用不同边缘硬件,包括基于鲲鹏、X86、ARM架构的各种硬件。 边缘运维:支持以标准化的方式管理边缘应用的版本、配置,进行边缘应用的远程部署、升级、状态监控。 边缘鉴权:提供边缘节点与云端服务的认证、边缘应用间访问鉴权。 数据存储:支持存储系统运行日志、多渠道获得的交通事件信息、车辆上报的结构化数据。 拓扑管理:支持RSU的网络拓扑管理。 路网数字化边缘服务 边缘计算节点V2X Edge,协作式智慧交通边缘感知分析节点 场景能力:支持多种车路协同感知事件场景,包括匝道/主路合流碰撞预警,隧道告警,事故预警,异常车辆预警,拥堵队尾识别提醒,前方拥堵提醒,交叉路口防碰撞预警,前向碰撞预警,行人碰撞预警,盲区变道预警,紧急制动预警,逆向倒车预警,逆向超车预警,停车占道预警,故障车辆预警,急加速提醒,急减速提醒,急转弯提醒,车辆超速预警,大货车预警等。 边缘运维:支持以标准化的方式管理边缘事件算法,进行远程部署实现边缘算法可管理、事件能力可感知、远程运维可升级。 设备接入:支持接入路侧摄像机、毫米波雷达等满足行业标准的多厂商设备数据,满足各类设备和接入场景要求。 设备模型:支持定义各种路侧设备的能力,为路侧设备提供边缘统一的设备模型。 事件分析:支持实时分析生成应用场景需要的事件,满足行业标准要求的端到端时延。 通信分发:支持边缘事件本地通过通信转发单元进行广播;支持事件上报车路协同云平台。 算法部署:支持通过云端加载算法部署至路侧边缘感知计算单元,可升级、可管理。 边缘鉴权:提供路侧边缘感知计算单元与车路协同云端服务的认证、边缘应用间访问鉴权。 第三方算法管理:支持加载符合路侧边缘感知计算单元边云协同管理的事件第三方算法。 感知融合:支持实时融合分析路侧摄像机、毫米波雷达等路侧传感器数据,并输出结构化数据。 拓扑管理:支持RSU的网络拓扑管理。

设备管理注册设备

2023-05-27 18:21:52

1、在管理控制台页面,选择左侧导航栏“设备 > 所有设备”,单击页面右上角的“注册设备”。 2、根据页面提示信息填写参数,然后单击“确定”。 所属资源空间:确保和步骤1创建的产品归属在同一个资源空间。 所属产品:选择步骤2创建的产品。 设备标识码:即nodeID,设备唯一物理标识。可自定义,由英文字母和数字组成。 设备名称:即device_name,可自定义,如streetlight。 设备认证类型:选择“密钥”。 密钥:此处不填写, 物联网平台 会自动生成。 成功注册设备后,平台会自动生成设备ID和密钥,请妥善保管好设备ID(deviceId)和密钥(deviceSecret),用于设备接入。

设备接入设备连接

2023-05-27 18:21:52

支持多网络、多协议接入,提供多场景多语言的IoT Device SDK,屏蔽物联网碎片化,实现设备快速接入 多种接入方式 支持设备直接接入到平台或者通过网关/边缘接入平台,提升设备接入灵活性 多网络接入 支持不同网络的设备连接,如固网、2/3/4G、5G、NB-IoT、LoRa等网络 多协议接入 支持多种通信协议接入:如MQTT、CoAP、LWM2M、HTTP、Modbus、OPCUA 基于TCP/UDP的私有协议,可通过在云端部署云网关方式接入 设备安全接入 支持一机一密、X509双向证书认证,降低设备接入风险;基于TLS、DTLS加密协议,提供安全的传输通道

IoT边缘功能描述

2023-05-27 18:21:52

IoT边缘联接 多设备多协议接入能力,提供设备接入框架,终结多种 私有云 协议和数据模型,统一定义到云平台,并推送到边缘,提升设备效率和减低集成成本 IoT实时闭环 极大程度提升实时的用户体验, 关键通信的端到端最低应用时延,保障业务连续性及可靠性 IoT边缘智能 云端分析模型,规则引擎推送下行到边缘节点,边缘执行获得最大限度实时智能响应。边缘数据缓存并根据网络空闲时间上行至云平台,提供数据汇聚和优化分析训练使用 IoT数据清洗 边缘节点主要负责现场/终端数据的采集,按照规则或数据模型对数据进行初步处理与分析,最终将结果予以上报,极大降低上行数据带宽要求。云平台提供海量数据的存储、分析与价值挖掘。边缘与云的数据协同,支持数据在边缘与云之间可控有序流动

路网数字化服务产品功能

2023-05-27 18:21:52

业务监控 提供交通信息的实时监控能力 设备管理 可接入和管理智能边缘计算节点、RSU、摄像头、雷达等设备 事件管理 可管理超过200种类型的交通事件,并根据事件位置和影响范围,将事件传输给各交通参与者 设备标定 标定摄像头和雷达的环境参数 算法管理 在线更新边缘智能算法 API开放 提供交通数据、设备运行数据等北向数据开放接口 数据存储 交通数据最高可存储5年

共11338条