数据治理中心 DataArts Studio应用场景一:一站式的数据运营治理平台

数据治理中心 DataArts Studio应用场景一:一站式的数据运营治理平台

从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析,一站式数据智能运营平台,数据治理中心 DataArts Studio帮助企业快速构建数据运营能力。

  • 多种云服务作业编排
  • 全链路数据治理管控
  • 丰富数据引擎支持
  • 支持对接所有华为云的数据湖与数据库云服务,也支持对接企业传统数据仓库,比如Oracle等。

  • 简单易用
  • 图形化编排,即开即用,轻松上手。

数据治理中心 DataArts Studio应用场景二:云上数据平台快速搭建

数据治理中心 DataArts Studio应用场景二:云上数据平台快速搭建

快速将线下数据迁移上云,将数据集成到云上大数据服务中,并在数据治理中心 DataArts Studio的界面中就可以进行快速的数据开发工作,让企业数据体系的建设变得如此简单。


  • 数据集成一键式操作
  • 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。

  • 支持多种数仓服务类型
  • 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。

  • 安全稳定、降低成本
  • 一站式的服务能力和稳定的数仓服务,让云上数据万无一失;免自建大数据集群、免运维,极大降低企业建设数仓成本。

数据治理中心 DataArts Studio应用场景三:基于行业领域知识库快速构建数据中台

数据治理中心 DataArts Studio应用场景三:基于行业领域知识库快速构建数据中台

通过应用华为在企业业务领域积累的丰富的行业领域模型和算法,帮助企业构建数据中台,快速提升数据运营能力。

  • 多行业支持
  • 覆盖政务/税务/城市/交通/园区等各行业。


  • 标准规范支持
  • 支持分层结构的行业数据标准。


  • 领域模型丰富
  • 支持包含人员/组织/事件/时空/车辆/资产/设备/资源等八大类数据以及相互之间关系的行业领域模型。


  • 快速应用行业库
  • 支持快速应用的行业主题库、行业算法库、行业指标库。


  • 周期调度依赖策略 数据治理中心

    传统周期调度依赖

    自然周期调度依赖

    作业依赖详解

    传统周期调度依赖、自然周期调度依赖、作业依赖详解

  • IF条件判断教程 数据治理中心

    当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。

    当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。

  • 获取Rest Client节点返回值教程

    Rest Client节点可执行华为云内的Restful请求

    本教程主要介绍如何获取Rest Client的返回值

    本小节包含以下两个使用场景举例。

    Rest Client节点可以执行华为云内的RESTful请求

    本教程主要介绍如何获取Rest Client的返回值

    本小节包含以下两个使用场景举例。

  • For Each节点使用介绍 热销

    当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。

    当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。

  • 跨空间进行作业调度 数据治理中心

    不同空间用户只能操作本空间的作业。但不同的工作空间之间的作业如果存在依赖关系,可参见本教程实现跨空间作业调度。

    不同空间用户只能操作本空间的作业。但不同的工作空间之间的作业如果存在依赖关系,可参见本教程实现跨空间作业调度。

  • 如何授权其他用户使用该服务 HOT

    项目管理员可以创建一个自定义角色,并赋予该角色相关的操作权限,既能满足实际业务使用,也避免了权限过大的风险。

    项目管理员可以创建一个自定义角色,并赋予该角色相关的操作权限,既能满足实际业务使用,也避免了权限过大的风险。

  • 如何查看表行数和库大小 数据治理中心

    在数据治理流程中,经常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看。

    在数据治理流程中,经常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看。

  • 通过数据开发使用参数传递灵活调度CDM作业 数据治理中心

    如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。

    如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。

  • 基于MRS Hive表构建图数据并自动导入GES 数据治理中心

    您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据定期导入到GES服务中,并对数据进行可视化图形分析。

    您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据定期导入到GES服务中,并对数据进行可视化图形分析。

  • 搭建实时报警平台 数据治理中心

    在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。

    在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。

  • 车联网大数据业务上云 数据治理中心

    为搭建公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM助力公司做到代码“0”改动、数据“0”丢失迁移上云。

    为搭建公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM助力公司做到代码“0”改动、数据“0”丢失迁移上云。

  • 贸易数据统计与分析 数据治理中心

    使用云数据迁移CDM将本地贸易统计数据导入到OBS,再使用数据湖探索DLI进行贸易统计分析,帮助咨询公司以极简、极低成本构建其大数据分析平台,使得公司更好地聚焦业务。

    使用云数据迁移CDM将本地贸易统计数据导入到OBS,再使用数据湖探索DLI进行贸易统计分析,帮助咨询公司以极简、极低成本构建其大数据分析平台,使得公司更好地聚焦业务。

  • 数据开发可以创建多少个作业,作业中的节点数是否有限制?

    目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。

    另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。

  • 打不开作业日志,返回404报错?

    作业日志在OBS桶中存储,您需要先在工作空间中配置作业日志的桶目录,然后确认当前账户是否具有OBS读权限(可以通过检查IAM中OBS权限、OBS桶策略来确认)。

    说明:OBS路径仅支持OBS桶,不支持并行文件系统。

    配置作业日志的桶目录的步骤操作如下:

    1.使用DAYU Administrator或管理员帐号进入DataArts Studio控制台。

    2.单击控制台的“空间管理”页签,进入工作空间页面。

    3.单击待修改工作空间对应的“编辑”按钮。

    4.在空间信息页面中,单击空间信息后 的“编辑”,该空间信息置于可编辑状态。

    5.单击作业日志OBS路径后的“请选择”按钮,重新选择日志存储路径,可选择某个具体的目录。

    6.修改完成后,单击“保存”,即完成作业日志存储路径的自定义修改。

    说明:用户在创建作业时,会默认创建dlf-log-{projectID}命名的桶,此桶若存在,会跳过创建。

  • 作业配置了周期调度,但是实例监控没有作业运行调度记录?


    1.在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。

    2.如果作业有依赖于其他作业,在“运维调度 > 实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时间窗口,查看是否当前作业历史实例失败,导致作业在等待运行,而没有生成新作业实例。

  • 数据开发创建数据连接,为什么选不到指定的周边资源?

    请确认当前DataArts Studio实例与周边资源在同一个Region且在同一个IAM项目下。如果账户开通企业项目,则还需在同一个企业项目下。

  • 数据开发节点运行中报TOKEN不合法?

    请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更?

    如果有变更,请重新登录即可解决。

  • 查看作业日志,但是日志中没有内容?

    问题描述

    查看作业日志,日志中没有内容。

    原因分析

    已在工作空间中配置作业日志的桶目录的前提下,确认用户在IAM中的OBS权限是否具有对象存储服务(OBS)的全局权限,保证用户能够创建桶和操作桶。

    解决方案

    方式1:用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。

    说明:OBS路径仅支持OBS桶,不支持并行文件系统。

    方式2:在IAM用户权限中增加全局OBS管理员权限。

  • 为什么执行完HIVE任务什么结果都不显示?

    解决方案:清理缓存数据,采用直连方式,数据就可以显示出来了。

  • 作业的计划时间和开始时间相差大,是什么原因?

    在作业监控页面查看作业运行记录时,发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。

    这是因为在数据开发中,单个作业最多允许5个实例并行执行,如果作业实际执行时间大于作业配置的调度周期,会导致后面批次的作业实例堆积,从而出现上述问题。

    出现上述问题时,请检查作业配置的调度周期是否小于作业实际执行所需要的时间,根据实际情况调整作业的调度计划。

  • 配置了SMN通知,却收不到作业失败告警通知?

    在“运维调度 > 通知管理”中配置了作业异常/失败的SMN通知,但却收不到作业失败的告警通知。

    此时可按以下步骤依次排查:

    1.确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。

    2.在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。

    3.登录SMN页面,排查对应的SMN主题是否有被订阅。

    4.排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。

    5.SMN通道异常。可通过在SMN界面中给自己的主题直接发送消息,判断能否收到SMN的通知。

  • 执行DLI脚本,报Invalid authentication怎么办?

    请确认当前用户在IAM中是否具有DLI Service User 或者 DLI Service Admin权限。