华为云用户手册

  • 开源镜像站 MIRRORS-查看华为开源镜像站:功能简介
    功能简介 访问华为开源镜像站。 进入“华为开源镜像站”总览页面，查看镜像列表。 支持在搜索框中输入关键字进行搜索。 支持按“下载”、“点赞”、“收藏”、“最新”、“首字母”进行综合排序。 支持按“华为生态专区”、“语言类”、“工具类”、“操作系统类”、“容器类”、“X86类”、“ARM类”进行分类。 支持repository、npm和pypi组件搜索。 单击“了解DevCloud”，可以进入软件开发生产线产品首页，了解产品详情。 单击“前往论坛”，可以进入华为云社区论坛-开源镜像站服务板块。 单击“下载OS镜像”，可以快速获取操作系统的安装镜像。 单击目标镜像卡片，根据弹出界面描述进行相关操作，可以配置使用或者下载镜像源。
    开源镜像站 MIRRORS
  • 开源镜像站 MIRRORS-常用开发工具类镜像
    常用开发工具类镜像 介绍常用开发工具类镜像加速下载操作步骤。 进入开源镜像站首页。 选择“工具类”，筛选镜像；或者直接搜索目标镜像。 单击镜像名称或者卡片所在区域，根据弹出界面描述配置使用工具包；或者跳转至下载目录页面，下载工具包。 以ChromeDriver为例，如图1所示。 图1 配置说明 根据界面使用说明，可以配置ChromeDriver镜像源。 单击chromedriver镜像地址，可以跳转至下载目录页面，请根据需要下载对应版本的ChromeDriver软件包。 手动安装：chromedriver的镜像地址为：https://repo.huaweicloud.com/chromedriver/，手动下载请访问该地址。请根据您的需要选择性安装。 使用npm安装： npm config set chromedriver_cdnurl https://repo.huaweicloud.com/chromedriver/ npm install chromedriver 父主题： 使用与配置华为云开源镜像
    开源镜像站 MIRRORS 使用与配置华为云开源镜像
  • 云搜索服务 CSS-（可选）服务授权:场景描述
    场景描述 当使用OpenDistro告警插件（opendistro_alerting）时，ElasticSearch集群需要通过消息通知服务SMN进行消息通知，此时需要配置服务授权。OpenDistro告警插件的使用指导请参见使用OpenDistro告警插件。 服务授权指的是委托云搜索服务CSS代为使用其他云资源的权限，例如授权CSS服务使用SMN服务的资源，让CSS的集群可以使用SMN发送消息通知。
    云搜索服务 CSS
  • 云搜索服务 CSS-启动检测任务:操作步骤
    操作步骤 登录云搜索服务管理控制台。 在集群管理页面，单击需要进行智能运维的集群名称，跳转至该集群基本信息页面。 选择“智能运维”。 在智能运维列表页面，单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息，单击“确定”。 表1 检测任务基本信息说明 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN主题 如果勾选“任务完成后发送SMN告警”，可选择当前账号已创建的SMN主题。 如果未创建SMN主题，请先前往SMN服务创建主题。 告警灵敏度 如果勾选“任务完成后发送SMN告警”，可选择告警灵敏度。 检测到的风险项存在大于等于此风险敏感度的条目，则发送SMN告警消息，消息内容则包含所有风险项。 创建检测任务后，可在智能运维列表查看新创建的检测任务。
    云搜索服务 CSS 智能运维
  • 云消息服务 KOOMESSAGE-智能信息模板审核时间
    智能信息模板审核时间 KooMessage运营审核时段为法定工作日的9:00-18:00，周末及节假日不进行审核。 如有加急或特殊需求，请联系运营团队。 不同厂商智能信息模板审核时间段有所差异，具体请参考表1。 表1 不同厂商智能信息模板审核时间 厂商 智能信息模板审核时间段 华为终端厂商 工作日：9:00-18:00 小米终端厂商 工作日：10:00-18:00 OPPO终端厂商 工作日：10:00-18:00 VIVO终端厂商 工作日：10:00-18:00 魅族终端厂商 工作日：9:00-18:00 父主题： 智能信息模板制作规范
    云消息服务 KOOMESSAGE
  • 云消息服务 KOOMESSAGE-智能信息模板有哪些
    智能信息模板有哪些 本章节详述当前智能信息支持的模板类型，不同模板类型适用不同场景。请商家基于内容，匹配合适的模板使用。模板需按照具体的规格要求提交素材，审核通过后才可以进行使用，不同的厂商对同一个模板的规格要求会略有不同，但多方仍在努力统一规范，以及持续丰富更多新版式，覆盖更多厂商。 目前可选的版式有：通知类（6种）、图文、红包、长文本、多图文、单卡券、多卡券、图片轮播、个性化红包、电商、横滑、电商（多商品）、视频、视频图文、图文视频等。 不同模板类型适用不同场景，每个版式在一定的限制范围内，又可以有不同的样式。 图1 智能信息模板示例 父主题： 智能信息模板制作规范
    云消息服务 KOOMESSAGE 智能信息模板制作规范
  • 云消息服务 KOOMESSAGE-智能信息所需资料及资质审核规范:智能信息入网所需材料准备
    智能信息入网所需材料准备 表1 智能信息入网所需材料 智能信息所需资料 AIM AIM+ 是否加盖公章 是否可添加水印 营业执照复印件（三证合一9开头） √ √ √ × 智能信息及富媒体消息类业务素材承诺函 √ √ √ √ 经办人身份证复印件（正反面） √ × √ √ 经办人手持身份证照片拍照 √ × × √ 经办人授权书 √ × √ √ 签名说明书 √ × √ √ 签名授权函 √ × √ √ 公司关系授权函 （如果签名跟企业名称不符，需提供“公司关系授权函”及其他签名证明材料） 根据需要提供 根据需要提供 √ √ 七大类（房产/互金/投资/移民/教育/培训/社交）以及游戏等行业需根据实际发送内容进行额外资质提供。
    云消息服务 KOOMESSAGE KooMessage资质审核
  • 云消息服务 KOOMESSAGE-智能信息所需资料及资质审核规范:资质审核规范
    资质审核规范 企业单位营业执照的扫描件，企业单位信息应当可在全国企业信用信息公示系统查询； 事业单位法人证书和组织机构代码证的扫描件，社会团体法人登记证和组织机构代码证的扫描件，组织机构代码证应当在全国组织机构代码管理中心查询； 营业执照复印件文档可添加备注，例如“仅限华为云审核专用”； 复印件需保持完整，不可有遮挡、覆盖等影响材料完整的行为； 不可更改文件内容，否则视为无效； 经办人身份证复印件和经办人手持身份证照片拍照应与经办人授权书主体保持一致； 资质审核文件内公司署名与签署日期为必填项，否则视为无效； 公司关系授权函为发送内容涉及两家或两家以上企业，需要授权方与被授权方加盖公章，并承诺上线合作的品牌、业务、产品运营均取得合法有效授权，内容合法合规； A-B原则，如果投放主体为A，原则上只能投放自有业务，B为A的合作企业、投放主体A的子业务，因合作需要或联合活动业务，在B业务或B业务授权的前提下，可通过主体A发送B业务。具体投放一事一议； 投放主体提供的资质各项证书期限应涵盖智能信息内容的投放期限及产品、服务的提供期限；投放主体提供的主体经营范围应涵盖在KooMessage待推广的业务及产品中。
    云消息服务 KOOMESSAGE KooMessage资质审核
  • AI开发平台MODELARTS-Step3 调试新镜像:新镜像调试操作
    新镜像调试操作 使用命令ma-cli image debug --swr-path=[OPTIONS] SWR-PATH调试镜像。 ma-cli image debug --swr-path=swr.cn-north-4.myhuaweicloud.com/sdk-test/pytorch_1_8:v2 --service=NOTEBOOK --region=cn-north-4 该命令调试镜像swr.cn-north-4.myhuaweicloud.com/sdk-test/pytorch_1_8:v2，--service参数指定该镜像提供Notebook服务，--region指定待调试镜像所在区域。 命令执行后，首先会停止上一次调试相同镜像时已经启动的容器，再进行一些准备工作，最后运行目标镜像，启动一个新容器，并打印相关指令，帮助用户进一步调试新镜像，输出信息如下图所示。 图2 调试镜像 该命令的详细信息请参考ma-cli命令介绍中的调试镜像。
    AI开发平台MODELARTS
  • AI开发平台MODELARTS-Step2 制作自定义镜像:查询基础镜像（第三方镜像可跳过此步骤）
    查询基础镜像（第三方镜像可跳过此步骤） 首先配置鉴权信息，帐号、用户名、密码和局点。更多信息请查看配置登录信息。 ma-cli configure 执行后会提示用户输入信息，使用IAM用户登录的方式登录，请注意输入的password信息会被隐藏。 图1 配置鉴权信息 然后使用以下命令查询当前帐号可访问的所有镜像并展示镜像的详细信息。该命令的更多信息请参考查询镜像。 ma-cli image get-image --type=BUILD_IN -v 查询结果如图2所示。 图2 查询基础镜像
    AI开发平台MODELARTS
  • AI开发平台MODELARTS-Step2 制作自定义镜像:制作新镜像
    制作新镜像 连接容器镜像服务。 登录容器镜像服务控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 图3 获取登录指令 此处生成的登录指令有效期为24小时，若需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址，请记录该地址，后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。 登录成功会显示“Login Succeeded”。 拉取基础镜像或第三方镜像（此处以基础镜像举例，第三方镜像直接替换镜像地址）。 拉取步骤3 查询基础镜像中查询到的镜像或ModelArts提供的公共镜像（请参考预置镜像）。 docker pull swr.cn-north-4.myhuaweicloud.com/atelier/notebook2.0-pytorch-1.4-kernel-cp37:3.3.3-release-v1-20220114 也可以拉取其他的镜像，但如果在图2中，VIS字段是“PRIVATE”，则首先要执行SWR登录命令，再进行拉取。如何登录请参考登录SWR。 编写Dockerfile 本例的Dockerfile将基于PyTorch基础镜像安装pytorch 1.8, ffmpeg 3和gcc 8，构建一个面向AI任务的镜像。 Dockerfile的具体内容可参考Dockerfile文件（基础镜像为ModelArts提供）。 如果使用的基础镜像不是ModelArts提供的公共镜像，需要在Dockerfile文件中添加ModelArts指定的用户和用户组，具体可参考Dockerfile文件（基础镜像为非Model...。 构建镜像 使用docker build命令从Dockerfile构建出一个新镜像。命令参数解释如下： “-t” 指定了新的镜像地址，包括{局点信息}/{组织名称}/{镜像名称}:{版本名称}，请根据实际填写。建议使用完整的swr地址，因为后续的调试和注册需要使用。 “-f ”指定了Dockerfile的文件名，根据实际填写。 最后的“ . ”指定了构建的上下文是当前目录，根据实际填写。 docker build -t swr.cn-north-4.myhuaweicloud.com/sdk-test/pytorch_1_8:v2 -f Dockerfile .
    AI开发平台MODELARTS
  • AI开发平台MODELARTS-使用场景和构建流程说明
    使用场景和构建流程说明 用户在使用ModelArts开发环境时，经常需要对开发环境进行一些改造，如安装、升级或卸载一些包。但是某些包的安装升级需要root权限，运行中的Notebook实例中无root权限，所以在Notebook实例中安装需要root权限的软件，这一点在预置的开发环境镜像中是无法实现的。 此时，用户可以使用ModelArts提供的基础镜像或第三方的镜像来编写Dockerfile，构建出完全适合自己的镜像。进一步可以调试该镜像，确保改造后的镜像能够在ModelArts服务中正常使用。最终将镜像进行注册，用以创建新的开发环境，满足自己的业务需求。 本案例将基于ModelArts提供的PyTorch基础镜像，安装pytorch 1.8, ffmpeg 3和gcc 8，构建一个面向AI开发的新环境，并借助ma_cli(请参考ma-cli介绍)调试和注册，确保可以成功创建新的开发环境。 主要流程如下图所示： 图1 构建与调测镜像流程 本案例适用于华为云-北京四Region。 父主题： 在ECS上构建自定义镜像并在Notebook中使用
    AI开发平台MODELARTS 在ECS上构建自定义镜像并在Notebook中使用
  • 数据管理与分析-功能列表
    功能列表 表1 数据生命周期平台功能列表 软件名称 数据生命周期平台 总览 资产数据、归档数据、销毁数据及归档任务统计信息 数据源管理 创建、维护数据归档的目标数据源 数据归档管理-归档推荐 推荐用户进行归档的列表清单 数据归档管理-数据归档 查看数据资产，对所属领域的资产进行归档操作 数据归档管理-归档销毁清单 查看任务归档信息，销毁已归档成功的源数据 系统管理 管理员对系统的用户、菜单、角色和租户进行管理和维护 父主题： 数据生命周期平台操作手册
    数据管理与分析
  • 数据管理与分析-用户管理
    用户管理 图1 用户管理 用户分为三个角色：系统管理员/数据管家/普通用户 系统管理员：项目初始化角色不可编辑 数据管家：该角色只能系统管理员来创建，该角色拥有元数据管理平台上数据的查询和编辑权限 普通用户：系统管理员和数据管家都可以创建该角色，该角色只具备元数据管理平台数据查询权限 图2 新建用户 图3 编辑用户 图4 编辑用户信息 图5 删除用户 图6 数据源 图7 新增数据源 图8 录入数据源信息 图9 编辑数据源 父主题： 元数据用户操作手册
    数据管理与分析
  • 数据管理与分析-资产注册
    资产注册 通过逻辑实体与技术资产的关系注册，明确技术资产对应的逻辑实体、业务对象、主题域、主题域组，并定义属性与字段的关系、每个属性的密级和隐私，来确保数据的安全性。 关系注册：注册主题域组、业务对象、逻辑实体与技术资产之间的关系。 图1 关系注册 关系清单：查看/修改/批量导出已注册的关系清单和属性关系，并能新增/批量注册/删除/批量删除关系 图2 关系清单 新增注册：跳转至关系注册页面 批量注册：批量关系注册信息填入模板后上传，完成批量注册。 图3 批量注册 导出：导出勾选的关系清单到本地。 批量删除：批量删除所勾选的关系清单，默认置灰。 搜索：对逻辑实体名称进行模糊搜索。 修改：跳转至关系注册页面进行修改。 删除：删除单个关系清单。 属性关系：展示已注册关系的逻辑实体中的字段属性描述。 图4 属性关系 父主题： 数据地图平台操作手册
    数据管理与分析
  • 数据管理与分析-适配器
    适配器 新增适配器信息 适配器名称：必填 适配器编码：必填 不能重复 适配器类型：单选（MYSQL/ORACLE/POSTGRES/MSSQL） 类脚本：选填 图1 适配器 可以对已经创建好的适配器信息进行编辑，字段校验规则参考新增。 修改特殊处理规则： 新增适配器脚本时，如果该适配器已经创建了采集任务，所有已经创建的采集任务及对应的子任务都需要重新部署 修改已经存在的适配器脚本，该适配器对应的所有的采集任务中对应的可执行脚本命令需要重新生成，但不影响本生采集任务的部署状态 图2 适配器编辑 父主题： 元数据用户操作手册
    数据管理与分析
  • 数据管理与分析-资源和成本规划
    资源和成本规划 表1 资源和成本规划 云资源 规格 数量 每月费用（元） VPC 网段选择172.16.0.0/16，其他采用默认配置 1 00.00 Subnet 网段选择172.16.0.0/24，其他采用默认配置 1 00.00 安全组 根据需要开通入方向3306等端口 1 00.00 DGC 企业版：5,000次/天的数据开发调度，附带8作业并发， 最大1.5Gbps带宽的数据集成能力，并且支持管理5,000个技术资产、100个数据模型。 1 2,00000.00 ECS X86计算 | 通用计算型 | s3.xlarge.2 | 4核 | 8GB; 通用型SSD | 40GB 2 3323.00 CDM cdm.xlarge; 16核/32GB | 10/4 Gbit/s | 32 并发任务 1 26780.00 DWS dwsx2.2xlarge.m7|云数仓|X86|8 vCPUs | 64 GB * 3 节点; 1000 GB * 2 （副本） * 3 节点 1 155069.28 总计：385172.28
    数据管理与分析
  • 数据管理与分析-资产注册:关系清单
    关系清单 查看/修改/批量导出已注册的关系清单和属性关系，并能新增注册/批量注册/删除/批量删除属性关系。 图2 关系清单 新增注册：跳转至关系注册页面 批量注册：批量关系注册信息填入模板后上传，完成批量注册。 图3 批量注册 导出：导出勾选的关系清单到本地 批量删除：批量删除所勾选的关系清单，默认置灰。 搜索：对逻辑实体/物理表名称进行模糊搜索。 修改：跳转至关系注册页面进行修改。 删除：删除单个关系清单。 属性关系：展示已注册关系的逻辑实体中的字段属性描述。 图4 属性关系
    数据管理与分析
  • 数据管理与分析-功能列表
    功能列表 表1 数据地图平台功能列表 软件名称 数据地图(Dmap) 数据全景 输入关键字，搜索技术资产/业务资产信息；展示主题域分组 数据全景-元数据列表 展示全部主题域分组，以及主题域分组下的主题域、业务对象和逻辑实体 数据全景-业务对象详情 查看业务对象的详细信息 数据全景-逻辑实体详情 查看、评论逻辑实体的详细信息，查看样例数据 数据全景-技术资产详情 查看、评论技术资产的详细信息 资产注册-关系注册 注册逻辑实体与技术资产的关系 资产注册-关系清单 查询已经注册的关系清单，提供修改删除导出功能 数据质量 对数据质量问题，可以提交审核 标签管理-标签管理 提供标签创建删除置失效功能 标签管理-资产标签 查询已经打上标签的资产 系统管理-我已审批 用户已参与过的电子流信息 系统管理-我的申请 用户发起申请的电子流 系统管理-我的待办 待用户处理的电子流 系统管理-用户管理 新增、维护、删除系统用户，查看系统用户信息 父主题： 数据地图平台操作手册
    数据管理与分析
  • 数据管理与分析-物理模型:物理表操作
    物理表操作 新增物理表 选中页面左侧物理模型树最末级节点（“schema”节点），右侧表格上出现“新增物理表”按钮。 单击“新增物理表”按钮，跳转进入新增物理表页面。 填写表信息，新增字段，单击“提交”按钮完成操作。 图6 新增物理表 图7 填写物理表信息 编辑物理表：单击右侧表格中的“编辑”，跳转进入编辑物理表页面。 图8 编辑物理表-1 图9 编辑物理表-2 批量导入：批量物理表信息填入下载的模板后上传，完成批量导入。 图10 批量导入-1 图11 批量导入-2 批量删除：批量删除所勾选的物理表，默认置灰。 图12 批量删除
    数据管理与分析
  • 数据管理与分析-功能列表
    功能列表 表1 元数据功能列表 软件名称 元数据 用户管理 管理员用于创建和维护平台的用户信息，并分配响应的角色 数据源 用于管理企业的数据库连接信息 模型架构 为元数据采集制定标准的模型框架 适配器 适配不同的关系型数据库，针对不同的模型架构制定不同的采集脚本 采集任务 创建元数据的采集任务，从不同的数据源中根据不同的模型和适配器，采集所需的元数据信息，包括过程中的数据实体（系统、库、表、字段的描述） 父主题： 元数据用户操作手册
    数据管理与分析
  • 数据管理与分析-功能列表
    功能列表 表1 DataLab功能列表 软件名称 DataLab 软件功能项 功能描述 portal登录 用户登录/退出、产品宣传视频、产品介绍 总览 展示登录用户所属租户基本信息、所属租户运营指标、所属租户最近操作资产清单列表、帮助文档列表、当前租户管理员基本信息 数据源 新建/编辑/删除数据源、数据源搜索、数据源树状展示 数据集 在线数据源导入数据集、离线本地文件导入数据集、编辑/删除数据集、数据集搜索、数据集树状展示 数据探索 拖拉组件进行数据集关联、关联关系配置、查看SQL、编写SQL代码进行数据集关联、数据校验、数据预览、结果导出、数据模型草稿保存、数据模型部署 可视化图表 图表列表展示、图表搜索、图表基本信息编辑/修改、批量删除图表、图表授权、新建/编辑/删除图表、图表随配置条件的变化联动、查询结果查看、数据样本查看、图表个性化设置、图表保存 可视化看板 新建看板、拖拉组件布局看板、拖拉图表制作看板、看板保存、看板发布、另存为看板、分享看板、刷新看板、设置看板自动刷新频率、编辑看板属性、编辑CSS样式、图片下载、全屏展示 租户管理 租户列表展示、租户信息查看/编辑、新建/冻结/续租/删除租户、给租户授权 用户管理 用户列表展示、用户信息查看/编辑、新建/冻结/删除用户、给用户分配角色 父主题： DataLab用户手册
    数据管理与分析
  • 数据管理与分析-数据探索
    数据探索 数据探索通过关联加工数据集，进行数据建模。数据建模有界面开发和sql开发两种方式。 图1 数据探索 界面开发：界面开发采用拖拽方式，把来自不同数据源的数据集进行关联。不用编写代码，就能轻松完成数据集的关联查询与分析。 图2 界面开发 通过关联关系配置，实现不同的应用场景。 图3 关系配置-1 可以对关联加工后的数据模型进行数据预览，结果导出。 图4 关系配置-2 SQL开发：SQL开发针对IT人员，提供编写代码的方式对数据集进行逻辑加工，同样支持数据预览，结果导出。 图5 SQL开发 父主题： DataLab用户手册
    数据管理与分析
  • 数据管理与分析-功能列表
    功能列表 表1 数据集成平台功能列表 软件名称 数据集成平台 软件功能项 功能描述 portal登录 用户登录/退出、产品宣传视频、产品介绍 首页 产品优势介绍，应用场景，功能说明以及帮助文档 总览 集成任务数据分析以及时间轴线统计 数据源 新建/编辑/删除数据源、数据源搜索、数据源树状展示 离线集成 集成全量，增量任务，并支持自定义SQL，生成集成任务 实时集成 实时集成任务编写提交，生成实时任务 集成任务 集成任务管理页面，针对集成任务订单部署，停止订单，导出列表数据，支持任务ID，任务名称，数据源条件搜索 调度管理 集成任务订单对应调度管理页面，可手工启动停止，手工触发调度，并传入时间范围。也可以查看历史调度和操作记录 实时监控 实时任务订单对应调度管理页面，可手工启动停止，手工触发部署，支持历史记录查看 父主题： 数据集成平台操作手册
    数据管理与分析
  • 数据管理与分析-采集任务
    采集任务 图1 采集任务 图2 新增采集任务 图3 录入采集任务信息 任务名称：必填 不可重复 描述：选填 数据源：必填 选择已经存在的数据源 模型名称：必填 选择已经存在的模型 适配器：必填 选择模型下存在的适配器 开始执行时间：必填 采集任务首次开始执行时间 调度周期：必填 采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度 调度失败的子任务可以重新调度 图10 子任务历史调度查询-1 图11 子任务历史调度查询-2 调度历史列表中，可以查看每次调度运行的详细日志信息，日志信息如下： 图12 日志信息 父主题： 元数据用户操作手册
    数据管理与分析 元数据用户操作手册
  • 数据管理与分析-数据集成:离线集成
    离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增 源数据源：为2.3页签数据源，可以单击新增保存新数据源，并且选择数据源后可以单击查看，数据源的相关信息 目标数据源：要部署到的目标库数据源，为2.3页签数据源 目标表名：为用户手工输入，用户填写有效目标表名后，部署环节会在目标库，schema下面自动建表 是否自定义SQL：用户可以自定义初始化，周期任务条件，填写完后必须单击校验且通过方可流转到下一步骤 选择否：为默认的全量，增量初始化和周期任务条件 选择是：用户可以自定义初始化，周期任务SQL条件。 参数设置 单击新增，支持常量模式和SQL模式，相当于定义全局变量，可以写入条件sql，用全局变量的方式填入到初始化和周期任务sql里面。 图4 参数设置 图5 参数类型 部署方式为全量，初始化抽取SQL为用户必填 图6 部署方式-全量 部署方式为增量，初始化sql，增量抽取SQL为必填 图7 部署方式-增量 MAPPING映射 页面输入源库，schema，表数据后会带出来源表字段，用户可勾选要部署字段并校验通过。支持复制字段，全部字段和部分字段部署集成功能。 图8 MAPPING映射 集成模式 支持离线全量和离线增量集成 图9 集成模式 集成调度 支持自定义集成时间范围和调度时间。 图10 集成调度 非结构化集成 请求接口方式，集成非结构化任务。 图11 非结构化集成 类型：目前支持API拉取，必填 任务名称：自定义任务名称，必填 增量模式：模式分全量和增量，必填 API地址：请求API地址，必填 请求类型：目前支持GET，POST请求，必填。 内容类型：下拉框选择Application/json，必填。 超时时间：单位ms，非必填，设置超时时间。 一天多调：选择范围为1，2，3，分别对应每天定时调度频率，必填。 认证：下拉框选择范围为No Auth，Sgov，Basic Auth三种认证方式，必填。 请求参数：自定义请求参数，分静态参数和动态参数，支持删除。 图12 请求参数 测试：在线校验，并提示校验结果。
    数据管理与分析 数据集成平台操作手册
  • 数据管理与分析-数据集成:实时集成
    实时集成 实时集成方式任务，源端数据变化实时同步到目标端。 集成作业 图13 集成作业-1 图14 集成作业-2 任务名称：自定义任务名称 源数据源：选择2.3步骤数据源，支持在线新增和查看。 源schema：跟据源数据源，选择源端schema，选择了数据源之后自动带出 源表名：选择源数据源和源schema后，填写源表，存在提示源端表数据 目标数据源：选择目标端数据源 目标schema：选择目标端数据源后自动带出 目标表名：自定义目标表名，存在同名校验。 MAPPING映射 填写完实时任务参数数据，根据源表字段，可勾选要集成字段，并在线校验。 图15 MAPPING映射
    数据管理与分析 数据集成平台操作手册
  • 数据管理与分析-数据集成:集成任务
    集成任务 结构化集成 图16 结构化集成 新建：用户操作后跳转页面，新建集成结构化集成任务 部署：结构化集成任务订单部署任务，正在部署或者部署完成订单不可操作部署。 重新部署：针对订单部署失败订单，重新部署操作。并且只能部署失败状态的订单。 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 删除：针对未部署订单，可以执行删除操作 刷新：刷新页面订单的最新数据。 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。 分页：支持选择当前页面展示数量，可以手工翻页上一页下一页，也可以跳转到任意页面列表订单操作 查看调度：操作后跳转到调度页面，查看订单的调度详情数据 详情：操作后可以查看到结构化集成订单的详情数据 非结构化集成 图17 非结构化集成 新建：操作后跳转到非结构化集成新建任务页面 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。
    数据管理与分析 数据集成平台操作手册
  • 数据管理与分析-数据源
    数据源 数据源主要包含两块：左侧树状导航展示数据源路径、右侧可进行新建数据源操作。 图1 数据源 单击“数据源”，展开列表，可看到该数据源下的所有表；右侧可以查看或编辑数据源配置信息，包含数据源连接串、用户名、密码、数据源名称、资源权限、责任人、数据源描述等； 图2 数据源信息 单击“新建数据源”，添加一个新的数据源，这条记录会同步显示在左侧树状导航中。 图3 添加数据源 父主题： DataLab用户手册
    数据管理与分析 DataLab用户手册
  • 数据管理与分析-数据全景
    数据全景 数据全景支持根据关键字或者主题域分组来查询数据资产信息，帮助用户能快速找到需要的数据。 图1 数据全景 搜索：通过关键字搜索所需的资产信息 搜索列表：展示搜索到的技术资产和业务资产 图2 搜索列表 技术资产详情：展示所选技术资产名的物理表、逻辑实体、字段、数据评论等详细信息 图3 技术资产详情 逻辑实体详情：展示所选业务资产名的业务对象、数据分布、属性、数据评论等详细信息；通过单击下钻查看对应的技术资产详情和样例数据。 图4 逻辑实体详情 样例数据：展示所选逻辑实体中对应数据表的样例数据 图5 样例数据 元数据列表：由数据全景首页，搜索栏下方的主题域分组进入，展示各主题域分组的主题域、业务对象和逻辑实体信息。 图6 元数据列表 业务对象详情：展示所选业务对象名的基础信息、逻辑实体等详细信息。 图7 业务对象详情 逻辑实体详情：（同业务对象详情） 父主题： 数据地图平台操作手册
    数据管理与分析
共100000条
undefined

搜索反馈

您找到想要的内容了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
精选内容
推荐文章