华为云用户手册

下载成果数据 您可根据实际需求下载实景三维建模成功后的成果数据（OBJ、OSGB或metadata文件）到本地。状态为“处理中”、“删除中”的成果数据不能下载。 OSGB（Open Scene Gragh Binary）是osbg格式的LOD模型文件。 OBJ为obj格式的非LOD模型文件。 metadata文件包含成果数据坐标系以及坐标原点的信息。 登录KooMap管理控制台。 在左侧导航栏选择“实景三维”下的“数据管理”菜单，然后单击右侧的“成果数据”页签。 单击成果数据操作列“下载”，选择下载OBJ、OSGB或metadata文件。文件以zip压缩包或xml格式保存到浏览器默认下载路径。 图1 下载成果数据 zip格式（OBJ和OSGB文件）的成果数据需全选解压到同一个文件目录下，您可选择业内常用的开源或商业渲染软件打开OBJ和OSGB文件。 例如： OBJ文件可使用MeshLab，CloudCompare等软件。 OSGB文件可使用市面主流的商业渲染软件。 以上列举的软件只是示例，您可试用其他渲染软件，如无法打开下载的OBJ和OSGB文件，请联系华为技术支持确认。

查询成果数据 您可根据实际需求查询符合过滤条件的实景三维建模成功后的成果数据。 登录KooMap管理控制台。 在左侧导航栏选择“实景三维”下的“数据管理”菜单，然后单击右侧的“成果数据”页签，在页面右上角设置过滤条件（成果数据名称）。 单击或按回车键，界面显示符合过滤条件的全部成果数据。 鼠标悬停到影像列表“任务名称”或“原始影像信息”后的，可查看该成果数据的空三建模任务以及原始倾斜影像相关信息。

操作步骤 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”，然后在右侧页面单击“新建工作共享空间”按钮。 在“新建工作共享空间”弹窗中，参考表1填写工作共享空间基本信息，包括工作共享空间名称、描述。 表1 创建工作共享空间参数说明 参数 说明 空间名称 必填项。 根据界面提示输入工作共享空间名称。 名称不可重复。 空间描述 选填项。 根据界面提示输入工作共享空间描述。 单击“确定”，创建成功。

操作步骤 登录KooMap管理控制台。 在左侧导航栏的“AR地图”下选择“项目管理”。 在“项目管理”页面，参考表1管理项目。 表1 管理项目操作说明 操作 操作步骤 操作结果 项目详情查看 单击待查看项目操作列下的“查看详情”。 在“项目详情”中查看该项目的相关信息。 查看到项目的相关信息，包括项目的基本信息和该在项目内已上传的数据列表。 查询项目 在右上角设置项目名称、行政区域作为过滤条件。 单击，界面显示符合过滤条件的全部项目。 界面显示符合过滤条件的所有项目。 编辑项目 方式一： 单击待编辑项目操作列下的“编辑”。 在弹出来的“编辑项目信息”弹窗中，修改项目信息。 单击“确定”，完成信息的修改。 完成项目相关信息的修改。 方式二： 单击待编辑项目操作列下的“查看详情”。 在“项目详情”页面，单击“项目信息”右侧的。 在弹出来的“编辑项目信息”弹窗中，修改项目信息。 单击“确定”，完成信息的修改。 删除项目 单个删除： 单击项目操作列下的“删除”。 在弹出的窗口中单击“是”，完成删除。 项目被删除，并从界面的项目列表中移除。 批量删除： 勾选待删除的项目。 单击“批量删除”。 在弹出的窗口中单击“是”，完成删除。

操作步骤 登录KooMap管理控制台。 在左侧导航栏的“AR地图”下选择“项目管理”。 在“项目管理”页面，单击项目名称（蓝色字体），进入“项目详情”页面。 在数据列表选择注册成功的数据，单击操作列下的“注册调整”，在“注册调整”弹窗内核对地图注册结果。 如对注册结果不满意，可手动调整注册结果的坐标位置及角度。 图1 注册调整 单击“确定”进行地图生成阶段。 地图生产完成后，“地图生成”列显示为“生成成功”。

操作步骤 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”，进入“工作共享空间管理”页面。 图1 工作共享空间管理页面 在“工作共享空间管理”页面，参考表1管理工作共享空间。 表1 管理工作共享空间操作说明 操作 操作步骤 操作结果 置顶工作共享空间 选择需开启/关闭工作共享空间的置顶。 单击“置顶”下的或开启/关闭工作共享空间。 说明： 最多只能开启4个工作共享空间。 开启置顶的工作共享空间会在空间列表前端显示。 关闭置顶的工作共享空间会按照创建时间先后顺序显示。 查询工作共享空间 在右侧页面右上角区域设置过滤条件。 过滤条件包括创建工作共享空间的时间区间、工作共享空间名称。 单击或按回车键。 界面显示符合过滤条件的所有工作共享空间列表。 编辑工作共享空间 选择待编辑的工作共享空间。 单击“编辑”，修改工作共享空间名称或描述信息。 单击“确定”，完成修改。 完成工作共享空间信息的修改。 删除工作共享空间 选择待删除的工作共享空间。 单击“删除”。 单击“确定”，完成删除。 工作共享空间被删除。

操作步骤 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”，然后在右侧页面单击待创建任务的工作共享空间名称，进入任务概览页。 选择“卫星影像概览”页签，单击，进入“创建任务”页面。 填写任务基本信息，单击“下一步”。 基本信息包括任务名称、任务描述。 设置任务的其他相关信息，单击“下一步”。 其他相关信息包括数据类型、处理等级、坐标系、卫星影像、生产资料和矢量数据。 选择处理等级、坐标系、数据类型。 表1 配置项说明 配置项 配置说明 处理等级 选择卫星影像处理等级。 有“L2”、“L3”、“L4”和“L5”四个处理等级可供选择。 选择“L3”处理等级时，系统默认勾选“生产资料”。 选择“L4”处理等级时，可勾选“生产资料”。 选择“L5”处理等级时，可勾选“生产资料”、“金字塔切割”或“矢量切割”。 坐标系 选择卫星影像坐标系。 有“WGS84”、“WGS84-UTM”、“国家2000”和“国家2000-GaussKruger”可供选择。 说明： 当您使用“WGS84-UTM”时，可在右侧框选择具体的UTM带号。 当您使用“国家2000-GaussKruger” 时，需根据您实际需要在右侧框选择CGCS2000坐标系对应EPSGCode。 数据类型 影像处理的数据类型。 “卫星影像”是必选项，您也可依据实际情况选择其他的数据类型。 当“处理等级”选择“L2”时，“数据类型”必须选择“卫星影像”。 当“处理等级”选择“L3”时，“数据类型”必须选择“卫星影像”和“生产资料”。 当“处理等级”选择“L4”且勾选“生产资料”时，“数据类型”除了必选“卫星影像”，还可选择“生产资料”。 当“处理等级”选择“L5”且勾选“生产资料”或“矢量切割”时，“数据类型”除了必选“卫星影像”，还可选择“生产资料”或“矢量数据”。 单击对应的“数据类型”，选择待处理的卫星影像、矢量数据或生产资料，单击“下一步”。 勾选卫星影像文件 您可直接勾选卫星影像文件或设置过滤条件筛选后，再勾选符合过滤条件的影像文件。文件的选择需遵守如下规则： 只处理多光谱影像：拍摄卫星只有多光谱相机（GF1-WFV或GF6-WFV），且必须选择卫星型号和传感器型号一致的影像。 处理多光谱和全色一一对应影像：必须选择卫星型号一致的影像，且多光谱和全色影像文件数量一致。 图1 勾选卫星影像文件 （可选）勾选矢量数据 当处理等级选择“L5”且勾选“矢量切割”选项时，才需选择矢量数据。您可直接勾选矢量数据或设置过滤条件筛选后，再勾选符合过滤条件的矢量数据。 图2 勾选矢量数据 （可选）勾选生产资料 当处理等级选择“L3”、“L4”或“L5”且勾选“生产资料”时，才需选择生产资料。您可直接勾选生产资料或设置过滤条件筛选后，再勾选符合过滤条件的生产资料。 图3 勾选生产资料 确定或修改新建任务的信息，单击“确定”。 确认成果影像名称或根据需要修改成果影像别名（影像别名不可重复）、影像描述。 返回任务概览页面查看新建的处理任务。 鼠标悬停在卡片中的任务名称处，可查看该任务相关信息。 图4 任务创建成功

删除卫星影像 您可根据实际需求删除卫星影像。状态为“迁入中”、“迁出中”、“删除中”的卫星影像无法删除。 登录KooMap管理控制台。 在左侧导航栏选择“卫星影像”下的“数据管理”菜单，然后在右侧页面单击“影像数据”页签。 单个或批量删除卫星影像。 单个删除：单击卫星影像操作列“更多”，选择“删除”。 批量删除：勾选待删除的卫星影像，单击“批量操作”，选择“批量删除”。批量删除总数最多100条。 在确认删除对话框中输入“DELETE”，单击“确定”，删除卫星影像。

查看成果数据/原始数据列表 您可根据实际需求查看成果数据/原始数据列表。 登录KooMap管理控制台。 在左侧导航栏选择“卫星影像”下的“数据管理”菜单，然后在右侧页面单击“影像数据”页签。 单击蓝色字体“成果数据”或“原始数据”，分别查看原始数据或成果数据列表。 单击“成果数据”：查看处理成当前成果数据用到的所有原始数据列表。 图2 查看原始数据列表 单击“原始数据”：查看使用当前原始数据处理后的所有成果数据列表。 图3 查看成果数据列表

下载卫星影像 您可根据实际需求下载卫星影像到本地。状态为“迁入中”、“迁出中”、“删除中”和“迁入失败”的卫星影像不能下载。 登录KooMap管理控制台。 在左侧导航栏选择“卫星影像”下的“数据管理”菜单，然后在右侧页面单击“影像数据”页签。 单个或批量下载卫星影像。 单个下载：单击卫星影像操作列“更多”，选择“下载”。 批量下载：勾选待下载的卫星影像，单击“批量操作”，选择“批量下载”。批量下载总数最多100条。 单击“确定”，卫星影像保存到浏览器默认下载路径。

预览成果影像 您可在界面预览COG格式的成果影像。 历史处理的成果影像如果不是COG格式，则不支持在线预览。 登录KooMap管理控制台。 在左侧导航栏选择“卫星影像”下的“数据管理”菜单，然后在右侧页面单击“影像数据”页签。 选择“数据类型”为“成果数据”的卫星影像，单击操作列“预览”，进入“影像预览”界面。 在“影像预览”界面，您可根据需求预览成果影像。 图1 影像预览界面 ：单击此按钮，放大预览影像。 ：单击此按钮，缩小预览影像。 ：单击此按钮，刷新预览影像。 ：单击此按钮，在预览界面左下角拖动红框，预览圈定范围内的影像。

迁移卫星影像 您可根据实际需求将KooMap存储空间内的卫星影像迁移到OBS。状态为“迁入中”、“迁出中”、“迁入失败”和“删除中”的卫星影像不能迁移。单个或批量迁移的单条卫星影像文件都需满足：文件总大小不能大于10TB，总个数最多1万个。 登录KooMap管理控制台。 在左侧导航栏选择“卫星影像”下的“数据管理”菜单，然后在右侧页面单击“影像数据”页签。 单个或批量迁移卫星影像。 单个迁移：单击卫星影像操作列“更多”，选择“迁移”。 批量迁移：勾选待迁移的卫星影像，单击“批量操作”，选择“批量迁移”。批量迁移总数最多100条。 在弹出来的页面设置迁出的桶域名和路径。 表1 迁移卫星影像说明 参数 说明 桶域名 必填项。 根据界面提示输入OBS桶访问域名。 示例：example-bucket.obs.cn-north-4.myhuaweicloud.com example-bucket：OBS桶名 .obs.cn-north-4.myhuaweicloud.com：域名 迁出路径 必填项。 根据界面提示输入影像迁出路径。 路径参考格式为：path/to/files 单击“确定”，迁移卫星影像。 迁移过程中“运行状态”为“迁出中”，迁移成功后，“运行状态”变更为“完成”。

管理权限 您可以使用统一身份认证服务（Identity and Access Management，简称IAM）对您所拥有的KooMap进行精细的权限管理。通过IAM，您可以： 根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用KooMap服务。 将KooMap资源委托给更专业、高效的其他华为账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用KooMap服务的其它功能。本章节为您介绍对用户授权的方法，操作流程如图1所示。 目前，KooMap只支持KooMap FullAccess策略，授予该策略的用户拥有KooMap服务的所有权限。 图1 给用户授权KooMap权限流程 用户授权KooMap权限步骤如下： 创建用户组并授权。 在IAM控制台创建用户组，并授予KooMap的操作员权限“KooMap FullAccess”。 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限。 新创建的用户登录控制台，如能进入KooMap首页且看到工作共享空间列表，则表示“KooMap FullAccess”权限已生效。

查询成果数据 您可根据实际需求查询符合过滤条件的精修后处理成果数据。 登录KooMap管理控制台。 在左侧导航栏选择“实景三维”下的“数据管理”菜单，然后在页面右侧单击“精修后处理成果数据”页签。 在页面右上角输入过滤条件。 过滤条件包括原始任务名称、后处理任务名称和后处理任务创建起止时间。 单击或按回车键，界面显示符合过滤条件的全部精修后处理成果数据。 单击列表中蓝色字体的原始任务名称，可查看当前精修后处理任务对应的原始建模任务。

下载成果数据 您可根据实际需求下载精修后处理成果数据到本地。 登录KooMap管理控制台。 在左侧导航栏选择“实景三维”下的“数据管理”菜单，然后单击右侧的“精修后处理成果数据”页签。 单击成果数据操作列“下载”，选择下载OSGB文件。文件以zip压缩包保存到浏览器默认下载路径。 图1 下载精修后处理成果数据 zip格式（OSGB文件）的成果数据需全选解压到同一个文件目录下，您可选择市面主流的商业渲染软件打开OSGB文件。如无法打开下载的OSGB文件，请联系华为技术支持确认。

操作步骤 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”，然后在右侧页面单击待创建任务的工作共享空间名称。 选择“实景三维概览”页签，进入任务概览页。 选择待创建精修后处理任务的显式辐射场实景三维任务卡片，直接单击卡片上的进入“精修流程”页面。 图1 新增精修后处理任务 在弹出的“精修流程”页面，了解精修流程，并创建精修后处理任务。 下载实景三维建模成果数据。 下载并仔细阅读精修规范后，再进行离线精修实景三维建模成果数据。 图2 下载并阅读精修规范 在“后处理任务别名”输入信息，单击，新增的后处理任务将在“后处理任务列表”中显示。 在后处理任务列表操作列单击“上传文件夹”，系统弹出的“选择文件夹”弹窗。 单击“选择原始文件夹”和“选择精修后文件夹”右侧“上传文件”分别上传原始建模成果数据和离线精修后成果数据。上传文件夹前，请鼠标悬停在查看注意事项和要求。 原始文件夹：显式辐射场实景三维建模任务完成后的成果数据（被修改的Tile块数据）所在的文件夹（下载链接见5.a）。 精修后文件夹：离线精修成果数据（修改后的Tile块数据）所在文件夹。 单击“确定”，完成精修后处理任务的创建。 创建完成后，原始的显式辐射场实景三维建模任务卡片上会显示精修任务进度。 图3 查看精修进度

任务概述 KooMap服务支持以任务的形式对倾斜摄影数据进行专业处理，生成各个行业应用可使用的实景三维数据。实景三维建模类型包括纹理模型实景三维和显式辐射场实景三维（KooMap服务专有），每种建模类型下您还可根据实际情况选择创建有控建模或者无控建模任务类型。实景三维建模（仅适用于显式辐射场实景三维）完成后，您还可根据实际需求决定是否对建模后的成果数据进行精修和精修后处理。 建模类型： 纹理模型实景三维：对多视角影像进行分布式并行处理，生成带纹理的三维Mesh模型数据。支持影像畸变较正，纹理贴图、纹理图匀光匀色，降低影像畸变对精度的影响以及数据采集光照差异造成的色彩不均匀的问题。 显式辐射场实景三维：支持照片级重建，空间测量，真实还原多视角光影效果，显著提升模型真实感。支持业界主流渲染引擎的实时渲染，无额外适配成本。 任务类型： 无控建模：根据设置的建模参数，对原始影像进行实景三维建模。建模过程中无需进行人工刺点。无控建模速度快，适用于不要求超高精度或绝对地理坐标的场景。 有控建模：根据设置空三建模参数，对原始影像先进行空三建模，然后利用生产资料对应的像控点坐标信息在原始图片上进行人工刺点，适用于需要生成高精度或绝对地理坐标的场景。 一般情况下，有控建模后的成果模型数据比无控建模精度更高。 刺点：是指将像控点位置标识到图片上的过程。 父主题： 实景三维建模任务

任务概述 KooMap服务支持以任务的形式对导入的卫星影像进行处理。卫星影像处理等级包括L2、L3、L4、L5，具体等级描述如表1。 表1 处理等级 处理等级 等级描述 L2等级 对原始卫星数据进行色彩增强与几何粗纠正处理，输出L2级的成果数据。 可实现几何接边误差小于100像素。 L3等级 对原始卫星数据进行色彩增强与几何精纠正处理，输出L3级的成果数据。可实现几何接边误差小于10像素。 L4等级 对原始卫星数据进行色彩增强与正射纠正处理，输出L4级的成果数据。 可实现几何接边误差小于2像素。 L5等级 在L4级基础上执行影像匀色、镶嵌处理，输出L5级的成果数据，并支持矢量边界裁切、瓦片金字塔形式的成果数据输出。 金字塔切割：利用金字塔分层切片方法进行影像的切割。 矢量切割：利用矢量的属性、边界进行影像的裁剪。 金字塔图像：以多分辨率来解释图像的一种有效但概念简单的结构就是影像金字塔。一幅图像的金字塔就是一系列以金字塔形状排列的分辨率逐渐降低的图像集合。最底层的分辨率最高，并且数据量最大。随着层数的增加，其分辨率逐渐降低，数据量也按比例减少。 矢量数据：一般通过记录坐标的方式尽可能地将地理实体的空间位置表现得准确无误。 父主题： 卫星影像生产任务

导入 导入EXCEL 单击逻辑实体列表上方“导入”中的“导入EXCE”。在“导入表”对话框中，选择“导入配置”页签，单击“下载关系建模导入模板”。 图17 导入EXCEL 下载关系建模导入模板后，编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择编辑完成的导入模板。 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 单击“关闭”。 导入LDM 导入LDM模型时，请先选择一个主题。不选择则无法导入。 当前仅支持导入逻辑模型。 请准备好需要导入的.ldm格式的逻辑模型。该逻辑模型是从第三方系统Powet Designer导出来的。 导入的LDM模型支持的版本：16.x 单击逻辑实体列表上方“导入”中的“导入LDM”。在“导入表”对话框中，选择“导入配置”页签。 图18 导入LDM 选择是否更新已有数据。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择提前准备好的.ldm格式的逻辑模型。 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 单击“关闭”。

通过逆向数据库导入逻辑实体 通过逆向数据库，您可以从其他数据源中将一个或多个已创建的数据库表导入到逻辑实体目录中，使其变成逻辑实体。 在数据架构控制台，单击左侧导航树中的“关系建模”，进入关系建模页面，选择一个逻辑实体进入。 在逻辑实体列表上方，单击“逆向数据库”。 在“逆向数据库”对话框中，配置如下参数，然后单击“确定”。 表7 逆向数据库配置 参数名称 说明 *所属主题 在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到逻辑实体目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见管理数据连接。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在逻辑实体中已存在同名的表，选择是否更新已有的逻辑实体。 名称来源 逆向后表名称/字段名称的来源，可以是描述或者是相应英文名，如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图15 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功，单击“关闭”。如果逆向失败，您可以查看失败原因，问题解决后，选中失败的表，然后单击“重新逆向”进行重试。 图16 逆向结果

新建逻辑模型 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 图1 选择数据架构 在数据架构控制台，单击左侧导航树中的“关系建模”。 在“关系建模”页面，如果当前未创建过关系模型，系统会弹出“新建分层治理模型”提示框，提示您创建关系建模下SDI和DWI层的物理模型。创建完成后，您可以在逻辑模型处单击按钮新建逻辑模型。 根据数据治理方法论，以及关系建模和维度建模方法，数仓分层的模型默认为4层，层级含义介绍如下： 关系建模下包含SDI层和DWI层两层模型，物理模型归属于两层模型之一。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 维度建模需要基于维度，新建DWR层模型，最终将数据汇总到DM层模型中。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 DM (Data Mart)：又称数据集市。DM面向展现层，数据有多级汇总。 数仓分层的4层层级的名称支持由管理员自定义，单击层级名后的即可重命名。重命名建议能够区分不同层级，规则为只能包含英文字母、中文、数字、下划线，且以英文字母或中文开头。 图2 新建分层治理模型 图3 新建逻辑模型 在弹出窗口中配置如下参数，然后单击“确定”。 图4 配置逻辑模型 表1 参数描述 参数名称 说明 *模型名称 只能包含中文、英文字母、数字和下划线。 前缀校验 只能包含英文字母、数字和下划线，且英文字母开头。 说明： 在逻辑模型中新建、修改、导入逻辑实体时，会校验是否有前缀，没有的话会校验失败。进行逆向操作时，会校验是否有前缀，没有的话系统会自动添加前缀。 描述 逻辑模型的描述信息。

逻辑模型转换为物理模型 完成逻辑模型的创建后，您可以将逻辑模型转换为物理模型，支持转换为新的物理模型或已有的物理模型。 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 图10 选择数据架构 在数据架构控制台，单击左侧导航树中的“关系建模”。 在总览图中找到所需要的逻辑模型，将光标移动到该卡片上，单击该模型的转换按钮。 图11 逻辑模型转换 在“转换为物理模型”对话框中，配置如下参数，然后单击“确定”。 图12 转换为物理模型 逻辑模型转换为物理模型时，系统会先校验是否有前缀，无前缀会自动添加前缀。 表6 参数描述 参数名称 说明 *模型名称 逻辑模型所需转换的物理模型的名称。您可以输入一个新的模型名称，系统会创建该新模型，也可以在下拉列表中选择一个已有的模型。 模型名称只能包含中文、英文字母、数字和下划线。 *更新已有表 当选择了模型名称后才显示该参数。 不更新 更新 如果选择更新已有表，则需要选择“物理表更新方式”。 不删除多余字段 删除多余字段 *数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。同一个关系模型一般建议使用统一的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建，详情请参见管理数据连接。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建，详情请参见新建数据库。 选择逻辑实体 全部：将所有的逻辑实体转换为物理表。 部分：将选择的部分逻辑实体转换为物理表。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS和POSTGRESQL的模式。该参数仅支持DWS和POSTGRESQL连接类型。 描述 描述信息。支持的长度为0~600个字符。 转换为物理模型后，您可以为该物理模型设置分层，您可以选择SDI层或DWI层。如图13，在物理模型中找到转换后的物理模型，将光标移动到该卡片上，单击该模型的编辑按钮，进入“编辑物理模型”弹窗。 图13 设置物理模型分层 进入“编辑物理模型”弹窗后，选择“数仓分层”，下拉选择SDI或DWI分层。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 图14 编辑物理模型

配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“|”分隔，也可以自定义文件分隔符，具体请参见文件列表迁移。 待迁移数据的目录，将迁移目录下的所有文件（包括所有嵌套子目录及其子文件）。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /ftp/a.csv|/ftp/b.txt 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 说明： 当目的端为OBS数据源时，仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 当“文件格式”选择为“CSV格式”时，才有该参数。是否使用rfc4180解析器解析CSV文件。 否 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。当“文件格式”选择为“CSV格式”时，才有该参数。 \n 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“\t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 使用转义符 选择“是”时，CSV数据行中的\作为转义符使用。 选择“否”时，CSV中的\作为数据不会进行转义。CSV只支持\作为转义符。 是 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 正则表达式 当“使用正则表达式分隔字段”选择为“是”时，才有该参数。 分隔字段的正则表达式，正则表达式写法请参考正则表达式分隔半结构化文本。 ^(\d.*\d) (\w*) \[(.*)\] ([\w\.]*) (\w.*).* 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的前N行数据作为标题行，不写入目的端的表。 是 编码类型 文件编码类型，例如：“UTF-8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 UTF-8 压缩格式 选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则保持原样传输。当输入*或为空时，所有文件都会被解压。 * 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 是 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为|。 | 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 无 目录过滤器 “过滤类型”选择“通配符”和“正则表达式”时，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 *input,*out 文件过滤器 “过滤类型”选择“通配符”和“正则表达式”时，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 起始时间 “时间过滤”选择“是”时，可以指定一个时间值，当文件的修改时间大于等于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示：只迁移最近90天内的文件。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 2019-07-01 00:00:00 终止时间 “时间过滤”选择“是”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 忽略不存在原路径/文件 如果将其设为“是”，那么作业在源路径不存在的情况下也能成功执行。 否 标识文件类型 选择开启作业标识文件的功能时，该参数才显示。 MARK_DONE：只有在源端路径下存在标识文件的情况下才会执行迁移任务。 MARK_DOING：只有在源端路径下不存在标识文件的情况下才会执行迁移任务。 MARK_DOING 是否跳过空行 “文件格式”选择“CSV格式”时，该参数才显示。 如果某行数据为空，则跳过此行。 否 null值 “文件格式”选择“二进制格式”时，该参数才显示。 由于文本文件中无法用字符串定义null值，此配置项定义将何种字符串标识为null。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 父主题： 配置作业源端参数

开发DWS SQL作业 DWS SQL脚本开发完成后，我们为DWS SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。 创建一个批处理作业，作业名称为“job_dws_sql”。 然后进入到作业开发页面，拖动DWS SQL节点到画布中并单击，配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明： SQL脚本：关联开发DWS SQL脚本中开发完成的DWS SQL脚本“dws_sql”。 数据连接：默认选择SQL脚本“dws_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“dws_sql”中设置的数据库，支持修改。 脚本参数：通过EL表达式获取"yesterday"的值，EL表达式如下： #{Job.getYesterday("yyyy-MM-dd")} 节点名称：默认显示为SQL脚本“dws_sql”的名称，支持修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图3 配置调度方式 说明： 2021/08/06至2021/08/31，每天2点执行一次作业。 单击“提交”，执行调度作业，实现作业每天自动运行。

通过逆向数据库导入维度 通过逆向数据库，您可以从其他数据源中将一个或多个已创建的数据库表导入到维度目录中，使其变成维度。 在数据架构控制台，单击左侧导航树中的“维度建模”，进入维度建模页面。 在维度列表上方，单击“逆向数据库”。 在“逆向数据库”对话框中，配置如下参数，然后单击“确定”。 表5 逆向数据库配置 参数名称 说明 *所属主题 在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到维度目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见管理数据连接。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在维度中已存在同名的表，选择是否更新已有的维度。 名称来源 逆向后表名称/字段名称的来源，可以是描述或者是相应英文名，如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图13 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功，单击“关闭”。如果逆向失败，您可以查看失败原因，问题解决后，选中失败的表，然后单击“重新逆向”进行重试。 图14 逆向结果

删除维度 如果您已不再需要某个维度，可以删除该维度。如果待删除的维度已发布，则无法执行删除操作，您必须先将该维度下线后，才能执行删除操作，具体操作请参见下线维度。 在数据架构控制台，单击左侧导航树中的“维度建模”，进入相应页面后，选择“维度”页签。 在维度列表中找到需要删除的维度，勾选该维度，然后单击维度列表上方“更多”中的“删除”按钮。 图12 删除 在系统弹出的“删除”对话框中，确认无误后，单击“确定”将维度删除。 删除弹框中的“删除物理表”勾选后，删除时将同步删除数据库里的物理表。

发布维度 如果新建了维度但并未发布，可以执行以下步骤发布维度： 在数据架构控制台，单击左侧导航树中的“维度建模”，进入相应页面后，选择“维度”页签。 在维度列表中找到需要发布的维度，单击“发布”。 图8 发布维度 在弹出对话框中，选择审核人，单击“确认提交”，完成发布。 进行发布时，可以选择发布到生产环境或开发环境。默认发布到生产环境，不勾选则无法发布。 您也可以执行以下步骤批量发布维度： 在数据架构控制台，单击左侧导航树中的“维度建模”，进入相应页面后，选择“维度”页签。 在维度列表中勾选需要发布的维度，单击列表上方的“发布”。 图9 批量发布维度 在弹出对话框中，选择审核人和作业调度时间，单击“确认提交”，完成发布。 进行发布时，可以选择发布到生产环境或开发环境。默认发布到生产环境，不勾选则无法发布。 注意，此处“作业调度时间”指的是维度发布后，自动创建质量作业的调度时间。 图10 批量发布维度

通过逆向数据库导入事实表 通过逆向数据库，您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中，使其变成事实表。 在数据架构控制台，单击左侧导航树中的“维度建模”，进入维度建模页面。 在事实表的列表上方，单击“逆向数据库”。 在“逆向数据库”对话框中，配置如下参数，然后单击“确定”。 表4 逆向数据库配置 参数名称 说明 *所属主题 在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到事实表目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见管理数据连接。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在事实表中已存在同名的表，选择是否更新已有的事实表。 名称来源 逆向后表名称/字段名称的来源，可以是描述或者是相应英文名，如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图16 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功，单击“关闭”。如果逆向失败，您可以查看失败原因，问题解决后，选中失败的表，然后单击“重新逆向”进行重试。 图17 逆向结果

通过逆向数据库导入物理表 通过逆向数据库，您可以从其他数据源中将一个或多个已创建的数据库表导入到物理表目录中，使其变成物理表。 在数据架构控制台，单击左侧导航树中的“关系建模”，进入关系建模页面，选择一个物理表进入。 在物理表的列表上方，单击“逆向数据库”。 在“逆向数据库”对话框中，配置如下参数，然后单击“确定”。 表7 逆向数据库配置 参数名称 说明 *所属主题 在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到物理表目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见管理数据连接。 *数据库 选择数据库。 *Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 *队列 DLI队列。仅当“数据连接类型”选择“DLI”时，该参数有效。 更新已有表 如果从其他数据源逆向过来的表，在物理表中已存在同名的表，选择是否更新已有的物理表。 名称来源 逆向后表名称/字段名称的来源，可以是描述或者是相应英文名，如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图13 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功，单击“关闭”。如果逆向失败，您可以查看失败原因，问题解决后，选中失败的表，然后单击“重新逆向”进行重试。 图14 逆向结果

新建物理模型 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 图1 选择数据架构 在数据架构控制台，单击左侧导航树中的“关系建模”。 在“关系建模”页面，如果当前未创建过关系模型，系统会弹出“新建分层治理模型”提示框，提示您创建关系建模下SDI和DWI层的物理模型。如果不是首次创建，可在物理模型处单击按钮新建物理模型。 根据数据治理方法论，以及关系建模和维度建模方法，数仓分层的模型默认为4层，层级含义介绍如下： 关系建模下包含SDI层和DWI层两层模型，物理模型归属于两层模型之一。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 维度建模需要基于维度，新建DWR层模型，最终将数据汇总到DM层模型中。 DWR：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 DM (Data Mart)：又称数据集市。DM面向展现层，数据有多级汇总。 数仓分层的4层层级的名称支持由管理员自定义，单击层级名后的即可重命名。重命名建议能够区分不同层级，规则为只能包含英文字母、中文、数字、下划线，且以英文字母或中文开头。 图2 新建分层治理模型 图3 新建物理模型 在弹出窗口中配置如下参数，然后单击“确定”。 图4 配置物理模型 表1 参数描述 参数名称 说明 *模型名称 只能包含中文、英文字母、数字和下划线。 *数据连接类型 下拉选择数据连接类型。 数仓分层 下拉选择SDI或DWI分层。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 前缀校验 只能包含英文字母、数字和下划线，且英文字母开头。 说明： 在物理模型中新建、修改、导入表时，会校验是否有前缀，没有的话会校验失败。进行逆向操作时，也会校验是否有前缀，没有的话系统会自动添加前缀。 描述 描述信息。支持的长度0~600字符。