华为云用户手册

业务痛点及挑战： 协同差、效率低：各部门收集同一空间数据，部门数据无共享；应用开发，需要多个部门协调数据；应用开发厂商适配工作量大，应用之间难协同，效率低。 好看、不好用：重可视化，轻应用；业务数据没有时空化，管理手段受限。 算力低、建模慢：对计算服务器性能要求高，需要高性能的GPU算力支持才能完成建模；自建集群规模小，无法并发支持大规模建模。 数据类型多，融合难：多种数据文件类型，格式复杂，转换困难；多源数据融合难，缺少统一标准时空数据框架。

方案优势和价值： 大场景、超精细、高效率实景三维建模：显式辐射场创新技术实现三维建模厘米级高保真还原，超越3D Mesh和NeRF效果；30分钟自动化构建5平方公里超精细实景三维地图，建模效率比业界提升30%+。 城市多元数据融合：支持实景三维、点云、三维地形、手工模型、BIM、地理实体、参数化/符号化三维数据、地下管线、地质体等数据融合，并以统一服务和格式对外提供服务。 二三维一体化空间分析计算：支持矢量、栅格、三维、空间大数据等空间计算能力，提供交互式分析模型界面。 多级多维度共同应用：应用于政府部门（政数局、规自局、住建局等）、企事业单位、社会公众等各类机构与群体，面向应用范围广，提高政府管理和决策水平。 资源利用集中化：整合基础时空数据、公共专题数据、物联网感知数据、互联网在线数据等，为智慧城市建设提供基础信息资源共享，促进协作共享，避免重复投资，降低数据生产和使用的整体成本。

方案架构 本方案为了使城市数字孪生平台建立良好的运行服务和支撑云环境，面向各部门提供统一稳定的城市数字孪生服务，本方案架构采用云环境服务架构思想，基于华为云KooMap云地图服务、云数据库服务、GPU加速云服务器及HCS/HCSO等，结合超图时空数据融合服务、超图数字孪生门户、超图云数字孪生应用服务平台、超图数字孪生平台配套服务、超图数字孪生管理服务，以集群的方式部署云原生GIS平台，使用keepalived+ELB方式提供GIS服务间的负载均衡，贯穿各层应用，形成具有严格标准、安全保障、高效流程、高质量结果的平台架构，完成多元数据建模与融合，构建城市数字孪生平台。 图1 方案架构 超图城市数字孪生平台基于华为云环境，在同一局域网环境下部署平台，配合KooMap数据服务，使用弹性公网IP访问桌面GIS软件及云GIS门户服务器平台，同时使用华为云弹性文件服务以及云数据库RDS，基于华为云弹性负载均衡方式ELB进行请求负载，使用GIS运维服务器平台，便于进行数据处理、服务管理和指标监控，具有高可靠、高能效、高质量的特点。 图2 部署架构 方案优势 全域全要素全过程表达：支持二三维点线面、二三维网络、三维体（边界表示、参数化表达）、TIM/TIN/Grid/Voxel Grid等二三维一体化数模型，并支持自研Webgl、Cesium、VR/AR/MR、高真实渲染等交互与输出。 多源数据融合：支持统一接入多源数据，支持实景三维、点云、三维地形、手工模型、BIM、地理实体、参数化/符号化三维数据、三维场数据、地下管线、地质体等数据融合，并以统一服务和格式对外提供服务（S3M）。 二三维一体化空间分析计算：支持矢量、栅格、三维、空间大数据、AI分析等空间计算能力，提供桌面GPA/Web GPA交互式分析模型界面。 大规模高性能三维建模：基于随机域分解结合华为云Function Graph自适应调度能力，大幅度提升经典建模流程效率，获得高精度空间几何信息。

应用流程 图3 超图尝试数字孪生平台应用流程图 本方案采用云环境服务架构思想，以华为云为基础，基于华为云KooMap云地图服务、云数据库服务等，结合超图时空数据融合服务，使用超图二三维一体化桌面GIS软件iDesktop进行处理、整理、建库、地图制图，使用云GIS应用服务平台iServer进行发布服务，将发布的服务使用云GIS门户服务器平台iProtal面向应用层进行SDK、REST赋能，同时云GIS管理服务器平台iManager进行服务管理和指标监控，将最后成果服务应用服务于政府部门、企事业单位、社会公众等机构与群体。

高可用部署 双机部署iServer，形成主备关系，双机iServer访问正常 图1 高可用部署1 双机部署keepalived，keepalived运行正常 图2 高可用部署2 图3 高可用部署3 使用华为云配置双机TCP弹性负载均衡，负载均衡服务正常 图4 高可用部署4 图5 高可用部署5 双机iServer发布同一地图服务，单独访问地图服务浏览正常 图6 高可用部署6 图7 高可用部署7 负载均衡地址访问iserver发布的地图服务，访问正常 图8 高可用部署8 访问ELB实例对应IP下iServer发布的地图服务，观察主备服务器性能，实现流量转发到不同的iServer 图9 高可用部署9 使用'ip addr'查看主服务器是否占用浮动IP，主服务器占用浮动ip 图10 高可用部署10 图11 高可用部署11 人工干预使主服务器异常，访问{浮动IP:8090}查看访问iserver是否正常，iServer访问正常 图12 高可用部署12 查看浮动ip是否跳转至从服务器，查看浮动ip跳转至从服务器，证明双机热备高可用正常 图13 高可用部署12 执行jmeter脚本，发起请求，使系统平稳运行，jmeter发起请求TPS波动平稳 图14 高可用部署13 进入ECS控制台，关闭其中一台应用服务器 图15 高可用部署14 等待一段时间，关闭第二台应用服务器 图16 高可用部署15 关闭应用服务器，处理线程数立刻减少，接着业务请求自动接入到其他应用服务器，证明iServer高可用部署成功 图17 高可用部署16 父主题： 云GIS应用服务器平台

三维服务发布和浏览 启动 iServer 服务后，访问 http://localhost:8090/iserver，输入账户、密码进行登录后单击“服务管理”，进入管理页面 图1 三维服务发布和浏览1 单击快速发布服务按钮，数据来源选择工作空间，单击下一步选择文件型工作空间，工作空间路径选择已数据，格式smwu，选择完成后单击下一步 图2 三维服务发布和浏览2 在选择服务类型页面，选择三维服务类型的服务，单击下一步完成后即可发布服务正常 图3 三维服务发布和浏览3 浏览发布后的服务 图4 三维服务发布和浏览4 父主题： 云GIS应用服务器平台

矢量、栅格、模型文件导入 打开 SuperMap iDesktop 图1 打开 创建PostgreSQL数据源 图2 创建 打开文件型数据源 图3 打开 右键复制数据集按钮，选中栅格、影像、矢量、模型数据集 图4 复制 选择PostgreSQL数据源，单击复制按钮 图5 选择 打开PostgreSQL数据源，浏览地图 图6 浏览地图 导入模型文件 图7 导入1 图8 导入2 保存工作空间 图9 保存 父主题： 二三维一体化桌面GIS软件

瓦片数据发布 启动 iServer 服务后，访问 http://localhost:8090/iserver，输入账户、密码进行登录后单击“服务管理”，进入管理页面 图1 瓦片数据发布1 在首页页面，选择快速发布一个或一组服务 图2 瓦片数据发布2 在弹出的弹窗中，选择数据来源为UGCV5文件，单击下一步 图3 瓦片数据发布3 添加UGCV5瓦片文件路径，单击下一步 图4 瓦片数据发布4 选择需要发布的服务类型，选择地图服务，并单击下一步 图5 瓦片数据发布5 再次确认后，单击完成，即可完成整个地图服务的发布 图6 瓦片数据发布6 浏览发布服务 图7 瓦片数据发布6 父主题： 云GIS应用服务器平台

GIS环境监控 浏览器访问GIS门户服务器地址，并登录iManager，访问正常 图1 GIS环境监控1 在GIS服务器的列表页面，单击“添加GIS服务器”按钮，在“添加GIS服务器”页面，输入GIS服务器名称、URL以及选择操作系统类型 图2 GIS环境监控2 然后单击“下一步”按钮，进入安装守护进程页面，根据页面中的提示，完成相应操作，然后单击“完成”按钮 图3 GIS环境监控3 查看GIS服务器监控状态 图4 GIS环境监控4 父主题： 云GIS管理服务器平台

部署安装 配置文件许可 远程登录弹性云服务器，在根目录/opt下新建文件夹： mikdir /opt/SuperMap/License 上传许可文件至此目录下。 安装依赖库 将获取到的 SuperMap iServer 安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/map/SuperMap 下，在命令行方式下定位到 .tar.gz 文件所在的目录，例如：cd /home/map/SuperMap。 执行如下命令进行解压： tar -zxvf 文件名.tar.gz iServer 产品包中提供了 dependencies_check_and_install.sh 文件，能够自动检测当前操作系统版本，以及 iServer 运行在此操作系统上需要的依赖库，并安装这些依赖库。运行该文件的方法为：在supermap_iserver_*_linux64/support 目录下，执行如下命令： ./dependencies_check_and_install.sh [command] [options] 【command】(必填参数)：install：安装依赖库。 uninst：卸载依赖库。 【options】(可选参数)： -y：表示安装过程中，所有交互自动选择"yes"。 例如，安装依赖库执行如下命令： ./dependencies_check_and_install.sh install -y 启动及停止iServer服务 进入解压后的 bin 路径下，执行如下命令启动 iServer 服务： sh.startup.sh 或通过如下命令停止 iServer 服务： sh.shutdown.sh 父主题： 云GIS应用服务器平台

部署安装 配置文件许可 远程登录弹性云服务器，在根目录/opt下新建文件夹： mikdir /opt/SuperMap/License 上传许可文件至此目录下 启动及停止iServer服务 将获取到的 SuperMap iPortal 安装包复制到 Linux 操作系统计算机的某个目录下（建议安装路径为英文目录，例如 /home/map/SuperMap），在命令行方式下定位到 .tar.gz 文件所在的目录，例如： cd /home/map/SuperMap 以非 root 用户执行如下命令进行解压： tar -zxvf 文件名.tar.gz 进入解压后的 bin 路径下，以非 root 用户执行如下命令启动 iPortal 服务： sh startup.sh 或通过如下命令停止 iPortal 服务： sh shutdown.sh 父主题： 云GIS门户服务器平台

动态投影 启动 iServer 服务后，访问 http://localhost:8090/iserver，输入账户、密码进行登录后单击“服务管理”，进入管理页面 图1 动态投影1 单击服务按钮，选择已发布的地图服务，单击服务进入服务信息页面，地图列表里面选择任意地图单击进入，在目标坐标系进行将4326动态投影成3857坐标系 图2 动态投影2 访问url，填写动态投影地址加载访问，动态投影操作完成（https://iclient.supermap.io/examples/openlayers/editor.html#01_tiledMapLayer3857） 图3 动态投影3 父主题： 云GIS应用服务器平台

sf3d服务部署 将webapps里面的sf3d文件夹复制到目标服务器的发布目录，即tomcat/webapps目录里面； 在服务器上解压“/sf3d/编码”里面的压缩包，这些数据需要到前端web管理界面配置数据路径，例如dem数据“http://IP:8080/sf3d/440300/dem/layer.json”； 修改sf3d/WEB-INF/classes下面的jdbc.properties里面test_db.url=jdbc:postgresql://192.168.32.44:5432/address_3d?characterEncoding=utf-8，test_db.username=* test_db.password=*； 重启tomcat； 在浏览器输入http://10.190.x.x/sf3d/area/list?adcode=当地编码，返回小区列表则服务OK。 父主题： 二三维底板空间分析软件

安装PostgreSQL 服务信息如下： 表1 服务信息2 服务名 服务器 安装目录 端口 账号/密码 Postgresql-9.6.8 10.190.x.x（主库） 10.190.x.x（从库） /app/postgresql 5432 Postgres/****** 安装PG 准备安装包 将编译好的在ARM架构欧拉系统编译通过的PostgreSQL+PostGIS软件包放到服务器/app目录下并解压： tar xf postgresql_9.6.8_arm_eulerOS.tar.gz 添加用户并授权 groupadd postgres useradd postgres -g postgres -m -d /home/postgres chown -R postgres:postgres /app/postgresql 切换用户，启动PG su - postgres cd /app/postgresql ./bin/pg_ctl -D data -l logfile start 配置主从同步 以172.16.1.22（主），172.16.1.21（从）为例，编辑主节点配置 vi /app/pg/data/pg_hba.conf #如下： host all all slave1ip/32 trust #允许连接到主服务器 host replication replica slave1ip/32 md5 #允许用replica复制 这里在最下面添加两行： host all all 172.16.1.21/32 trust host replication replica 172.16.1.21/32 trust vi /app/postgresql/data/postgresql.conf #如下： data_directory = '/app/postgresql/data' #自定义data目录 listen_addresses = '*' #监听所有ip archive_mode = on #允许归档 archive_command = 'cp %p /app/postgresql/data/pg_archive/%f' #使用命令归档 wal_level = replica #选择热备replica或logical max_wal_senders = 16 #最多多少个流复制链接 wal_keep_segments = 256 #流复制保留最多的xlog数 wal_sender_timeout = 60s #流复制主机发送数据超时时间 max_connections = 5000 #从库的max_connections必须大于主库的 创建用户replica进行主从同步，并赋予登录和复制的权限 登录到数据库里(主节点) su postgres cd /app/postgresql/ ./bin/psql CREATE ROLE replica login replication encrypted password 'replica'; ./bin/pg_ctl -D data -l logfile restart slave1部分：#先备份数据，再同步数据 ./bin/pg_ctl -D data -l logfile stop ## 保持服务处于关闭状态 #自定义存档目录，先把旧的data全部移走 mkdir /home/postgres/pg_archive/ mv /app/postgresql/data/ /home/postgres/pg_archive/ chmod 700 pg_archive && chown postgres:postgres pg_archive/ su postgres rm -rf /app/postgresql/data/* #先将data目录下的数据都清空 #为空的情况下，把主节点的数据用pg_basebackup同步到从节点 cd /app/postgresql/bin pg_basebackup -P -h masterip -U replica -D /app/postgresql/data -X stream ./pg_basebackup -P -h 172.16.1.22 -U replica -D /app/postgresql/data -X stream #配置recovery.conf，最底下添加三行。 cp /app/postgresql/share/recovery.conf.sample /app/postgresql/data/recovery.conf vi /app/postgresql/data/recovery.conf standby_mode = on #该节点为从 primary_conninfo = 'host=$masterip port=5432 user=replica password=replica' #主服务器的ip、user recovery_target_timeline = 'latest' ##trigger_file = '/tmp/trigger_file0' #配置postgresql.conf ## 添加到75行位置，其余内容不需修改。 vi /app/postgresql/data/postgresql.conf max_connections = 5500 #尽量大于主连接数的10% max_standby_streaming_delay = 30s wal_receiver_status_interval = 10s hot_standby = on ##从节点默认用off , 配置on启动psql可查询数据。 hot_standby_feedback = on #出现错误复制，向主机反馈 #开启从数据库. ./bin/pg_ctl -D data -l logfile start netstat -tlnp 查看复制状态（主库172.16.1.22） ./bin/psql select client_addr,sync_state from pg_stat_replication; 图1 查看复制状态 ##主从节点的进程多了wal进程： ps -ef | grep postgres postgres: wal sender process replica 172.16.1.21 postgres: wal receiver process streaming #用pg_controldata命令查询主从集群运行状态 [postgres@host-172-16-1-22 bin]$ ./pg_controldata /app/postgresql/data/ pg_control version number: 960 Catalog version number: 201608131 Database system identifier: 7127200572656879006 Database cluster state: in production [postgres@host-172-16-1-21 bin]$ ./pg_controldata /app/postgresql/data/ pg_control version number: 960 Catalog version number: 201608131 Database system identifier: 7127200572656879006 Database cluster state: in archive recovery 主从搭建成功后，主库的集群状态是in production，从库是in archive recovery，当主库崩溃，可以切换从库为主库。这时候主库状态是shut down，而从库是in production。 父主题： 数据库及中间件服务部署

服务部署 安装包准备 使用 Auto_Deploy 中的apache-tomcat-9.0.58.tar.gz包。 将uniform-auth.war和cas.war 放到 webapps 目录下。 将 application-config.yml 和 cas.properties 放到 config 目录下，config 和 webapps 同级目录，也和 conf 同级目录。 将 uniform_auth.sql 导入到 mysql。 配置数据库、服务 IP 和端口 cas 表名和字段需修改成 uniform_auth.sql 中 sys_user 表名和字段。 #修改数据库： url: jdbc:mysql://192.168.32.3:3306/uniform_auth?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowMultiQueries=true&rewriteBatchedStatements=true username: root password: Fengtu12#$ # cas相关 cas: # 是否启用cas，如果不启用则不做权限验证拦截，创建默认session，使用CasGuestUser作为默认session用户（应对开放型系统的`偷懒`方案，不建议使用） enable: true host: # CAS服务器内网地址，用于服务端对服务端调用，例如验证ticket等（在办公环境可能和 client2-server相同） server-2-server: http://192.168.32.61:8001/cas # CAS对用户访问地址，用于配置用户在客户端跳转的登录登出目的地址 client-2-server: https://10.190.x.x/cas logged.url 支持自定义跳转页面。访问 /cas/login，会跳转到 logged.url 页面。 访问 /cas/login?service=xx，会跳转到 xx 页面。 页面访问 https://10.190.x.x/uniform-auth 预置账户： admin/sf@xxx（管理员账号） yanshi/xxxx（超管账号） 图1 访问a 父主题： 平台运行维护软件部署

安装Manager 数据管理模块的安装需要先解压安装包，然后运行Web Installer使用图形化界面安装。 准备安装包 # 解压出安装目录 tar xvzf TDH-Platform-Transwarp-version.tar.gz # 进入解压后的transwarp目录 cd transwarp #执行install二进制文件 ./install 通过浏览器访问管理节点，进入Web Installer界面 图1 进入Web Installer界面 系统首先需要您阅读Java许可。阅读完毕，单击“同意”进入下一步 图2 下一步 系统将自动检查管理节点的环境配置，主要包括时间、日期、时区及主机名信息并显示在屏幕上，请确认 图3 确认 安装结束后，您会被要求设置Transwarp Manager端口，推荐默认端口“8180” 图4 推荐默认端口 等待安装 图5 等待安装 安装Manager需要一个包含对应版本操作系统的资源库（repo） 图6 repo 如果您选择“使用远程RPM库”，您需要输入已经创建好的资源库的URL： 如果您选择“创建新的RPM库(DVD)”，您需要准备好对应版本操作系统的光盘。 如果您选择“创建新的RPM库(ISO)”，您需要准备好对应版本操作系统的ISO文件。建议您采用ISO镜像方法生成资源库库包。 如果您选择“后台手工配置”，您在该步骤无需进行其他操作。 选择后，系统会清理资源库缓存。 资源库缓存清理完毕后，系统会自动开始安装和配置Transwarp Manager。安装程序会自动安装必需的软件包，全程静默安装，安装配置完成后自动跳转到下一步。 Manager安装完成，可以访问提示的安装地址并使用默认的用户名/密码（admin/******）去登录管理界面继续接下来的配置 图7 安装完成 父主题： 数据底座模块部署

CIM数据汇聚管理软件 服务信息如下： 表1 服务信息 服务名 服务器 安装目录 端口 stdms-service-app 10.190.x.x 10.190.x.x 10.190.x.x /app/stdms-server 8888 stdms 10.190.x.x 10.190.x.x /app/stdms-tomcat-9.0.76 9090 xxl-job-admin 10.190.x.x 10.190.x.x /app/stdms-xxljobs 8181 安装stdms-service-app服务 config文件夹和 stdms-service-app-1.0.0-SNAPSHOT.jar 放在同级目录。 修改配置文件application.yml，配置启动端口和数据源信息 server: port: 8888 …… datasource: type: com.zaxxer.hikari.HikariDataSource driverClassName: org.postgresql.Driver url: jdbc:postgresql://192.168.32.44:5432/stdms_prd?currentSchema=public&characterEncoding=UTF-8&reWriteBatchedInserts=true username: postgres password: ****** 修改redis-prod.properties 配置服务器redis的ip 端口用户名密码 redis.auth.database=11 建议保留默认 redis.session.fqn=gis-dsb-core-stdms-test redis.session.database=4 redis.session.masterName=mymaster redis.session.password=****** #哨兵配置，多个用逗号分隔 redis.session.sentinels=192.168.32.80:26379,192.168.32.80:26380,192.168.32.80:26381 启动、停止 启动： 进入stdms-service-app-1.0.0-SNAPSHOT.jar所在路径，执行 ```shell nohup java -jar stdms-service-app-1.0.0-SNAPSHOT.jar & ``` 停止： Kill -9 进程号 服务验证 将以下地址中的ip和端口修改为实际部署ip和端口查看返回信息 请求地址：http://ip:8888/stdms/api/xml 安装xxl-job-admin服务 application-config.yml 和 xxl-job-admin-2.3.0.jar放在同级目录。 修改配置文件application-config.yml，配置启动端口和数据源信息 server: port: 8181 servlet: context-path: /xxl-job-admin spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver type: DruidDataSource url: jdbc:mysql://192.168.32.3:3306/stdms_xxl_job_prd?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai username: root password: Fengtu12#$ 启动、停止 启动： 进入xxl-job-admin-2.3.0.jar所在路径，执行 ```shell nohup java -jar xxl-job-admin-2.3.0.jar & ``` 停止： Kill -9 进程号 服务验证 将以下地址中的ip和端口修改为实际部署ip和端口 登录系统 请求地址：http://ip:8181/xxl-job-admin 用户名密码 admin/****** 父主题： CIM数据汇聚管理软件部署

服务部署 配置修改 /app/appdeploy/portal/ser-portal/config/application-dev.yml 图1 配置修改1 图2 配置修改2 图3 配置修改3 图4 配置修改4 图5 配置修改5 图6 配置修改6 /app/appdeploy/portal/ser-gateway/config/application-dev.yml 图7 配置修改7 其它，application.yml，tomcat 的 server.xml 等，端口视情况修改。 页面访问 https://10.190.x.x/ 使用 cas 账户： admin/sf@xxx（管理员账号） yanshi/xxxx（超管账号） 图8 页面访问 父主题： 二三维底板服务维护软件部署

配置集群 打开并登录Manager 打开客户端浏览器（推荐使用Google Chrome浏览器），输入安装好的管理节点IP或DNS地址，比如http://172.16.3.108:8180/（172.16.3.108是管理节点的IP地址）。以admin的身份登录Manager 图1 登录Manager 接受最终用户协议 图2 接受 设置集群名字，单击“下一步” 图3 单击下一步 添加集群服务器 单击机柜的名字和描述可以对它们进行编辑 图4 添加集群服务器1 配置RPM库 图5 添加集群服务器2 分配集群节点，并设置管理账号信息 图6 添加集群服务器3 图7 添加集群服务器4 配置完成 图8 配置完成 父主题： 数据底座模块部署

配置空间权限集 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。 图4 选择数据安全 单击数据安全左侧导航树中的“空间权限集”，进入空间权限集页面。 在“空间权限集”页面，找到需要配置的空间权限集，单击权限集名称进入详情页面。 图5 进入空间权限集详情 基本信息：在空间权限集详情页面，基本信息区域可以查看空间权限集名称、ID、管理员等信息，详见图6。 图6 空间权限集基本信息 权限配置：在权限集详情页面，权限配置页签默认展示数据视角，可手动切换到权限视角。在这两种视角下，配置的权限数据是互通的，差异仅为展示视角的不同，推荐您使用权限视角进行批量授权。 数据视角：数据视角下，系统从数据的角度为您提供权限配置入口，当前仅支持MRS数据源。 图7 数据视角权限配置 配置权限时，您可以选择“整库”、“整表”或“整列”等层级，然后在数据源信息中勾选对应层级，进行批量授权。另外，也可以在展开的导航树中，单击对应数据操作列中的“授权”，进行单一授权。 数据视图授权时，系统也提供了“快速模式”和“显示无权限的数据”功能。开启快速模式的情况下，库表列的元数据会从数据目录获取，否则会从数据源获取元数据。已完成元数据采集的场景下推荐开启快速模式。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动填写数据表表名、或者填写“*”作为通配符（当前仅DWS数据源的库/schema/表不支持填写“*”作为通配符）时，此授权实际为对表进行授权；当手动填写数据列名、或者填写“*”作为通配符时，此授权实际为对列进行授权。 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 图8 数据视角授权 权限视角：权限视角下，系统从权限的角度为您提供权限配置入口。 配置权限时，您需要直接单击“新建”，然后依次选择数据层级，进行权限配置。在权限视角下，同一层级（例如数据库、数据表或数据列）不允许选择多个对象进行批量授权。当前权限类型暂不支持选择为“禁止”。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动填写数据表表名、或者填写“*”作为通配符（当前仅DWS数据源的库/schema/表不支持填写“*”作为通配符）时，此授权实际为对表进行授权；当手动填写数据列名、或者填写“*”作为通配符时，此授权实际为对列进行授权。 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 配置权限后，在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图9 权限视角权限配置 用户配置：在权限集详情页面，单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限，与此处的用户绑定起来。您可以单击“添加”，按照用户或用户组（当前暂不支持选择“工作空间角色”）的维度将用户添加到权限集中。其中的用户和用户组来自于当前工作空间中已添加的用户和用户组。 图10 用户配置 子权限集：在权限集详情页面，单击“子权限集”进入子权限集页签。 在子权限集页签，您可以查看到当前权限集下的子权限集。 图11 查看子权限集 日志：在权限集详情页面，单击“日志”进入日志页签。 在日志页签，当权限同步失败后，您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图12 查看日志 权限集配置完成后，权限管控并不会直接生效。需要您手动将权限同步到数据源中，同步成功后权限管控才能生效，详见同步权限集。 实际上，由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，实际使用中推荐通过配置角色进行权限管控。

相关操作 同步空间权限集：空间权限集需要手动同步到数据源中权限管控才能生效。但由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，推荐通过配置角色进行权限管控。 如需同步空间权限集，则在空间权限集页面，单击列表中对应权限集操作栏中的“同步”，即可将权限集同步至数据源。当需要批量同步时，可以在勾选权限集后，在列表上方单击“同步”。 编辑空间权限集：在空间权限集页面，单击列表中对应权限集操作栏中的“编辑”，即可修改权限集名称、管理员、描述信息。 删除空间权限集：在空间权限集页面，单击列表中对应权限集操作栏中的“删除”，即可删除权限集。当需要批量删除时，可以在勾选权限集后，在列表上方单击“删除”。 注意，已配置权限、用户或有子权限集的空间权限集不可删除。如需删除应先清理空间权限集的相关配置。 删除操作无法撤销，请谨慎操作。

约束与限制 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或同步空间权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。 当前通过空间权限集定义权限时，仅支持DLI、MRS Hive和DWS数据源。 空间权限集配置完成后，权限管控并不会直接生效，而是需要将空间权限集手动同步到数据源后，权限管控才能生效。 由于空间权限集主要用于确定工作空间权限范围，而非权限管控，因此一般无需同步空间权限集，实际使用中推荐通过配置角色进行权限管控。如果需要同步，则需注意以下限制： 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 DWS权限集授权时，只支持配置到具体的某一个存在的库/schema/表，不支持填写“*”作为通配符。对于列则支持通配符，若要对表里所有列进行授权，可将列填写为“*”。 DLI权限集同步时会将权限由IAM创建自定义策略绑定到用户/用户组中。IAM最多可创建自定义策略200条，同步前请确保配额充足。 进行权限同步时，需要为dlg_agency委托配置相关权限，请参考准备工作1：授权dlg_agency委托。 当前数据权限管控为白名单机制，是在待授权用户原有权限的基础上增加允许操作条件，不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效，则需要您手动去除待授权用户的原有权限。详见数据权限管控说明。 默认在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用权限应用，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集中的权限管控生效。

前提条件 配置权限集前，已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）和MapReduce服务（MRS Ranger）类型的数据连接，请参考新建数据连接。 配置权限集前，已参考准备工作1：授权dlg_agency委托为dlg_agency委托配置权限。 配置权限集前，已参考同步用户将IAM上的用户信息同步到数据源上。 如果希望在权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息，则需要在数据目录组件，对数据表成功进行过元数据采集，详见元数据采集任务。

创建空间权限集 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。 图1 选择数据安全 单击数据安全左侧导航树中的“空间权限集”，进入空间权限集页面。 在“空间权限集”页面单击“新建”，创建权限集。 图2 创建空间权限集 新建空间权限集配置请参考表1，参数配置完成单击“确定”即可。 表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集，实例下唯一。 建议名称中包含含义，避免无意义的描述，以便于快速识别所需权限集。 *管理员 选择管理员。当前权限集管理员支持最多选2个，且管理员类型必须同为用户或者用户组。 管理员为当前权限集的负责人，具有配置当前权限集内权限的能力。管理员职能范围： 权限配置：为权限集分配数据源权限。 用户配置：将当前集合内权限分配给用户、用户组或工作空间角色。 创建权限集：基于当前权限集新建权限集和角色，新建权限集的权限不会大于当前权限集。 描述 为更好地识别权限集，此处加以描述信息。 图3 创建空间权限集配置

数据开发中的对象 数据连接：定义访问数据实体存储（计算）空间所需信息的集合，包括连接类型、名称和登录信息等。 解决方案：解决方案为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 作业：作业由一个或多个节点组成，执行作业可以完成对数据的一系列操作。 脚本：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。 节点：定义对数据执行的操作。 资源：用户可以上传自定义的代码或文本文件作为资源，以便在节点运行时调用。 表达式：数据开发作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。数据开发EL表达式包含简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量：环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所使用到的信息。 补数据：手工触发周期方式调度的作业任务，生成某时间段内的实例。

数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度，周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时，系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警，作业和任务发生错误时可及时通知相关人，保证业务正常运行。

资产筛选 对于技术资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。

资产详情 本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表，单击任意数据表，进入数据表详情页面。 在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 图2 查看详情 在“权限”页签，可申请数据表权限或给其他用户授权。 在未上线数据安全组件的区域，申请权限和授权流程由数据目录组件提供，详见数据表权限（待下线）。 在已上线数据安全组件的区域，申请权限和授权流程由数据安全组件提供。 在已上线数据安全组件的区域，数据表权限功能已由数据安全组件提供，不再作为数据目录组件能力。 数据安全组件当前在上海一、上海二、乌兰察布一、华南广州和北京四区域部署上线。 图3 权限页签详情 在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 图4 管理列属性 在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见通过数据地图查看数据血缘关系。数据开发作业配置了支持自动血缘的节点或手动配置节点的血缘关系后，作业执行时可以自动解析，在数据目录中展示数据血缘。 在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI、OBS类型数据表查看概要，概要采样方式以元数据采集任务配置为准）。 单击“更新”，可更新概要信息。 在“数据预览”页签，预览当前表的业务数据。根据列的分类信息，支持对预览数据根据脱敏策略的设置进行实时脱敏。 数据预览支持的数据源类型：DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签，查看数据表变更详情。

约束限制 业务资产和指标资产来自于数据架构组件，会随数据架构同步的数据更新，但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的数据连接信息来自于管理中心的数据连接，会随管理中心同步的数据更新，但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的库表列等信息来自于元数据采集任务，是否更新和自动删除取决于元数据采集任务的参数配置，详情请参见任务管理。 技术资产中的数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。需要注意的是，数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。

前提条件 已新增Python脚本，请参见新建脚本。 已新建主机连接，该Linux主机配有用于执行Python脚本的环境。新建主机连接请参见配置主机连接。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本，否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定，详情参见编辑锁定功能。