华为云用户手册

x-apigateway-ratelimits.policy.special 含义：特殊流控策略定义。 作用域：x-apigateway-ratelimits.policy 示例： x-apigateway-ratelimits: customRatelimitName: api-limit: 200 app-limit: 200 user-limit: 200 ip-limit: 200 interval: 1 unit: MINUTE shared: false special: - type: USER limit: 100 instance: xxxxxxxx 表1 参数说明 参数 是否必选 类型 说明 type 是 String 特殊流控策略类型，支持APP、USER limit 是 Number 访问次数 instance 是 String 特殊APP或USER的对象标识 父主题： 扩展定义

x-apigateway-backend.mockEndpoints 含义：API网关定义的MOCK类型API后端服务定义。 作用域：x-apigateway-backend 示例： paths: '/users/{userId}': get: produces: - "application/json" parameters: - name: "X-Auth-Token" description: "认证token" type: "string" in: "header" required: true responses: default: description: "default response" x-apigateway-request-type: "public" x-apigateway-backend: type: "MOCK" mockEndpoints: result-content: "mocked" 表1 参数说明 参数 是否必选 类型 说明 result-content 是 String MOCK返回结果 父主题： 扩展定义

x-apigateway-ratelimit 含义：引用流控策略。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/path': get: x-apigateway-ratelimit: 'customRatelimitName' 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-ratelimit 否 String 流控策略 父主题： 扩展定义

x-apigateway-auth-type 含义：基于Swagger的apiKey认证格式，定义API网关支持的特有认证方式。 作用域：Security Scheme Object(2.0)/Security Scheme Object(3.0) Swagger： securityDefinitions: apig-auth-app: in: header name: Authorization type: apiKey x-apigateway-auth-type: AppSigv1 apig-auth-iam: in: header name: unused type: apiKey x-apigateway-auth-type: IAM OpenAPI示例： securitySchemes: apig-auth-app: in: header name: Authorization type: apiKey x-apigateway-auth-type: AppSigv1 apig-auth-iam: in: header name: unused type: apiKey x-apigateway-auth-type: IAM 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-auth-type 是 String API网关认证方式，支持AppSigv1、IAM type 是 String 认证类型，仅支持apiKey name 是 String 用于认证的参数名称 in 是 String 仅支持header description 否 String 描述信息 父主题： 扩展定义

x-apigateway-backend.httpVpcEndpoints 含义：API网关定义的HTTP VPC类型API后端服务定义。 作用域：x-apigateway-backend 示例： paths: '/users/{userId}': get: produces: - "application/json" parameters: - name: "X-Auth-Token" description: "认证token" type: "string" in: "header" required: true responses: default: description: "default response" x-apigateway-request-type: "public" x-apigateway-backend: type: "HTTP-VPC" httpVpcEndpoints: name: "vpc-test-1" scheme: "http" method: "GET" path: "/users" timeout: 30000 表1 参数说明 参数 是否必选 类型 说明 name 是 Array VPC通道名称 scheme 是 String 后端请求协议定义，支持http、https method 是 String 后端请求方法，支持GET、POST、PUT、DELETE、HEAD、OPTIONS、PATCH、ANY path 是 String 后端请求路径，支持路径变量 timeout 否 Number 后端请求超时时间，单位毫秒，缺省值为5000，取值范围为1 ~ 60000 父主题： 扩展定义

x-apigateway-ratelimits.policy 含义：流控策略定义。 作用域：x-apigateway-ratelimits 示例： x-apigateway-ratelimits: customRatelimitName: api-limit: 200 app-limit: 200 user-limit: 200 ip-limit: 200 interval: 1 unit: MINUTE shared: false special: - type: USER limit: 100 instance: xxxxxxx 表1 参数说明 参数 是否必选 类型 说明 api-limit 是 Number API访问次数限制 user-limit 否 Number 用户访问次数限制 app-limit 否 Number 应用访问次数限制 ip-limit 否 Number 源IP访问次数限制 interval 是 Number 流控策略时间周期 unit 是 String 流控策略时间周期单位，支持SECOND、MINUTE、HOUR、DAY shared 否 Boolean 是否共享流控策略 special 否 x-apigateway-ratelimits.policy.special 对象数组 特殊流控策略 父主题： 扩展定义

x-apigateway-access-controls 含义：访问控制策略名称与关联策略映射。 作用域：Swagger Object 示例： x-apigateway-access-controls: customAccessControlName: acl-type: "DENY" entity-type: "IP" value: 127.0.0.1,192.168.0.1/16 表1 参数说明 参数 是否必选 类型 说明 customAccessControlName 否 x-apigateway-access-controls.policy 指定名称的访问控制策略。 要使用该策略，将x-apigateway-access-control属性值引用为该策略名称。 父主题： 扩展定义

兼容性说明 支持OpenAPI规范。 OpenAPI规范（OAS），是定义一个标准的、与具体编程语言无关的RESTful API的规范。OpenAPI规范的前身是Swagger规范，API网关目前支持两种OpenAPI规范：Swagger 2.0或OpenAPI 3.0。为了方便区分，下文中OAS表示OpenAPI规范（包含Swagger 2.0或OpenAPI 3.0），Swagger表示Swagger 2.0规范，OpenAPI表示OpenAPI 3.0规范。 API网关导入或导出的OAS对象，与API网关对象定义的映射关系。 请求参数类型与API网关参数类型差异。 API请求路径模板语法差异。 导入API时支持的API网关扩展字段。 表1 OAS对象与API网关对象定义的映射关系 Swagger对象 OpenAPI对象 （以3.0.0为例） API网关对象 导入时行为 导出时行为 info.title info.title API分组名称 导入到新的分组：新的分组名称 导入到已有分组：未使用 支持汉字、英文、数字、下划线，且只能以英文或汉字开头，3 ~ 64字符 填充为分组名称 info.description info.description API分组描述 导入到新的分组：新的分组描述 导入到已有分组：未使用 填充为分组描述信息 info.version info.version 版本 未使用 用户指定 未指定则使用当前时间 host server.url API分组域名 未使用 优先使用API分组的第一个自定义域名 如果分组未绑定自定义域名则使用分组的独立域名 basePath - - 将与每条API的请求路径拼接起来使用 未填充 paths.path paths.path API请求路径 与basePath拼接起来作为API请求路径 填充为API请求路径 operation.operationId operation.operationId API名称 作为API名称 填充为API名称 operation.description operation.description API描述 作为API描述 填充为API描述 operation.parameters operation.parameters API前端请求参数 作为API请求参数 填充为API请求参数 operation.schemes - API前端请求协议 作为API请求协议 填充为API请求协议 operation.responses operation.responses - 未使用 固定填充default响应定义 operation.security operation.security API认证方式 API认证方式 结合x-apigateway-auth-type 填充为API认证方式 结合x-apigateway-auth-type 表2 请求参数类型和API网关参数类型差异 OAS类型 API网关类型 支持的参数属性字段 integer long float double number maximum minimum default enum required description string string maxLength minLength default enum required description 其它类型 不支持 不支持 表3 API请求路径模板语法差异 语法 OAS类型Swagger类型 API网关 /users/{userName} 支持 支持 /users/prefix-{userName} /users/{userName}-suffix /users/prefix-{userName} -suffix 支持 前端请求定义不支持 后端请求定义支持 /users/{proxy+} 不支持 前端请求定义支持 后端请求定义不支持

限制说明 API网关参数限制，如下所示。 API网关暂不支持formData和body位置的请求参数定义。 API网关暂不支持consumes和produces定义。 API网关中，header位置的参数名称，不区分大小写。 后端策略限制，如下所示。 默认后端类型为HTTP，策略后端支持HTTP、HTTP-VPC 默认后端类型为HTTP-VPC，策略后端支持HTTP、HTTP-VPC 默认后端类型为function，策略后端支持function 默认后端类型为mock，策略后端支持mock

x-apigateway-backend-policies 含义：API网关定义的API后端策略。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/users/{userId}': get: produces: - "application/json" responses: default: description: "default response" x-apigateway-request-type: "public" x-apigateway-backend: type: "backend endpoint type" x-apigateway-backend-policies: - type: "backend endpoint type" name: "backend policy name" conditions: - type: "equal/enum/pattern", value: "string", origin: "source/request_parameter", parameter_name: "string" 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-backend-policies 否 x-apigateway-backend-policies 策略后端 type 是 String 后端服务类型，支持HTTP、HTTP-VPC、FUNCTION、MOCK name 是 String 后端策略名称 parameters 否 x-apigateway-backend.parameters 后端参数定义 httpEndpoints 否 x-apigateway-backend.httpEndpoints HTTP类型服务定义 httpVpcEndpoints 否 x-apigateway-backend.httpVpcEndpoints HTTP-VPC类型服务定义 functionEndpoints 否 x-apigateway-backend.functionEndpoints FUNCTION类型服务定义 mockEndpoints 否 x-apigateway-backend.mockEndpoints MOCK类型服务定义 conditions 是 x-apigateway-backend-policies.conditions 策略条件数组 父主题： 扩展定义

x-apigateway-backend 含义：API网关定义的API后端服务定义。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/users/{userId}': get: produces: - "application/json" responses: default: description: "default response" x-apigateway-request-type: "public" x-apigateway-backend: type: "backend endpoint type" 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-backend 是 String API后端服务定义 type 是 String 后端服务类型，支持HTTP、HTTP-VPC、FUNCTION、MOCK parameters 否 x-apigateway-backend.parameters 后端参数定义 httpEndpoints 否 x-apigateway-backend.httpEndpoints HTTP类型后端服务定义 httpVpcEndpoints 否 x-apigateway-backend.httpVpcEndpoints HTTP-VPC类型后端服务定义 functionEndpoints 否 x-apigateway-backend.functionEndpoints FUNCTION类型后端服务定义 mockEndpoints 否 x-apigateway-backend.mockEndpoints MOCK类型后端服务定义 父主题： 扩展定义

x-apigateway-plugins 含义：API网关定义的API插件服务。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/path': get: x-apigateway-plugins: ['Plugin_mock'] x-apigateway-plugins 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-plugins 否 Array API所绑定的插件名列表。 父主题： 扩展定义

x-apigateway-any-method 含义：API网关定义的API请求方法，用以匹配未指定定义的HTTP方法。 作用域：Path Item Object(2.0)/Path Item Object(3.0) 示例： paths: '/path': get: produces: - application/json responses: "200": description: "get response" x-apigateway-any-method: produces: - application/json responses: "200": description: "any response" 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-any-method 否 String API请求方法 父主题： 扩展定义

x-apigateway-request-type 含义：API网关定义的API请求类型，支持public和private。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/path': get: x-apigateway-request-type: 'public' 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-request-type 是 String API类型，支持public和private。 public：公开类型API，可以上架。 private：私有类型API，不会被上架。 父主题： 扩展定义

x-apigateway-access-control 含义：引用访问控制策略。 作用域：Operation Object(2.0)/Operation Object(3.0) 示例： paths: '/path': get: x-apigateway-access-control: 'customAccessControlName' 表1 参数说明 参数 是否必选 类型 说明 x-apigateway-access-control 否 String 访问控制策略 父主题： 扩展定义

服务控制 系统调用关系管理 消费者访问数据服务共享平台中web服务共享资源，数据管理员给消费者分配web服务的访问权限。其主要功能包括： 支持web服务调用关系管理； 支持Server端调用关系控制处理； 支持Server端调用关系控制告警信息处理； 支持消费者与Web服务调用关系控制关系配置。 服务状态管理 消费者访问数据服务共享平台中Web服务共享资源，数据管理员对服务状态进行管理，控制服务能否被消费方访问调用。 支持对已发布的web服务进行启动、暂停、恢复、注销； 支持按照操作名称、操作编码、接口名称、接口编码查询。 系统IP地址管理 消费者访问数据服务共享平台中web服务资源，数据管理员给消费者分配web服务的IP白名单访问权限，对于不在IP此名单中的用户，不能访问数据服务资源。其主要功能包括： web服务IP白名单控制管理； Server端IP白名单控制处理； Server端IP白名单控制告警信息处理； 消费者与Web服务IP白名单控制关系配置。 父主题： 数据共享交换管理操作流程

安装前准备 准备硬件与操作系统 服务器 配置 数量 用途 Linux服务器 8线程cpu/32G 300G 2 部署标签画像应用集群 Linux服务器 16线程cpu/32G 300G 2 部署标签画像接口集群 准备软环境 环境 软件/工具 版本 备注 基础环境 JDK 华为jdk-8u202 Java程序运行时环境 Tomcat 8.5.63 程序中间件，内嵌在应用服务中 数据平台 MySQL 5.7.22+ 配置库 DWS 6.5.1+ 运算库 准备工具和软件 软件工具 作用 SSH远程登录工具（例如PuTTY） 跨平台远程访问工具。用于在软件安装过程中在Windows系统上访问各linux服务器进行安装操作 WinSCP 跨平台文件传输工具。用于在Windows系统和Linux系统间传输文件，例如上传软件包、上传配置文件等操作 网络浏览器 用于登录标签画像平台，版本要求： Google Chrome 建议使用Google Chrome 78以上版本 Internet Explorer 建议使用Internet Explorer 11以上版本 Mozilla Firefox 建议使用Mozilla Firefox 80以上版本 7-zip 7-zip 用于解压“ *.zip”和“ *.rar”文件 建议使用7-Zip 16.04版本 建议使用WinRAR 5.1版本 父主题： 数据标签库管理实施步骤

DSP Studio 安装与配置 创建“DSPStudio”目录。 用解压工具将 “Primeton_DSP_7.0_Studio_Windows_64.zip” 安装包解压至 “DSPStudio” 目录中。 验证 在“DSPStudio” 目录中，双击“startDSPStudio.cmd”，启动DSP Studio，如下图所示。 卸载 关闭DSP Studio后，直接删除“DSPStudio”目录来卸载。 父主题： 数据共享交换管理实施步骤

检查服务器时间 服务器的时间、市区会影响系统的准确性，因此要检查时间是否准确，时区是否为东八区，执行命令： date -R 最后字段为“+0800”则表示时区为东八区，如果不是，或者时间不准确，则需要联系服务器管理员修改。 上传程序包以及配置文件 上传应用部署包taglibr.tar.gz文件到服务器目标路径，包含了程序包，执行解压命令：tar -zxvf taglibr.tar.gz 注：本文档以安装到/home位置进行说明。 父主题： 安装过程

数据标签库管理常见问题 修改应用默认端口 1、停止应用 2、修改taglibr/conf/server.xml中如下内容 3、启动应用 软件安装后无法启动？ 查看应用安装路径下的bdatag/logs/catalins.out日志文件，具体分析。命令如下： cat bdatag/logs/catalins.out 一般应用启动失败，较常见的情况是端口冲突，可通过日志具体分析。查看到具体时间那个端口冲突之后，则需要对端口进行修改： vi bdatag/engine/tomcat/conf/server.xml 查找文件内容中的冲突端口，然后修改成新的端口。例如日志中显示8005端口冲突，则在文件内容中找到8005，修改成其他端口如8006，然后保存重启应用。 应用启动后无法访问 检查应用与数据库是否正常启动 查看服务器的防火墙是否关闭 linux 6及以下操作系统使用命令 service iptables status linux 7及以上操作系统使用命令 systemctl status firewalld 如果防火墙是启动状态，则确认是否可以关闭防火墙，如果可以则关闭防火墙 linux 6及以下操作系统使用命令 service iptables stop linux 7及以上操作系统使用命令 systemctl stop firewalld 如果不能关闭防火墙，则另外处理网络问题。 检查浏览器端到应用服务器之间网络是否连通，使用ping跟telnet命令 ping 服务器IP 例：ping 192.168.10.31 telnet 服务器ip 应用端口 例：telnet 192.168.10.31 18089 ping返回结果失败，telnet也失败，网络不通。 ping返回结果失败，telnet成功，则访问地址http：//IP：端口/health.html，如果可以打开页面，则表示应用存在问题，先检查taglibr/bda-config/bda.conf中的配置是否正确，如果配置正确则检查应用服务器跟数据库服务器之间的网络是否连通，同时查看 taglibr/logs/catalins.out日志报错信息。 ping返回结果正常，但是telnet返回结果失败表示网络通，端口不通。此时去查看应用的使用端口，如果应用使用端口无误，则网络不通。 应用运行一段时间候，出现部分功能不正常或者所有页面均为空白页 磁盘空间可能被其他程序占用，此时可查看服务器磁盘剩余空间 df -h 如果有使用率达到百分百的，则需要删除一些无用的文件，以留出空间后再重启应用。 父主题： 常见问题

调度管理 作业策略管理 支持自定义作业执行的频度、日历信息，可以为不同作业定义不同调度频率和日历。 作业计划场景 数据服务共享平台为开发人员提供按照计划自动执行作业的能力，支持在计划中配置自定义的频度、日历、作业、作业执行优先级等内容。 作业图形编排 数据服务共享平台为开发人员提供图形编排调度作业的能力，包括作业的设计优先级，依赖关系等。 事件触发 数据服务共享平台为开发人员提供基本的调度管理触发功能，支持通过事件触发作业的执行，通过文件到达的方式触发作业、作业流的运行，其主要功能包括： 支持按照名称进行查询； 时间基本信息维护、修改、查看； 与已创建的作业、作业流关联。 父主题： 数据共享交换管理操作流程

管道服务安装 单机部署时管道服务不需要安装，多机部署时则部署至规划好的管道服务器上面 管道服务安装全部使用普通用户，执行：su - dpe 上传dpe-flow-plane-pipeline-svcs-x.y.m.n.tar.gz安装包到/home/dpe下 解压tar -zxvf dpe-flow-plane-pipeline-svcs-x.y.m.n.tar.gz && cd dpe-flow-plane-pipeline-svcs 修改配置文件 vi dpe-common.properties vi dpe-master-for-kernel.properties 这两个配置文件需要和dpe-control-plane-mgr-svcs下的完全一致 vi dpe-kernel-svr.properties ###################################################################### ## 平台elastic代理地址 platform_elastic_proxy_url=127.0.0.1:19400 ## 开放空间落地数据elastic代理地址 openspace_elastic_proxy_url=127.0.0.1:19401 ############################kong-gateway############################# #日志级别(error warn notice info debug) #路径/etc/kong/kong.conf kong_log_level=notice #日志目录 kong_log_dir=/data/kong/logs #是否配置ssl证书(true为配置ssl证书,false为不配置ssl证书) ssl=false #ca证书,例如:(/home/dpe/cert/8463467__dtsclouds.com.pem)写完整文件地址 ssl_cert=/home/dpe/cert/8463467__dtsclouds.com.pem #私钥文件例如:(/home/dpe/cert/8463467__dtsclouds.com.key)写完整文件地址 ssl_cert_key=/home/dpe/cert/8463467__dtsclouds.com.key ##################################################################### ##总共有几台 dpe-kernel 设备 kernel_size=1 ##第几台 dpe-kernel 设备 kernel_index=1 执行安装脚本 bash ./config-all.sh bash ./install-all.sh bash ./start-all.sh 父主题： DPE软件服务部署

资源和成本规划 建议采用分布式部署的方式： DPE按五个节点来配置云服务器资源； DCE按三个节点来配置云服务器资源； 后期随着业务量的增加，可支持横向扩展云服务器资源，以满足业务使用。 表1 资源和成本规划 组件 云资源 规格 数量 每月费用（元） 备注 DPE DPE控制平面 带宽费用：独享 | 全动态BGP | 按带宽计费 | 2Mbit/s 弹性公网IP费用：1个 1 38.33 - DPE控制平面服务器 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 0 0.00 DPE控制平面服务与DPE流通管道服务共用服务器资源 DPE控制平面mysql 规格：MySQL | 5.7 | 主备 | 通用型 | 2核4GB 存储空间：SSD云盘 | 150GB 1 538.33 - DPE控制平面elasticsearch 规格：X86计算 | 内存优化型 | m3ne.large.8 | 2核 | 16GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 335.00 - DPE控制平面分布式缓存服务 产品类型：基础版 | 5.0 | Cluster 集群 | X86 | DRAM | 2 | 4 GB 1 306.23 - DPE开放空间资源接入计算服务器1 规格：X86计算 | 内存优化型 | m3ne.large.8 | 2核 | 16GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DPE开放空间资源接入计算服务器2 规格：X86计算 | 内存优化型 | m3ne.large.8 | 2核 | 16GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DPE开放空间资源接入计算服务器3 规格：X86计算 | 内存优化型 | m3ne.large.8 | 2核 | 16GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DPE开放空间缓存kafka 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 2 1223.33 - DPE开放空间缓存elasticsearch 规格：X86计算 | 计算密集型 | ess.spec-8u16g | 8核 | 16GB 存储类型：高I/O | 500GB 3 3510.85 - DPE流通管道 带宽费用：独享 | 全动态BGP | 按带宽计费 | 10Mbit/s 弹性公网IP费用：1个 1 429.17 - DPE流通管道服务器 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - Web应用防火墙 规格选择：标准版 域名扩展包：1个 1 3733.33 - 云备份 存储库类型：云服务器备份存储库 | 1000GB 1 166.00 - Anti-DDoS流量清洗 防护设置：默认设置 流量清洗阈值：120 Mbps 1 0.00 - 企业主机安全 规格：企业版 5 375 2台DPE流通管道服务器、3台DPE开放空间资源接入计算服务器 DCE DCE控制平面 带宽费用：独享 | 全动态BGP | 按带宽计费 | 5Mbit/s 弹性公网IP费用：1个 1 95.83 - DCE控制平面服务器 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 0 0.00 DCE控制平面服务与DCE流通管道服务共用服务器资源 DCE控制平面mysql 规格：MySQL | 5.7 | 主备 | 通用型 | 4核8GB 存储空间：SSD云盘 | 100GB 1 804.17 - DCE控制平面elasticsearch 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 4核 | 32GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 611.67 - DCE控制平面分布式缓存服务 产品类型：基础版 | 5.0 | Cluster 集群 | X86 | DRAM | 2 | 4 GB 1 306.23 - DCE流通管道 带宽费用：独享 | 全动态BGP | 按带宽计费 | 10Mbit/s 弹性公网IP费用：1个 1 429.17 - DCE流通管道服务器 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DCE联合计算空间计算服务器1 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DCE联合计算空间计算服务器2 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 8核 | 64GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 1 1334.80 - DCE联合计算空间缓存服务器kafka 规格：X86计算 | 内存优化型 | m3ne.xlarge.8 | 4核 | 32GB 镜像：CentOS | CentOS 7.9 64bit 系统盘：通用型SSD | 100GB 2 1223.33 - DCE联合计算空间缓存服务器elasticsearch 规格：X86计算 | 计算密集型 | ess.spec-8u16g | 8核 | 16GB 存储类型：高I/O | 500GB 3 3510.85 - Web应用防火墙 规格选择：标准版 域名扩展包：1个 1 3733.33 - 云备份 存储库类型：云服务器备份存储库 | 1000GB 1 166.00 - Anti-DDoS流量清洗 防护设置：默认设置 流量清洗阈值：120 Mbps 1 0.00 - 企业主机安全 规格：企业版 3 225.00 1台DPE流通管道服务器、2台DPE开放空间资源接入计算服务器 合计 每月费用31104.75元 -

数据层服务安装 数据层服务安装全部使用普通用户，执行：su - dce 上传dce-control-plane-data-svcs-x.y.m.n.tar.gz安装包到/home/dce 解压 tar -zxvf dce-control-plane-data-svcs-x.y.m.n.tar.gz && cd dce-control-plane-data-svcs 修改配置文件 vi /home/dce/dce-control-plane-data-svcs/dce-common.properties #-----------------------dce-common-------------------------------##### ##mysql 配置 mysql_user=dce mysql_password=dce@mysql123 mysql_host=dce-control-plane-data-svr mysql_port=3306 ########################################## pg_host=dce-control-plane-data-svr #pgsql端口 pg_port=5432 #pgsql数据库用户名 pg_user=kong #pgsql数据库密码 pg_password=SXkjkong2022dce #pgsql数据库名 pg_database=kong ########################################## ##平台elastic帐号信息配置 platform_elastic_user=elastic platform_elastic_password=7yjBvwdEgFC8 platform_elastic_hosts=dce-control-plane-data-svr:9200,dce-control-plane-data-svr:9201,dce-control-plane-data-svr:9202 ########################################## ##redis集群 配置 rediscluster_serverlist=dce-control-plane-data-svr:7000,dce-control-plane-data-svr:7001,dce-control-plane-data-svr:7002,dce-control-plane-data-svr:7003,dce-control-plane-data-svr:7004,dce-control-plane-data-svr:7005 rediscluster_auth=qwersxkj1234 ##沙盒数据落地kafka配置信息 lcache_kafka_hosts=dce-union-compute-space-svr:9091,dce-union-compute-space-svr:9092,dce-union-compute-space-svr:9093 ##沙盒数据落地elastic配置信息 lcache_elastic_hosts=dce-union-compute-space-svr:9500,dce-union-compute-space-svr:9501,dce-union-compute-space-svr:9502 lcache_elastic_user=elastic lcache_elastic_password=UxgfKqjzDPyl 将dce-control-plane-data-svr修改为数据层服务所在的服务器ip地址 将dce-union-compute-space-svr修改为联合计算所在服务器的ip地址 vi /home/dce/dce-control-plane-data-svcs/dce-master-data.properties #本机ip地址 local_ipaddress=当前服务器的ip地址 ########################################## ##平台访问URL admin_accessurlprefix=http://dce-control-plane-mgr-svr:18433 dce-master-data.properties只需要修改这两个配置项 执行安装脚本 bash ./config-all.sh bash ./install-all.sh bash ./start-all.sh 父主题： DCE软件服务部署

计算与缓存服务安装 计算与缓存服务安装全部使用普通用户，执行：su - dpe 配置相互解析 :vi /etc/hosts ip 主机名 配置免密登录 :ssh-keygen ssh-copyid 主机名 所有节点都需要执行 上传dpe-open-space-cache-svcs-x.y.m.n.tar.gz安装包到/home/dpe 解压 tar -zxvf dpe-open-space-svcs-x.y.m.n.tar.gz && cd dpe-open-space-svcs 修改配置文件 vi dpe-common.properties 这个配置文件需要与dpe-control-plane-data-svcs里面的dpe-common.properties完全一致 vi dpe-open-space-svrs.properties ##################kafka################## #本机ip地址 local_address=当前节点的ip地址 ######################################### #openspace主机列表,地址之间用英文逗号分隔,可配置1到n台 cluster_list=所有节点的ip地址 #当前机器序号,序号必须唯一,序号从1开始 local_number=1 #kafka kafka_dir=/data/kafka ######################################### ################elasticsearch############ #elasticsearch #es节点内存,最高不能超过31g,最小1g es_heap_size_max=1g es_heap_size_min=1g #集群名(默认为dpe-es) cluster_name=dpe-es #数据目录路径(默认/data/openspace-es) es_data_dir=/data/openspace-es ########################################## ##################################################################### #hadoop服务器列表(写主机名,以英文逗号分隔,并且需要在/etc/hosts文件中做好解析,相互配置免密登录) server_list=dpe-open-space-cc-1,dpe-open-space-cc-2,dpe-open-space-cc-3 #指定hdfs服务器 hdfs_server=dpe-open-space-cc-1 #指定secondarynamenode服务器 secondarynamenode_server=dpe-open-space-cc-2 #指定resourcemanager服务器地址 resourcemanager_server=dpe-open-space-cc-3 #hadoop内存大小(GB) hadoop_memory_size=8 #yarn虚拟核心数 yarn_vcpu_cores=8 #指定hadoop安装地址(所有服务器安装目录必须一致) hadoop_installdir=/usr/local/hadoop #core-site.xml文件,配置hadoop数据目录 hadoop_datadir=/data/hadoop #hadoop安装用户 hadoop_installuser=dpe 执行安装脚本 bash ./config-all.sh bash ./install-all.sh bash ./start-all.sh 父主题： DPE软件服务部署

应用场景 企业内外部数据共享交换 大中型集团型企业内部管理比较规范，合规安全要求高。其内部各职能部门、各业务板块、各分子公司之间，往往也需要进行财务、业务、经营、战略等各个层面的业务协同及数据共享交换，如：财务数据、HR数据、投融资数据等。数据提供方与数据使用方之间也需要通过一套可信、可控、可追溯的数据共享交换技术来实现安全管控，保障数据提供方的数据主权及合规安全。 企业上下游业务协同 企业研发、生产、销售、供应、物流、服务全价值链都需要与外部供应商、研发伙伴、服务伙伴等相关上下游企业进行协同，如：研发设计协同、制造生产协同、供应链物流协同、运维服务协同。协同过程中需要实现各类数据可信、可控、可追溯的共享流通，如：研发（协同、图纸、程序、文案等、生产（生产进度、状态、异常等）、销售/供应（库存、交期、价格等）、物流（发运、在途、物品状态等）、服务（设备资源、运行状态、报警事件等），以确保数据流通全过程安全可控，实现企业安全放心流通及使用数据。 行业产业链协同 为实现产业链的数字化转型升级，提升产业链的整体竞争力，各省市政府机构主导建立了工业互联网平台等各类行业产业链协同平台，为产业链上的相关企业需要进行业务协同提供能力支撑，从而实现产业链商业模式的创新。如：多主体下架构及方案设计、仿真验证、业务协同研发等集成研发与模型设计协同；外协工厂生产任务及计划定制中人、机、料、法、环等配套供给协同；人员与设备等服务能力跨企业动态调度协同；行业专家库、工具库、运维知识库、客户信息库等服务资源共享协同等。 政府公共数据开发运营 政府公共数据在政府各级部门内部实现采集、汇聚、加工、融合、共享、开放的基础上，还需要通过构建安全可控的数据流通交易技术体系及授权运营机制，在保障安全合规的基础上对数据进一步加工处理及挖掘价值，转化成公共数据产品和数据服务后进入要素流通交易市场，为城市治理、公共服务、产业发展、医疗防疫、交通出行、市场监管等更广泛的应用场景赋能，从而真正释放公共数据价值，最大化社会效益和经济效益。

方案架构 图1 业务架构 方案由华为云计算底座+伙伴数据空间产品形成面向企业级/行业级/产业级的数据可信流通解决方案： 领域数据空间流通平台：包含DPE数据提供引擎、DCE数据消费引擎，负责数据提供方与数据消费方间的数据可信流通；它们以软件形式部署在ECS上。 数据流通运营：由DCOP数据圈运营平台承接，提供数据流通的运营支撑能力，它以软件形式部署在ECS上。 专业服务：专业服务能力包含：维保、驻场运维、数据集成、咨询服务。 EDS交换数据空间：华为提供的数据空间云服务，用在HC场景。 依赖云服务：数据流通引擎依赖ECS/OBS/RDS/MRS/CSS，运营平台依赖DDM/OBS/CDN，由云底座提供。 业务场景：企业内外部数据交换；产业链上下游业务协同；公共数据授权开发运营等。 基础设施：支持HC/HCS，其中HC选用EDS，HCS选用DPE/DCE，同时两者间互通支持线上线下协同场景；运营平台都选DCOP。

方案优势 有效支撑数据产权三权分置制度的技术落地、保障各方合法权益； 可信/可控/可追溯的技术手段，确保数据流通过程中的合规； 兼顾数据持有权、加工使用权的跨域使用控制技术手段，避免复制搬运数据，而是让数据以可控可计量参与社会化大生产的方式，充分发挥数据在不同场景下的价值； 通过去中心化、轻量化、普适性强的技术手段，确保数据能高效流通使用； 支持行业级的数据商品供需撮合。数据商可基于上下游之间实际业务往来关系，管理和运营自己的数据好友圈，满足了多元化数据交易需求。

管道服务安装 单机部署时管道服务不需要安装，多机部署时则部署至规划好的管道服务器上面 管道服务安装全部使用普通用户，执行：su - dce 上传dce-flow-plane-pipeline-svcs-x.y.m.n.tar.gz安装包到/home/dce下 解压 tar -zxvf dce-flow-plane-pipeline-svcs-x.y.m.n.tar.gz && cd dce-flow-plane-pipeline-svcs 修改配置文件 vi dce-common.properties vi dce-master-for-kernel.properties 这两个配置文件需要和dce-control-plane-mgr-svcs下的完全一致 vi dce-kernel-svr.properties ###################################################################### ## 平台elastic代理地址 platform_elastic_proxy_url=127.0.0.1:19400 ############################kong-gateway############################# #日志级别(error warn notice info debug) #路径/etc/kong/kong.conf kong_log_level=notice #日志目录 kong_log_dir=/data/kong/logs #是否配置ssl证书(true为配置ssl证书,false为不配置ssl证书) ssl=false #ca证书,例如:(/home/dce/cert/dtsclouds.com.pem)写完整文件地址 ssl_cert=/home/dce/cert/dtsclouds.com.pem #私钥文件例如:(/home/dce/cert/dtsclouds.com.key)写完整文件地址 ssl_cert_key=/home/dce/cert/dtsclouds.com.key ##es落地数据删除配置 esdata_delete_batchsize=5000 esdata_delete_once_maxsize=1000000 ##mysql落地数据删除配置 mysqldata_delete_batchsize=1000 mysqldata_delete_once_maxsize=50000 执行安装脚本 bash ./config-all.sh bash ./install-all.sh bash ./start-all.sh 父主题： DCE软件服务部署

控制平面服务安装 控制平面服务安装全部使用普通用户，执行：su - dce 创建licence目录mkdir /home/dce/licence 上传licence文件至licence目录 上传dce-control-plane-mgr-svcs-x.y.m.n.tar.gz安装包到/home/dce下 解压 tar -zxvf dce-control-plane-mgr-svcs-x.y.m.n.tar.gz && cd dce-control-plane-mgr-svcs 修改配置文件 vi dce-common.properties 这个配置文件需要与dce-control-plane-data-svcs里面的dce-common.properties完全一致 将下面中的配置文件项dce-control-plane-mgr-svr替换成控制平面服务器的ip地址 vi dce-master-svr.properties ###################################################################### ##平台elastic代理地址 platform_elastic_proxy_url=127.0.0.1:19300 ###################################################################### #streamx streamx_port=10081 streamx_data_dir=/data/streamx_workspace hadoop_install_user=dce pull_data_size=1000 #streamx账户和密码 streamx_user=admin streamx_password=streamx ########################################## ##管理端访问URL地址前缀 admin_accessurlprefix=http://dce-control-plane-mgr-svr:18433 ##管理端版本号 admin_version=v1.1.1.34 ##管理端标题 admin_title=DCE管理控制台 ##管理台是否配置ssl域名证书 admin_ssl=false ##ca证书,例如:(/home/dpe/cert/dtsclouds.com.pem)写完整文件地址 admin_ssl_cert=/home/dce/cert/dtsclouds.com.pem ##私钥文件例如:(/home/dpe/cert/dtsclouds.com.key)写完整文件地址 admin_ssl_cert_key=/home/dce/cert/dtsclouds.com.key ## licence.encrypt 文件路径 licence_filepath=/home/dce/licence/licence.encrypt ########################################## ## hadoop 配置 hadoop_username=dce ########################################## ##flink安装位置 flink_home=/usr/local/flink ########################################## ## 每批获取数据量 page_size=1000 ########################################## ## 提交超时 submit_timeout=300 ########################################## #任务调度器服务核心参数配置 scheduler_taskfile_path=/data/scheduled scheduler_task_poolsize=200 ############################kong-gateway############################# #日志级别(error warn notice info debug) #路径/etc/kong/kong.conf kong_log_level=notice #日志目录 kong_log_dir=/data/kong/logs #是否配置ssl证书(true为配置ssl证书,false为不配置ssl证书) ssl=false #ca证书,例如:(/home/dce/cert/dtsclouds.com.pem)写完整文件地址 ssl_cert=/home/dce/cert/dtsclouds.com.pem #私钥文件例如:(/home/dce/cert/dtsclouds.com.key)写完整文件地址 ssl_cert_key=/home/dce/cert/dtsclouds.com.key ##es落地数据删除配置 esdata_delete_batchsize=5000 esdata_delete_once_maxsize=1000000 ##mysql落地数据删除配置 mysqldata_delete_batchsize=1000 mysqldata_delete_once_maxsize=50000 ########################################## ##Streamx服务地址 streamx_serverurl=http://dce-control-plane-mgr-svr:10081 ##邮件代理服务地址 mail_mgr_serverurl=http://dce-control-plane-mgr-svr:3181 vi dce-master-for-kernel.properties ########################################## ## hadoop 配置 hadoop_username=dce ########################################## ##flink安装位置 flink_home=/usr/local/flink ########################################## ## 每批获取数据量 page_size=1000 ########################################## ## 提交超时 submit_timeout=300 ##管理端访问URL地址前缀 admin_accessurlprefix=http://dce-control-plane-mgr-svr:18433 ########################################## ##Streamx服务地址 streamx_serverurl=http://dce-control-plane-mgr-svr:10081 streamx_user=admin streamx_password=streamx ##邮件代理服务地址 mail_mgr_serverurl=http://dce-control-plane-mgr-svr:3181 ##应用授权层-应用授权管理服务地址 appauth_mgr_serverurl=http://dce-control-plane-mgr-svr:5181 kafka_brokers=dce-union-compute-space:9091,dce-union-compute-space:9092,dce-union-compute-space:9093 kafka_groupid=dce-trace-log kafka_topic=camel_test kafka_partition_num=5 kafka_consumersCount=5 ##kafuka鉴权配置, 默认为空 kafka_userName= kafka_password= kafka_securityProtocol= kafka_saslMechanism= 执行安装脚本 bash ./config-all.sh bash ./install-all.sh bash ./start-all.sh 父主题： DCE软件服务部署