华为云用户手册

  • 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName.tableName;” 例如:select `id`, `name`, cast(`sex` AS char(255) ) AS `sex` from `test_1117869`.`test_no_support_type`; 转换后的字段就转换为CDM支持的数据类型。
  • 操作场景 CDM集群创建完成后,支持解绑或绑定EIP。EIP即弹性公网IP,由虚拟私有云(Virtual Private Cloud,简称VPC)负责其计费。 如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
  • 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本,获取mysql-connector-java-5.1.48.jar Oracle ORACLE_6 ORACLE_7 ORACLE_8 驱动包下载地址:https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html 历史版本驱动包下载地址:https://repo1.maven.org/maven2/com/oracle/database/jdbc/ ojdbc8的12.2.0.1版本,获取ojdbc8.jar 说明: 不支持使用新版本(如Oracle Database 21c (21.3) drivers),会导致创建作业时无法获取模式名。 云数据库 PostgreSQL PostgreSQL POSTGRESQL https://mvnrepository.com/artifact/org.postgresql/postgresql PostgreSQL推荐使用42.3.4版本,获取postgresql-42.3.4.jar 金仓数据库 POSTGRESQL https://mvnrepository.com/artifact/org.postgresql/postgresql 金仓数据库推荐使用42.2.9版本PostgreSQL驱动,获取postgresql-42.2.9.jar GaussDB数据库 POSTGRESQL GaussDB JDBC驱动请在GaussDB官方文档中搜索“JDBC包、驱动类和环境类”,然后选择实例对应版本的文档,参考文档获取gsjdbc4.jar。 请从对应版本的发布包中获取gsjdbc4.jar 云数据库 SQL Server Microsoft SQL Server SQLServer https://docs.microsoft.com/en-us/sql/connect/jdbc/release-notes-for-the-jdbc-driver?view=sql-server-ver15#previous-releases 4.2版本,获取sqljdbc42.jar
  • 创建CDM集群 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
  • 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。
  • 约束限制 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。
  • 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法:#{expr},其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
  • 事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 图1 事务模式迁移 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。 父主题: 关键操作指导
  • 创建CDM集群 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
  • 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
  • 创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyy-MM-dd)} 以yyyy-MM-dd格式返回当前时间。 2017-10-16 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyy_MM_dd HH:mm:ss)} 以yyyy_MM_dd HH:mm:ss格式返回当前时间。 2017_10_16 09:00:00 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 以yyyy-MM-dd HH:mm:ss格式返回时间,时间为当前时间的前一天。 2017-10-15 09:00:00 ${timestamp()} 返回当前时间的时间戳,即1970年1月1日(00:00:00 GMT)到当前时间的毫秒数。 1508115600000 ${timestamp(-10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,-1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。 添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。
  • 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问本地Elasticsearch。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
  • 功能介绍 随着istio服务网格的发展,越来越多的应用都会接入服务网格,Sermant Agent提供了一种能让SpringCloud应用也能访问服务网格中的应用的解决方案。 SpringCloud应用访问istio应用的部署图如下: istio应用需要注册到istio中,不限制语言,SpringCloud应用不必注册到istio中,SpringCloud应用部署的环境可以是ECS/CCE/ASM。SpringCloud应用会通过Sermant Agent进行istio中的服务发现,然后SpringCloud应用便可以像调用其它SpringCloud应用一样,通过服务名调用istio中的服务。 此功能目前处于公测阶段,当前仅在华东-上海一支持。 当ServiceComb引擎为2.x版本且未开启安全认证时,支持此功能。 Sermant Injector版本要求1.0.11及以上,Sermant Agent镜像版本要求1.0.9及以上。
  • 操作步骤 获取Nacos Sync部署包。 在nacos-sync中获取Nacos Sync部署包,选择nacos-sync-0.4.8.tar.gz进行下载。 创建Nacos Sync所需要的数据库与表。 创建数据库实例,具体操作请参考创建Mysql数据库实例。 连接MySQL实例,具体操作请参考连接MySQL实例。 创建数据库,数据库名称为nacos_sync,字符集选择utf8mb4,具体操作请参考创建数据库。 解压nacos-sync-0.4.8.tar.gz,获取“nacos-sync/bin/”下的nacosSync.sql文件,并执行该文件,具体操作请参考执行SQL,执行完成后,会生成三张表。 cluster # 存储集群信息 task #存储同步任务信息 system_config # 系统配置信息 部署Nacos Sync至ECS服务器。 请参考Linux弹性云服务器登录方式概述选择相应方式登录弹性云服务器。 将获取的压缩包上传至ECS服务器的“/tmp/”文件夹下。 在压缩包所在路径下,执行解压命令,解压至当前文件夹下。 cd /tmp/ tar -zxvf nacos-sync-0.4.8.tar.gz 修改application.properties配置文件的数据库信息。 cd nacos-sync/conf vi application.properties 修改文件中的数据库连接信息为2创建的数据库信息,然后保存。 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/nacos_sync?characterEncoding=utf8 # 修改为申请的数据库ip信息与自创建的数据库信息 spring.datasource.username=root # 数据库用户名 spring.datasource.password=xxxxxx # 数据库密码 启动Nacos Sync服务。 cd .. cd bin/ sh startup.sh start 日志的路径在“nacos-sync/logs”下,可检查是否有异常信息。 可修改startup.sh中的JAVA_OPT参数,自定义设置JVM堆内存大小。 访问Nacos Sync服务地址。 访问链接为IP+端口号,其中IP为ECS实例绑定的弹性公网IP,端口号为“application.properties”文件中配置的端口号。 Nacos Sync的服务界面如下:
  • 合理的规划系统架构 Spring Cloud提供了丰富的组件,帮助搭建具备足够韧性的云原生系统。spring cloud gateway具备通用网关的大部分能力,并且集成了Spring Cloud的服务治理能力,可以实现Spring Cloud多协议转发。一个典型的Spring Cloud云原生架构如下: 该架构采用静态页面和服务分离,这样静态页面可以灵活的使用CDN、Nginx等形态部署。spring cloud gateway屏蔽了内部微服务的结构,一般会搭配流量控制、安全认证等服务治理策略,使得内部服务能够灵活的进行拆分合并,降低内部服务直接面对流量攻击的风险。 父主题: 托管Spring Cloud应用
  • 操作步骤 为CCE集群安装sermant-injector,请参考CCE部署场景接入指南。 为工作负载(deployment)中的微服务配置版本号或标签。 在下图所示位置为工作负载(deployment)配置环境变量,配置环境变量后,应用注册时,会使用该环境变量进行注册。 apiVersion: app/v1 kind: Deployment metadata: name: dubbo-providerB labels: app: dubbo-providerB spec: replicas: 1 selector: matchLabels: app: dubbo-providerB template: metadata: labels: app: dubbo-providerB sermant-injection: enabled spec: containers: - name: dubbo-providerB image: dubbo-providerB:1.0.0 imagePullPolicy: IfNotPresent env: - name: "SERVICE_META_VERSION" value: "2.0.0" - name: "SERVICE_META_PARAMETERS" value: "group:gray" ports: - containerPort: 8004 imagePullSecrets: - name: default-secret 其中: 键SERVICE_META_VERSION,值为服务注册的版本号(如a.b.c的格式,其中a、b、c均为数字),标签应用需要修改为不同于正常应用的版本号。 键SERVICE_META_PARAMETERS,值为服务注册时的自定义标签(形如tag1:value1,tag2:value2),即标签名与标签值以英文冒号分隔,多个标签之间以英文逗号分隔。 当Sermant Agent为1.0.0及以下版本时,使用键为SERVICECOMB_INSTANCE_PROPS。 一般,如果用版本号进行路由,则只需配置SERVICE_META_VERSION,如果用自定义标签进行路由,则只需配置SERVICE_META_PARAMETERS。 为工作负载(deployment)打上标签并重启相关服务。 在下图所示位置为工作负载(deployment)打上标签sermant-injection: enabled。打上标签后,sermant-injector会在Pod重启时自动挂载Sermant Agent,从而通过Sermant Agent注册到CSE上。
  • 动态配置 动态配置按照公共、应用、服务三个层次进行管理。 简单的场景,可以使用应用级配置和服务级配置。应用级配置被该应用下的所有微服务共享,是公共配置;服务级配置只对具体微服务生效,是独享配置。复杂的场景,可以通过使用custom_tag和custom_value来定义配置。 例如某些配置,是对所有应用共享的,那么就可以使用这个机制。在配置文件增加如下配置: spring: cloud: servicecomb: config: kie: customLabel: public# 默认值是public customLabelValue: default # 默认值是空字符串
  • 设置服务路由策略 配置项:servicecomb.routeRule,配置内容: providerA: | - precedence: 2 match: headers: id: exact: '1' caseInsensitive: false route: - weight: 0 tags: group: base - weight: 100 tags: group: gray - precedence: 1 route: - weight: 100 tags: group: base - weight: 0 tags: group: gray providerB: | - precedence: 2 match: headers: id: exact: '1' caseInsensitive: false route: - weight: 0 tags: group: base - weight: 100 tags: group: gray - precedence: 1 route: - weight: 100 tags: group: base - weight: 0 tags: group: gray 服务路由策略设置说明: 请求头的id参数值精确匹配为1时,consumer的所有请求流量都是从providerA-gray流向providerB-gray。 请求头的id参数值为其他任意值,consumer的所有请求流量都是从providerA流向providerB。
  • Sermant Agent监听配置范围 Sermant Agent使用CSE作为配置中心时,监听的范围有以下三个: app=default&environment=&service={服务名} app=default&environment= public=default app对应为“应用”值; environment对应为“环境”; service对应为“微服务名称”; public为公共配置。 一般设置为app=default&environment=作为通用路由设置。
  • (可选)自定义优雅上下线配置 优雅上下线能力默认开启,若需自定义配置,请参考如下方式: 如果方式一与方式二同时配置,将以方式二为准。 方式一: 在启动SpringCloud应用时通过环境变量或者-D参数的形式进行配置,配置参数如下: 参数项 说明 grace_rule_startDelayTime 注册延迟时间,默认0秒,若大于0,则开启注册延迟。 grace_rule_enableWarmUp 开启优雅上线能力,默认开启。 grace_rule_warmUpTime 优雅上线时间,单位秒,该配置生效需开启优雅上线功能,默认120秒。 grace_rule_enableGraceShutdown 配置优雅下线能力开关, 默认开启。 grace_rule_shutdownWaitTime 下线前的最大等待时间,默认30S。 grace_rule_enableOfflineNotify 开启下线通知,默认开启。 方式二: 通过配置管理进行配置,配置步骤如下: 登录微服务引擎控制台。 单击,选择区域。 选择“ServiceComb引擎”。 单击待操作的ServiceComb引擎。 选择“配置管理”。 单击右上角的“新建配置”进入新建配置页面。 输入“配置项”,命名为sermant.agent.grace。 此处名称固定为该值。 选择“配置范围”,这里以微服务级配置为例,选择您要配置的服务,如下图所示: “配置格式”选择“YAML”,并自定义优雅上下线配置, 如下: rule: startDelayTime: 0 # 注册延迟时间,默认0秒,若大于0,则开启注册延迟。 enableWarmUp: true # 开启优雅上线能力,默认为true(开启),如需关闭,请设置为fasle。 warmUpTime: 120 # 优雅上线时间,单位秒,该配置生效需开启优雅上线功能,默认120秒。 enableGraceShutdown: true # 配置优雅下线能力开关,默认为true(开启),如需关闭,请设置为fasle。 shutdownWaitTime: 30 # 下线前的最大等待时间,默认30S。 enableOfflineNotify: true # 开启下线通知,默认开启。 单击右下角的“立即创建”,然后重启对应服务实例即可。 下发配置时,请去掉注释,否则会导致下发配置失败。
  • 验证优雅上下线能力 验证优雅上线能力。 图1 优雅上线验证部署图 如上图所示,该套nacos应用有nacos-rest-consumer、nacos-rest-provider(两个实例)以及nacos-rest-data服务,其中灰色的实例已关闭开启优雅上线,而绿色实例开启优雅上线功能。 若需关闭预热,请添加环境变量“grace_rule_enableWarmUp=false”进行指定。 而服务nacos-rest-consumer通过接口graceHot进行模拟调用。 下载demo应用并打包。 按照优雅上线验证部署图进行部署并将nacos-rest-provider的其中一个实例开启优雅上线能力。 查看应用是否已全部接入ServiceComb引擎。 参考查看微服务列表查看您的应用是否已接入ServiceComb引擎。 待应用接入ServiceComb引擎后,使用以下脚本invoke-hot.sh模拟调用过程。 #!/bin/bash endpoint=127.0.0.1:31021 url=${endpoint}/graceHot while true do echo `curl -s ${url}` done endpoint为nacos-rest-consumer服务的调用地址,即ip:port。需根据实际nacos-rest-consumer地址进行替换。 查看服务调用情况。 使用脚本stat.sh查看服务调用情况,脚本如下: #!/bin/bash endpoint=127.0.0.1:31021 watch curl ${endpoint}/stat 下图为某个时刻统计的调用结果: 上图中实例x.x.0.55:8009关闭了优雅上线, 实例x.x.0.51:8004开启了优雅上线,观察请求数(requestCount)与QPS,可观察到开启优雅上线的实例的QPS与请求数都小于关闭优雅上线的实例。持续观察流量请求情况,直到两个实例QPS基本持平则结束验证。 验证优雅下线能力。 优雅下线验证部署图如下: 如上图,该套nacos应用有nacos-rest-consumer、nacos-rest-provider(两个实例)、nacos-rest-provider-close-grace(两个实例)以及nacos-rest-data服务,其中服务nacos-rest-provider-close-grace关闭了优雅下线,其他服务开启优雅下线。 服务说明。 nacos-rest-provider-close-grace与nacos-rest-provider同属于一个jar应用,nacos-rest-provider-close-grace请使用环境变量“spring_application_name=nacos-rest-provider-close-grace”进行指定。 关闭优雅下线的方法。 添加环境变量“grace_rule_enableGraceShutdown=false”进行指定。 nacos-rest-consumer通过调用接口graceDownOpen测试验证优雅下线能力;调用接口graceDownClose对比未开启优雅下线时请求处理情况。查看调用情况可使用nacos-rest-consumer接口的stat方法进行请求统计。 下载demo应用并打包。 按照优雅下线验证部署图进行部署,并关闭nacos-rest-provider-close-grace的优雅下线能力。 查看应用是否已全部接入ServiceComb引擎。 参考查看微服务列表查看您的应用是否已接入ServiceComb引擎。 待应用接入ServiceComb引擎后,使用如下脚本invoke.sh模拟请求。 #!/bin/bash endpoint=127.0.0.1:31021 openUrl=${endpoint}/graceDownOpen closeUrl=${endpoint}/graceDownClose while true do echo `curl -s ${openUrl}` echo `curl -s ${closeUrl}` done endpoint为服务nacos-rest-consumer实例的请求地址,即ip:port。需根据实际nacos-rest-consumer地址进行替换。 openUrl为开启优雅下线能力的调用接口。 closeUrl为关闭优雅下线能力的调用接口。 查看应用的请求情况。 参考如下脚本stat.sh查看请求调用情况: #!/bin/bash endpoint=127.0.0.1:31021 watch curl ${endpoint}/stat endpoint为服务nacos-rest-consumer实例的请求地址,即ip:port。 对服务进行缩容,模拟下线。 分别对nacos-rest-provider-close-grace与nacos-rest-provider进行缩容,将实例缩容为1个。 使用4的脚本,查看服务调用情况。 上图中,graceDownClose为关闭优雅下线能力的请求统计,可以看到存在4个错误请求(errorCount), 而下方graceDownOpen为开启优雅下线能力的请求统计,可以看到未出现错误请求。
  • 前提条件 已创建云容器引擎(CCE),创建CCE请参考创建CCE集群。 CCE集群版本需要大于等于1.15。 已安装kubectl命令,安装kubectl命令请参考通过kubectl连接集群相关操作。 已创建未开启安全认证的ServiceComb引擎实例,详情请参考快速创建ServiceComb引擎。 本地编译构建打包机器环境已安装了Java JDK、Maven,并且能够访问Maven中央库。 Sermant Agent开源版本要求1.0.6及以上。
  • 操作步骤 为CCE集群安装sermant-injector,请参考CCE部署场景接入指南。 为工作负载(deployment)中的微服务配置版本号或标签。 在下图所示位置为工作负载(deployment)配置环境变量,配置环境变量后,应用注册时,会使用该环境变量进行注册。 apiVersion: app/v1 kind: Deployment metadata: name: cloud-providerB labels: app: cloud-providerB spec: replicas: 1 selector: matchLabels: app: cloud-providerB template: metadata: labels: app: cloud-providerB sermant-injection: enabled spec: containers: - name: cloud-providerB image: cloud-providerB:1.0.0 imagePullPolicy: IfNotPresent env: - name: "SERVICE_META_VERSION" value: "2.0.0" - name: "SERVICE_META_PARAMETERS" value: "group:gray" ports: - containerPort: 8004 imagePullSecrets: - name: default-secret 其中: 键SERVICE_META_VERSION,值为服务注册的版本号(如a.b.c的格式,其中a、b、c均为数字),标签应用需要修改为不同于正常应用的版本号。 键SERVICE_META_PARAMETERS,值为服务注册时的自定义标签(形如tag1:value1,tag2:value2),即标签名与标签值以英文冒号分隔,多个标签之间以英文逗号分隔。 当Sermant Agent为1.0.0及以下版本时,使用键为SERVICECOMB_INSTANCE_PROPS。 一般,如果用版本号进行路由,则只需配置SERVICE_META_VERSION,如果用自定义标签进行路由,则只需配置SERVICE_META_PARAMETERS。 为工作负载(deployment)打上标签并重启相关服务。 在下图所示位置为工作负载(deployment)打上标签sermant-injection: enabled。打上标签后,sermant-injector会在Pod重启时自动挂载Sermant Agent,从而通过Sermant Agent注册到CSE上。
  • 操作步骤 安装Sermant Agent,请参考安装Sermant Agent。 启动应用并开启优雅上下线能力。 在应用的启动参数添加如下参数,添加启动参数后,待应用启动完成。 -javaagent:${HOME}/java-agent/java-agent.jar=appName=default -Ddynamic_config_serverAddress={CSE_CONFIG_CENTER_ENDPOINTS} -Dregister.service.address={CSE_REGISTRY_ENDPOINTS} 相关配置介绍: appName为agent服务名称,该配置无需修改,使用default即可。 ServiceComb引擎服务注册发现地址(CSE_REGISTRY_ENDPOINTS)与CSE配置中心地址(CSE_CONFIG_CENTER_ENDPOINTS)需替换为实际地址,可参考如下方式获取: ServiceComb引擎服务注册发现地址:获取ServiceComb引擎服务注册发现地址。 CSE配置中心地址:获取ServiceComb引擎配置中心地址。 特别说明: 优雅下线是基于http协议进行通知,默认通知端口为16688,若您在虚机部署出现端口冲突问题(通常是单个ECS部署多个实例),请在启动时添加如下参数规避: # 请更换下面的端口号 -Dgrace_rule_httpServerPort=16688
  • 开发环境规划管理 规划开发环境的目的是要保证开发人员更好的并行工作,减少依赖,减少搭建环境的工作量,降低生产环境上线的风险。 管理开发环境的目的是为了更好的进行开发测试,部署上线。 图1 开发环境 结合项目经验,一般会按照图1规划开发环境: 搭建内网本地开发环境。本地开发环境的好处是各个业务/开发者可以搭建符合自己需要的最小功能集合环境,方便查看日志、调试代码等。本地开发环境能够极大的提升代码开发效率,减少部署和调试的时间。本地开发环境的不足之处是集成度不高,需要集成联调的时候,很难确保环境稳定。 云上测试环境是相对比较稳定的集成测试环境。本地开发测试完成后,各个业务将本领域的服务部署到云上测试环境,并且可以调用其他领域的服务进行集成测试。根据业务规模的复杂程度,可以将云上测试环境进一步分为α测试环境、β测试环境、γ测试环境等,这些测试环境集成程度由低到高。一般γ测试环境要求和生产环境一样的管理,确保环境稳定。 生产环境是正式业务环境,生产环境需要支持灰度升级功能,支持在线联调和引流,保证升级故障对服务造成的影响最小化。 云上测试环境可以通过开放CSE、中间件的公网IP,或者实现网络互通,这样可以使用云上的中间件替换本地环境,减少各个开发者自行安装环境的时间。这种情况也属于内网本地开发环境,微服务在本地开发环境的机器上运行。云上采用容器部署的微服务和本地开发环境机器上部署的微服务无法相互访问。为了避免冲突,云上测试环境只作为本地开发环境使用。 父主题: 托管Spring Cloud应用
  • 操作步骤 安装Sermant Agent,请参考安装Sermant Agent。 启动应用。 在应用的启动参数添加如下参数,添加启动参数后,待应用启动完成。 -javaagent:${HOME}/java-agent/java-agent.jar=appName=default -Ddynamic_config_serverAddress={CSE_CONFIG_CENTER_ENDPOINTS} -Dregister.service.address={CSE_REGISTRY_ENDPOINTS} -Dgrace_rule_enableSpring=false -Dservice_meta_version={VERSION} -Dservice_meta_parameters={PARAMETERS} 相关配置介绍: appName为agent服务名称,该配置无需修改,使用default即可。 ServiceComb引擎服务注册发现地址{CSE_REGISTRY_ENDPOINTS}与ServiceComb引擎配置中心地址{CSE_CONFIG_CENTER_ENDPOINTS}需替换为实际地址,可参考如下方式获取: ServiceComb引擎服务注册发现地址:获取ServiceComb引擎服务注册发现地址。 ServiceComb引擎配置中心地址:获取ServiceComb引擎配置中心地址。 grace_rule_enableSpring为SpringCloud框架优雅上下线功能,所以Dubbo框架需要手动关闭(设置为fasle),否则可能会存在端口冲突的问题。 {VERSION}需替换为服务注册时的版本号(形如a.b.c的格式,其中a、b、c均为数字,默认为1.0.0),标签应用需要修改为不同于正常应用的版本号。 {PARAMETERS}需替换为服务注册时的自定义标签(形如tag1:value1,tag2:value2),即标签名与标签值以英文冒号分隔,多个标签之间以英文逗号分隔。 一般地,如果用版本号进行路由,则只需配置service_meta_version,如果用自定义标签进行路由,则只需配置service_meta_parameters。
  • 方案概述 本文描述如何将HSF、Dubbo框架改造为Spring Cloud框架并接入ServiceComb引擎的操作。 应用场景 很多微服务框架只是提供了如何解决微服务运维问题的功能模块和工具,但并没有帮用户解决那些问题,用户自行解决这些问题的成本通常非常高,出于现有框架的使用成本和问题,以及对未来业务的发展是否需要选择更加合适的技术考虑,可将微服务框架进行迁移。 方案架构 将HSF、Dubbo框架改造为Spring Cloud框架。 微服务框架HSF、Dubbo提供的主要功能是RPC框架,以及在RPC框架之上,提供相关的服务治理能力,包括注册发现、动态配置和限流熔断等。Spring Cloud提供REST框架,并在REST框架基础之上提供服务治理能力。因此实现微服务开发框架迁移主要是将RPC框架修改为REST框架,其操作主要包括两部分: 将服务端的接口定义由RPC修改为REST。 将客户端的调用方式由RPC修改为REST风格(包括RestTemplate,Feign等)。 服务端的接口定义相对比较集中,客户端的使用则比较难于排查。为了尽可能减少客户端代码的排查和修改,采用Feign来实现客户端代码的替换。 将Spring Cloud+Nacos、Spring Cloud+Eureka接入到ServiceComb引擎。 将Nacos、Eureka相关的依赖替换为ServiceComb引擎相关依赖。 增加ServiceComb引擎相关配置。 Nacos、Eureka一些使用习惯的调整,比如如何规划服务配置和逻辑隔离等。 下图以Eureka为例演示整个改造接入过程:
  • 实施步骤 先将HSF或Dubbo框架改造为Spring Cloud框架。其基本操作步骤为: 修改POM和项目结构。 服务端RPC接口修改为REST接口。 客户端定义Feign引用。 删除HSF或Dubbo配置并增加Spring Cloud配置。 修改启动类。 您可以使用migrator工具一键将HSF、Dubbo等框架改造为Spring Cloud。 将HSF框架改造为Spring Cloud框架详细操作指导请参考HSF迁移Spring Cloud。 将Dubbo框架改造为Spring Cloud框架详细操作指导请参考Dubbo迁移Spring Cloud。 将Spring Cloud+Nacos、Spring Cloud+Eureka接入到ServiceComb引擎。 修改pom文件将Nacos相关的依赖替换为ServiceComb引擎相关依赖。 修改bootstrap.yml文件增加ServiceComb引擎相关配置。 调整Nacos或Eureka的使用习惯。 您可以使用migrator工具一键将Spring Cloud+Nacos、Spring Cloud+Eureka接入到ServiceComb引擎。 将Spring Cloud+Eureka接入到ServiceComb引擎的详细操作指导请参考Eureka+Spring Cloud迁移CSE。 将Spring Cloud+Nacos接入到ServiceComb引擎的详细操作指导请参考Nacos+Spring Cloud迁移CSE。
  • 操作步骤 安装Sermant Agent,请参考安装Sermant Agent。 启动应用。 在应用的启动参数中添加如下参数,添加启动参数后,待应用启动完成。 -javaagent:${HOME}/java-agent/java-agent.jar=appName=default -Ddynamic_config_serverAddress={CSE_CONFIG_CENTER_ENDPOINTS} -Dregister.service.address={CSE_REGISTRY_ENDPOINTS} -Dservice_meta_version={VERSION} -Dservice_meta_parameters={PARAMETERS} 相关配置介绍: appName为agent服务名称,该配置无需修改,使用default即可。 ServiceComb引擎服务注册发现地址{CSE_REGISTRY_ENDPOINTS}与ServiceComb引擎配置中心地址{CSE_CONFIG_CENTER_ENDPOINTS}需替换为实际地址,可参考如下方式获取: ServiceComb引擎服务注册发现地址:获取ServiceComb引擎服务注册发现地址。 ServiceComb引擎配置中心地址:获取ServiceComb引擎配置中心地址。 {VERSION}需替换为服务注册时的版本号(形如a.b.c的格式,其中a、b、c均为数字,默认为1.0.0),标签应用需要修改为不同于正常应用的版本号。 {PARAMETERS}需替换为服务注册时的自定义标签(形如tag1:value1,tag2:value2),即标签名与标签值以英文冒号分隔,多个标签之间以英文逗号分隔。 一般地,如果用版本号进行路由,则只需配置service_meta_version,如果用自定义标签进行路由,则只需配置service_meta_parameters。
  • 合理的规划系统架构 Java Chassis提供了丰富的组件,帮助搭建具备足够韧性的云原生系统。Edge Service具备通用网关的大部分能力,并且集成了Java Chassis的服务治理能力,可以实现Java Chassis多协议转发。一个典型的Java Chassis云原生架构如下: 该架构采用静态页面和服务分离,这样静态页面可以灵活的使用CDN、Nginx等形态部署。Edge Service屏蔽了内部微服务的结构,一般会搭配流量控制、安全认证等服务治理策略,使得内部服务能够灵活的进行拆分合并,降低内部服务直接面对流量攻击的风险。 父主题: 托管Java Chassis应用
共100000条