华为云用户手册

  • Java程序包 由于Java是编译型语言,所以不能在线编辑代码,只能上传程序包,部署程序包可以是.zip文件或独立的jar文件。 上传Jar包 如果函数没有引入其他依赖包,可以直接上传函数jar包。 如果函数引入了其他依赖包,可以先将依赖包上传至OBS桶,创建函数时设置依赖包,并上传函数jar包。 上传zip 如果函数中引入其他三方件,也可以制作包含所有依赖三方件和函数jar的zip包,选择上传zip文件。您可参见使用IDEA工具创建普通Java项目、使用IDEA工具创建maven项目。 Java编程语言支持以下两种方式上传程序包。 制作zip包的时候,单函数入口文件必须在根目录,保证解压后,直接出现函数执行入口文件,才能正常运行。 解压后的源代码不能超过1.5G,超大代码请联系客服。 直接上传程序包 在创建部署程序包后,可直接从本地上传ZIP程序包,ZIP程序包大小限制为40MB,如果超过该限制,请使用OBS存储桶。 更多函数资源的限制,请参见使用限制。 上传至OBS存储桶 在创建部署程序包后,可先将.zip文件上传到要在其中创建FunctionGraph函数的区域中的OBS存储桶中,然后指定FunctionGraph函数中设置程序包的OBS存储地址,OBS中ZIP包大小限制为300MB。 更多函数资源的限制,请参见使用限制。
  • Python程序包 在线编辑 FunctionGraph服务预装了适用于Python的开发工具包,如果自定义代码只需要软件开发工具包库,则可以使用FunctionGraph控制台的内联编辑器。使用控制台可以编辑代码并将代码上传到FunctionGraph,控制台会将代码及相关的配置信息压缩到FunctionGraph服务能够运行的部署程序包中。 上传程序包 如果编写的代码需要用到其他资源(如使用图形库进行图像处理),则需要先创建FunctionGraph函数部署程序包,然后再使用控制台上传部署程序包。Python编程语言支持以下两种方式上传程序包。 制作zip包的时候,单函数入口文件必须在根目录,保证解压后,直接出现函数执行入口文件,才能正常运行。 解压后的源代码不能超过1.5G,超大代码请联系客服。 用python语言写代码时,自己创建的包名不能与python标准库同名,否则会提示module加载失败。例如“json”、“lib”,“os”等。 直接上传程序包 在创建部署程序包后,可直接从本地上传ZIP程序包,ZIP程序包大小限制为40MB,如果超过该限制,请使用OBS存储桶。 更多函数资源的限制,请参见使用限制。 上传至OBS存储桶 在创建部署程序包后,可先将.zip文件上传到要在其中创建FunctionGraph函数的区域中的OBS存储桶中,然后指定FunctionGraph函数中设置程序包的OBS存储地址,OBS中ZIP包大小限制为300MB。 更多函数资源的限制,请参见使用限制。
  • 函数定时触发器Cron表达式规则 函数Cron表达式下支持如下几种配置方式。 @every格式 @every NUnit,其中N表示一个正整数,Unit可以为ns, µs, ms, s, m, h,表示每隔N个Unit时间触发一次函数如表1所示。 表1 表达式示例 表达式 含义 @every 30m 每隔30分钟触发一次函数 @every 1.5h 每隔1.5小时触发一次函数 @every 2h30m 每隔2小时30分钟触发一次函数 标准cron表达式 cron表达式格式要求“秒 分 时 日 月 周(可选)”,每个字段间以空格隔开,其中各字段说明如表2所示。 表2 cron表达式字段说明 字段 说明 取值范围 允许的特殊字符 CRON_TZ 可选。不设置则默认使用region所在时区。 - - 秒 必选 0-59 , - * / 分钟 必选 0-59 , - * / 时 必选 0-23 , - * / 日(Day of month) 必选 1-31 , - * ? / 月 必选 1-12或者Jan-Dec(英文不区分大小写)如表3所示。 , - * / 星期几(Day of week) 可选 0-6或者Sun-Sat(0表示星期天,英文不区分大小写),如表4所示。 , - * ? / 表3 月份字段取值说明 月份 数字 英文简写 1月 1 Jan 2月 2 Feb 3月 3 Mar 4月 4 Apr 5月 5 May 6月 6 Jun 7月 7 Jul 8月 8 Aug 9月 9 Sep 10月 10 Oct 11月 11 Nov 12月 12 Dec 表4 星期字段取值说明 星期 数字 英文简写 星期一 1 Mon 星期二 2 Tue 星期三 3 Wed 星期四 4 Thu 星期五 5 Fri 星期六 6 Sat 星期日 0 Sun cron表达式字段特殊字符说明如表5所示。 表5 特殊字符说明 特殊字符 含义 说明 * 表示该字段中的所有值 在“分钟”字段中表示每一分钟都执行。 , 指定多个值(可以不连续) 在“月”字段中指定“Jan,Apr,Jul,Oct”或者“1,4,7,10”,表示1月,4月,7月和10月,在“星期几”字段中指定“Sat,Sun”或者“6,0”表示周六,周日。 - 指定一个范围 在“分钟”字段中使用0-3,表示从0分到3分 ? 指定一个或另一个 仅“日”和“星期几”字段可以指定。例如,如果指定了一个特定的日期,但你不关心该日期对应星期几,那么“星期几”字段就可以使用该特殊字符。 / 表示起步和步幅,n/m表示从n开始,每次增加m 在“分钟”字段1/3表示在满足其它字段情况下,从时间1分(例如00:01:00)开始,每隔3分钟触发一次。 cron表达式配置示例如表6所示。 表6 cron表达式配置示例 配置实例 Cron 表达式(以北京时区为例) 每天12点调度函数 CRON_TZ=Asia/Shanghai 0 0 12 * * * 每天12:30调度函数 CRON_TZ=Asia/Shanghai 0 30 12 * * * 每小时的26分,29分,33分调度函数 CRON_TZ=Asia/Shanghai 0 26,29,33 * * * * 周一到周五的每天12:30调度函数 CRON_TZ=Asia/Shanghai 0 30 12 ? * MON-FRI 周一到周五的每天12:00~14:00每5分钟调度函数 CRON_TZ=Asia/Shanghai 0 0/5 12-14 ? * MON-FRI 一月到四月每天12:00调度函数 CRON_TZ=Asia/Shanghai 0 0 12 ? JAN,FEB,MAR,APR * Cron表达式未设置时,默认以region所在时区运行。如果您的任务需要按照特定时区运行,可以通过CRON_TZ指定,例如在北京时间每个月一号的04:00触发函数执行,则可以使用CRON_TZ=Asia/Shanghai 0 0 4 1 * *。不同地域的时区表达式存在差异,请以实际情况为准。 父主题: 配置触发器
  • 解决办法 需要登录minio管理页面创建桶。 操作步骤如下。 进入宿主机,查询minio桶对应的端口号; kubectl -nxxx get svc -o wide | grep minio XXX为命名空间 访问宿主机IP加查出来端口,可进入minio配置界面 输入用户名和密码,进入之后右下角添加桶即可,桶名不支持大写及特殊字符。 然后回租户内常见minio连接器,内容分发网络为一般为租户访问地址加端口号32000/minio,例如:https://192.168.1.1:32000/minio。 输入访问秘钥及秘钥,即进入minio配置界面时用的用户名和密码。 备注:如配置失败,联系相应环境运维查看。
  • 回答 1) 合作伙伴获取到的ROMA Exchange基线包:前端为源码包,后端为资产包。 2) 伙伴一旦对前端源码包进行定制改动(新增或修改页面)后,基线将不支持自动升级。 3) 如后续要升级前端基线包,可选择手动升级方式。 手动升级方式如下:在定制开发租户外新建一个租户用于前端基线包的安装、升级以及基线新特性的查看。当定制方需要基线新特性时,可将基线新特性的相关组件下载到本地,或整体、或部分将功能代码上传更新到开发租户,同时要检查新特性相关组件是否依赖新的资源库或所依赖的资源库是否有更新,如有,需将资源库一并下载更新上传到开发租户。组件、资源库下载方式如下图所示。 组件下载 资源库下载。 更新组件:要更新哪个组件,则在“插件”页签,单击如下红框里相应组件的按钮。然后根据界面提示操作。 更新资源库:要更新哪个资源库,则在“资源”页签,单击如下红框里相应组件的按钮。然后根据界面提示操作。
  • ROMA Exchange与运营管理平台、城市智能体、城市大脑、数字平台的关系 ROMA Exchange:是企业数字资产管理和运营的统一平台,助力企业盘活、做强、做大数字资产,驱动持续运营,是华为开发的基线版本。中文名字叫应用资产中心。 运营管理平台:是ISV根据客户需求在ROMA Exchange基线上定制后交付的平台。 城市智能体:是企业网的智慧城市的一个解决方案。ROMA Exchange被该解决方案集成,集成后ROMA Exchange位于城市智能体解决方案的运营层。 城市大脑:又叫城市数字大脑,是项目上的叫法,比如长春项目城市大脑。ROMA Exchange位于城市数字大脑的运营层。 数字平台:是张家港项目的统一运营管理中心,是ISV根据ROMA Exchange基线定制后的平台。(后续该概念慢慢弱化)。 父主题: 售前相关
  • 解决办法 方法一:执行身份Identity BO中的脚本ca_cm__rebuildIdentityEsIndex,执行客户Customer BO中的脚本ca_cm__rebuildCustomerEsIndex,重新构建ES索引表后同步数据。 方法二:到数据库中,手动执行如下语句: searchindex create CA_CM_RandomVerificationCodeParameter searchindex rebuild CA_CM_RandomVerificationCodeParameter searchindex create CA_CM_Verificationsearchindex rebuild CA_CM_Verification searchindex create CA_CM_LoginAccountsearchindex rebuild CA_CM_LoginAccount searchindex create CA_CM_Customersearchindex rebuild CA_CM_Customer searchindex create CA_CM_Contactsearchindex rebuild CA_CM_Contact searchindex create CA_CM_OrganizationInfo searchindex rebuild CA_CM_OrganizationInfo 建议使用第一种方式,执行构建ES索引的脚本。
  • 解决办法 bingo 1.2.11版本操作指导 登录manager后台, 运行osql conn admin (输入admin的密码) use 租户名 (输入租户管理员密码) 查看并修改license数据: select id,name,value from ResourceLimit where name = 'TaskScheduleDaily' 如果不存在数据, 则执行: insert into ResourceLimit(name, category, value, isFunction) values('TaskScheduleDaily', 'Business Logic', 1000, 0) 如果已存在数据, 则更新 update ResourceLimit set value=1000 where name='TaskScheduleDaily' 根据需要把value设置为合适的值. 最后清除缓存: clear cache
  • 方法 表1 方法说明 方法 描述 示例 Object parse(String jsonStr) 将json字符串转换为对象。 假设变量a为JSON字符串,将json字符串转换为对象,EL表达式如下: #{JSONUtil.parse(a)} String toString(Object jsonObject) 将对象转换为json字符串。 假设变量b为对象,将对象转换为json字符串,EL表达式如下: #{JSONUtil.toString(b)} Object path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: { "cities": [{ "name": "city1", "areaCode": "1000" }, { "name": "city2", "areaCode": "2000" }, { "name": "city3", "areaCode": "3000" }] } 获取city1的电话区号,EL表达式如下: #{JSONUtil.path(str,"cities[0].areaCode")}
  • 举例 字符串变量str的内容如下: { "cities": [{ "name": "city1", "areaCode": "1000" }, { "name": "city2", "areaCode": "2000" }, { "name": "city3", "areaCode": "3000" }] }
  • 约束与限制 当前分配队列资源只支持MRS Yarn队列。队列权限管控只支持MRS Yarn和DLI队列,且暂不支持为DLI default队列授权。 仅当数据连接中的Agent选择的CDM集群为2.10.0.300及以上版本时,才支持MRS Yarn队列权限管控。 仅实例级别管理员用户(即DAYU Administrator或Tenant Administrator用户)有权限分配队列资源权限策略并配置MRS队列属性,实例级别管理员和工作空间管理员用户可为为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系,队列权限策略实际上落在在数据源配置中。因此,当删除当前工作空间的队列资源后,已配置的队列权限策略依然生效;重新添加队列资源后,权限依然可见。 已配置的队列权限策略借由数据源的权限管控能力实现,因此也可以在数据源(如MRS Ranger策略和DLI队列管理)处查看已配置的策略。如果在数据源处删掉队列策略,则在数据安全组件处不会自动删除,需要您手动在数据安全组件处清理该策略。 仅MRS Yarn队列支持配置队列属性(离线/实时),且同一队列在不同工作空间下支持指定为不同属性。 为DLI队列的授权时,当前只支持授权给用户,不支持授权给用户组。
  • 前提条件 仅实例级别管理员用户(即DAYU Administrator或Tenant Administrator用户)有权限分配队列资源权限策略并配置MRS队列属性,实例级别管理员和工作空间管理员用户可为为用户组/用户配置队列权限策略。 配置队列权限前,已在管理中心创建数据湖探索(DLI)和MapReduce服务(MRS Ranger)类型的数据连接,请参考新建数据连接。 配置MRS Yarn队列权限前,需要参考同步用户将IAM上的用户信息同步到数据源上。 MRS Yarn队列权限的策略生效,需要配置YARN严格权限控制,即设置参数“yarn.acl.enable”为true,具体请参见参考:配置Yarn严格权限控制。
  • 相关操作 删除队列资源:在队列权限目录页面,先单击选择需要删除的队列资源,然后单击目录上方的,即可删除队列资源。 直接删除队列资源后,队列中的授权配置依然存在,权限继续生效。需要通过删除策略或回收权限,才能删除相应队列权限。 编辑策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 修改权限:在DLI队列详情页面,单击对应授权项操作栏中的“修改权限”,即可修改对该用户所授予的权限。 回收权限:在DLI队列详情页面,单击对应授权项操作栏中的“回收权限”,即可删除对该用户所授予的权限。
  • 常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称: #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。 #{Job.getNodeStatus("test")} String getNodeOutput(String nodeName) 获取指定节点的输出。此方法只能获取前面依赖节点的输出。 获取test节点输出。 #{Job.getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。 当前一节点的输出结果是一个字段时,输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。 #{StringUtil.split(StringUtil.split(StringUtil.split(Job.getNodeOutput("前一节点名"),"]")[0],"[")[0],"\\"")[0]} 当前一节点的输出结果是多个(两个及以上)字段时,输出结果形如[["000"],["001"]]所示。此时需要结合For Each节点及其支持的Loop内嵌对象EL表达式如#{Loop.current[0]},循环获取输出结果,详见获取SQL节点的输出结果值。 String getParam(String key) 获取作业参数。 注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job.getParam("test")} String getPlanTime(String pattern) 获取指定pattern的计划时间字符串,pattern为日期、时间模式,请参考日期和时间模式。 获取作业调度计划时间,具体到毫秒: #{Job.getPlanTime("yyyy-MM-dd HH:mm:ss:SSS")} String getYesterday(String pattern) 获取执行pattern的计划时间前一天的时间字符串,pattern为日期、时间模式,请参考日期和时间模式。 获取作业调度计划时间的前一天的时间,具体到日期: #{Job.getYesterday("yyyy-MM-dd HH:mm:ss:SSS")} String getLastHour(String pattern) 获取执行pattern的计划时间前一小时的时间字符串,pattern为日期、时间模式,请参考日期和时间模式。 获取作业调度计划时间前一小时的时间,具体到小时: #{Job.getLastHour("yyyy-MM-dd HH:mm:ss:SSS")} Date addDays(Date date, int amount) 给date添加指定天数后,返回新Date对象,amount可以是负数。 将作业调度计划减一天的时间,转换为年月日格式。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} int getDay(Date date) 从date获取天,例如:date为2018-09-14,则返回14。 从作业调度计划获取具体的天。 #{DateUtil.getDay(Job.planTime)} Date now() 返回当前时间。 以秒格式返回当前的时间。 #{DateUtil.format(DateUtil.now(),"yyyy-MM-dd HH:mm:ss")} Object path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: { "cities": [{ "name": "city1", "areaCode": "1000" }, { "name": "city2", "areaCode": "2000" }, { "name": "city3", "areaCode": "3000" }] } 获取city1的电话区号,EL表达式如下: #{JSONUtil.path(str,"cities[0].areaCode")} current For Each节点在处理数据集的时候,是一行一行进行处理的。Loop.current表示当前遍历到的For Each节点“数据集”中定义的二维数组的某一行,该数据行为一维数组。 一般定义格式为#{Loop.current[0]}、#{Loop.current[1]}或其他。其中[0]表示遍历到的当前行的第一个值,[1]表示遍历到的当前行的第二个值,以此类推。 作为For Each节点的“子作业参数”取值,表示For Each循环遍历中,取“数据集”中二维数组的当前遍历行的第二个值。 #{Loop.current[1]} 父主题: EL表达式参考
  • 特点优势 相比于大数据组件自带的权限访问控制,数据安全融合了不同的大数据服务进行统一管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 数据安全以数据为中心,提供了围绕数据全链路的数据安全能力,如统一权限管理、敏感数据管理、隐私保护管理等。 统一权限管理支持通过不同角色、用户、用户组进行权限分配,支持按需高效的权限申请审批能力。 敏感数据管理支持敏感数据的分级分类,自动识别发现,以及敏感数据管控能力。 隐私保护管理提供了静态与动态的数据脱敏、数据水印能力,满足业务需求同时保证数据安全。
  • 功能介绍 数据安全包括如下功能: 统一权限治理 统一权限治理基于MRS、DWS、DLI服务,提供数据权限管理能力。您可以创建空间权限集、权限集或角色,并通过这些权限配置模型实现MRS、DWS、DLI数据的访问控制,按需为用户、用户组分配最小权限,从而降低企业数据信息安全风险。 敏感数据治理 敏感数据识别通过用户创建或内置的数据识别规则和规则组自动发现敏感数据并进行分级分类。 隐私保护管理 隐私保护管理可以通过数据静态脱敏、动态脱敏、数据水印、文件水印和动态水印等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃,从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。
  • 方法 表1 方法说明 方法 描述 示例 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。 将作业调度计划的时间,转换为毫秒格式。 #{DateUtil.format(Job.planTime,"yyyy-MM-dd HH:mm:ss:SSS")} 将作业调度计划减一天的时间,转换为周格式。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyyw")} Job.planTime为2024年1月7日时,返回值为20241。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyyww")} Job.planTime为2024年1月7日时,返回值为202401。 Date addMonths(Date date, int amount) 给date添加指定月数后,返回新Date对象,amount可以是负数。 将作业调度计划减一个月的时间,转换为月份格式。 #{DateUtil.format(DateUtil.addMonths(Job.planTime,-1),"yyyy-MM")} Date addDays(Date date, int amount) 给date添加指定天数后,返回新Date对象,amount可以是负数。 将作业调度计划减一天的时间,转换为年月日格式。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 将作业调度计划减一天的时间,转换为周格式。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyyw")} Job.planTime为2024年1月7日时,返回值为20241。 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyyww")} Job.planTime为2024年1月7日时,返回值为202401。 Date addHours(Date date, int amount) 给date添加指定小时数后,返回新Date对象,amount可以是负数。 将作业调度计划减一小时的时间,转换为小时格式。 #{DateUtil.format(DateUtil.addHours(Job.planTime,-1),"yyyy-MM-dd HH")} Date addMinutes(Date date, int amount) 给date添加指定分钟数后,返回新Date对象,amount可以是负数。 将作业调度计划减一分钟的时间,转换为分钟格式。 #{DateUtil.format(DateUtil.addMinutes(Job.planTime,-1),"yyyy-MM-dd HH:mm")} int getDay(Date date) 从date获取天,例如:date为2018-09-14,则返回14。 从作业调度计划获取具体的天。 #{DateUtil.getDay(Job.planTime)} int getMonth(Date date) 从date获取月,例如:date为2018-09-14,则返回9。 从日期获取具体的月。 #{DateUtil.getMonth(Job.planTime)} int getQuarter(Date date) 从date获取季度,例如:date为2018-09-14,则返回3。 从日期获取具体的季度。 #{DateUtil.getQuarter(Job.planTime)} int getYear(Date date) 从date获取年,例如:date为2018-09-14,则返回2018。 从日期获取具体的年。 #{DateUtil.getYear(Job.planTime)} Date now() 返回当前时间。 以秒格式返回当前的时间。 #{DateUtil.format(DateUtil.now(),"yyyy-MM-dd HH:mm:ss")} long getTime(Date date) 将Date类型时间转换为long类型时间戳。 将作业调度计划时间转换为时间戳。 #{DateUtil.getTime(Job.planTime)} Date parseDate(String str, String pattern) 字符串按pattern转换为Date类型,pattern为日期、时间模式,请参考日期和时间模式。 将字符串类型的作业启动时间转换为秒格式。 #{DateUtil.parseDate(Job.getPlanTime("yyyy-MM-dd HH:mm:ss:SSS"),"yyyy-MM-dd HH:mm:ss")}
  • 配置安全管理员 安全管理员是数据治理的数据安全管理员,由具有DAYU Administrator系统角色权限的账号指定配置。安全管理员在所有工作空间下的数据安全组件内,拥有最高权限。 需要数据安全管理员权限或者具有DAYU Administrator系统角色权限的操作:创建空间权限权限集、行级权限访问控制、用户同步、资源权限配置、权限应用、队列权限; 配置安全管理员,必须由DAYU Administrator操作,安全管理员本身不可操作。 安全管理员的权限当且仅当在数据安全组件生效,对于周边组件和其他服务,此身份无效。 图1 配置安全管理员
  • 数据分析报表 敏感表密级分布图 展示敏感发现任务识别出的表的密级分布,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现任务识别出的表敏感字段,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感字段数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图4 敏感字段密级分布图 脱敏任务趋势图 敏感任务趋势图利用日期对应的脱敏任务数来反映任务趋势变化。数据脱敏任务创建和运行,参考创建静态脱敏任务。 图5 脱敏任务趋势图 水印嵌入趋势图 水印嵌入任务趋势图利用日期对应的水印嵌入任务数来反映任务趋势变化。 水印嵌入任务创建和运行,参考创建数据水印嵌入任务。 图6 水印嵌入任务趋势图
  • 配置场景 在实际应用中,需要存储大大小小的数据,比如图像数据、文档。小于10MB的数据一般都可以存储在HBase上,对于小于100KB的数据,HBase的读写性能是更优的。如果存放在HBase的数据大于100KB甚至到10MB大小时,插入同样个数的数据文件,但是总的数据量会很大,会导致频繁的compaction和split,占用很多CPU,磁盘IO频率很高,性能严重下降。 通过将MOB(Medium-sized Objects)数据(即100KB到10MB大小的数据)直接以HFile的格式存储在文件系统上(例如HDFS文件系统),通过expiredMobFileCleaner和Sweeper工具集中管理这些文件,然后把这些文件的地址信息及大小信息作为value存储在普通HBase的store上。这样就可以大大降低HBase的compaction和split频率,提升性能。 HBase当前默认开启MOB功能,相关配置项如表1所示。如果需要使用MOB功能,用户需要在创建表或者修改表属性时在指定的列族上指定使用mob方式存储数据。 MRS 3.3.0及之后版本不推荐使用HBase MOB功能。
  • 组织中的账号 组织中的账号是标准的华为账号或华为云账号,账号中包含了您的华为云资源,账号是构成组织的最小单位。组织中的账号分为管理账号和成员账号。 表1 账号分类 账号分类 功能 配额 管理账号 管理账号是创建组织的账号,使用Organizations服务创建组织,并管理组织中的组织单元(Organizational Unit,以下简称OU)、账号和整个组织的相关策略。 1(一个组织只能有一个管理账号) 成员账号 除管理账号外,组织中的剩余账号都为成员账号。一个账号一次只能是一个组织的成员,成员账号一般用于承载企业具体的某个应用或者项目的资源。 20
  • 加入组织的影响 如果您邀请一个账号加入组织,该账号的拥有者接受邀请后,Organizations将自动对新的成员账号进行如下更改: Organizations会在成员账号内创建服务关联委托,该委托是云服务委托,委托权限为“OrganizationsServiceLinkedAgencyPolicy”系统权限,授权范围为所有资源。 受邀账号权限将会受到服务控制策略的影响。附加到根或包含受邀账号的OU上服务控制策略,将应用到受邀账号和受邀账号名下的所有IAM用户中。 管理账号开启可信服务时,支持成员账号内部创建对应可信服务的服务关联委托。 本章将为您介绍如下内容,以帮助您管理组织中的账号: 邀请帐号加入组织,包括管理账号创建邀请、管理您已发出的邀请,以及成员账号接受或拒绝邀请。 更改帐号所属组织单元,将账号从一个OU移动到另外一个OU。 查看帐号详细信息,包括账号名称、ID、加入时间、归属组织单元、绑定的策略、标签和委托服务。 移除帐号,管理账号从组织中移除成员账号。
  • 标签简介 标签用于标识云资源,可通过标签实现对云资源的分类和搜索。您可以向以下组织资源添加标签: 组织的根 组织单元(Organizational Unit,以下简称OU) 账号 服务控制策略(Service Control Policies,以下简称SCP) 您可以在以下时间添加标签: 在创建OU、账号和SCP时,可以添加标签。 根、OU、账号和SCP创建完成后,可以在各自的详情页面添加、修改、查看、删除标签。
  • 标签的使用约束 每个标签由“标签键”和“标签值”组成,“标签键”和“标签值”的命名规则如下: “标签键”: 不能为空。 长度为1~128个字符。 由英文字母、数字、下划线、中划线、UNICODE字符(\u4E00-\u9FFF)组成。 “标签值”: 可以为空。 长度为1~225个字符。 由英文字母、数字、下划线、点、中划线、UNICODE字符(\u4E00-\u9FFF)组成。 每个云资源最多可以添加20个标签。 对于每个云资源,每个“标签键”都必须是唯一的,每个“标签键”只能有一个“标签值”。 本章将为您介绍如下内容: 添加标签,为已有的OU、账号和SCP添加标签。 修改标签,修改OU、账号和SCP的标签键值。 查看标签,查看OU、账号和SCP的标签。 删除标签,删除OU、账号和SCP的标签。
  • 修订记录 时间 修订记录 2024-01-18 第五次正式发布。 本次变更说明如下: 新增“SCP示例”章节。 新增“支持SCP的区域”章节。 2023-11-15 第四次正式发布。 本次变更说明如下: 新增“创建账号”章节。 2023-03-30 第三次正式发布。 本次变更说明如下: 上线标签策略特性相关内容。 2023-03-01 第二次正式发布。 本次变更说明如下: “绑定和解绑SCP”章节新增“约束与限制”。 更新“支持SCP的华为云服务”和“已对接组织的可信服务”。 删除邀请的账号需要为企业子账号的相关描述。 2022-09-30 第一次正式发布。
  • 什么是组织 华为云Organizations云服务是一项账号管理服务,使您能够将多个华为云账号整合到您创建并集中管理的组织中。组织是为管理多账号关系而创建的实体,一个组织由管理账号、成员账号、根、组织单元(Organizational Unit,以下简称OU)四个部分组成。一个组织有且仅有一个管理账号,若干个成员账号,一个根,若干个OU。一个根和多层级OU组成树状结构,账号可以关联根或任一层级的OU。有关Organizations云服务的基本概念参见:基本概念。 本章节将为您呈现以下内容: 创建组织。使用您当前的账号作为管理账号创建组织,并邀请其他账号加入组织。 查看组织信息。查看组织、根、组织单元 (OU) 和账号的详细信息。 关闭组织。当您不再需要组织时关闭它。
  • Organizations自定义策略样例 示例1:授权IAM用户邀请账号加入组织、从组织中移除成员账号 { "Version": "5.0", "Statement": [ { "Effect": "Allow", "Action": [ "organizations:accounts:invite", "organizations:accounts:remove" ] } ] } 示例2:拒绝IAM用户删除OU、移除成员账号 拒绝策略需要同时配合其他策略使用,否则没有实际作用。如果没有主动授权某一操作,则系统默认Deny。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予OrganizationsFullAccess的系统策略,但不希望用户拥有OrganizationsFullAccess中定义的删除OU、移除成员账号的权限,您可以创建一条拒绝删除OU、成员账号的自定义策略,然后同时将OrganizationsFullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对组织执行除了删除OU、移除成员账号外的所有操作。拒绝策略示例如下: { "Version": "5.0", "Statement": [ { "Effect": "Deny", "Action": [ "organizations:ous:delete", "organizations:accounts:remove" ] } ] }
  • 支持标签策略的云服务 表1 支持标签策略的华为云服务 服务名称 资源类型 DDoS原生基础防护服务(Anti-DDoS) 公网IP(ip) DDoS防护服务(AAD) 实例(instance) API网关(APIG) 实例(instance) 弹性伸缩(AS) 弹性伸缩组(scalingGroup) 裸金属服务器(BMS) 实例(instance) 云备份(CBR) 存储库(vault) 云连接(CC) 带宽包(bandwidthPackage) 中心网络(centralNetwork) 云连接(cloudConnection) 云容器引擎(CCE) 集群(cluster) 内容分发网络(CDN) 域名(domain) 云监控服务(CES) 告警规则(alarm) DDoS原生高级防护(CNAD) 防护包(package) 微服务引擎(CSE) 引擎(engine) 命名空间(namespace) 配置集(policy) 云凭据管理服务(CSMS) 凭据(secret) 云搜索服务(CSS) 集群(cluster) 日志流(logstream) 存储库(repository) 云审计服务(CTS) 追踪器(tracker) 数据库安全服务(DBSS) 审计实例(auditInstance) 云专线(DCAAS) 物理连接(directconnect) 虚拟网关(gdgw) 链路聚合组(lag) 虚拟网关(vgw) 虚拟接口(vif) 分布式缓存服务(DCS) 实例(instance) 文档数据库服务(DDS) 实例名称(instanceName) 专属加密(DHSM) 硬件安全模块(hsm) 分布式消息服务(DMS) Kafka实例(kafka) RabbitMQ实例(rocketmq) RocketMQ实例(rocketmq) 云解析服务(DNS) 反向解析记录(ptr) 域名(zone) 数据复制服务(DRS) 任务(job) 数据仓库服务(DWS) 集群(cluster) 弹性云服务器(ECS) 实例(instance) 弹性负载均衡(ELB) 监听器(listener) 负载均衡器(loadbalancer) 企业路由器(ER) 连接(attachments) 实例(instances) 路由表(routeTables) 云硬盘(EVS) 磁盘(volume) 函数工作流(FunctionGraph) 函数(function) 全球加速(GA) 加速器实例(accelerator) 监听器(listener) 云数据库 GaussDB 实例(instance) 云数据库 GaussDB(for MySQL) 实例(instance) 云数据库 GaussDB(for NoSQL) 实例(instance) 统一身份认证服务(IAM) 委托(agency) 用户(user) 镜像服务(IMS) 镜像(image) 设备接入 IoTDA 实例(instance) 密钥管理服务(KMS) 用户主密钥(cmk) 云日志服务(LTS) 日志接入(accessConfig) 主机组(hostGroup) 日志组(logGroup) 日志流(logStream) AI开发平台 ModelArts Notebook实例(notebook) 资源池(pool) 服务(service) 训练作业(trainJob) NAT网关(NAT) 公网NAT网关(gateway) 私网NAT网关(privateGateway) 中转IP(privateTransitIp) 中转子网(transitSubnet) 私有证书管理服务(PCA) 私有CA(ca) 云数据库(RDS) 实例 (instances) SSL证书管理服务(SCM) 证书(cert) 消息通知服务(SMN) 主题(topic) 虚拟私有云(VPC) 弹性公网IP(publicip) 子网(subnet) 虚拟私有云(vpc) VPC终端节点(VPCEP) 终端节点服务(endpointServices) 终端节点(endpoints) 目前暂无服务支持标签策略。 父主题: 标签策略管理
  • 支持SCP的区域 当前支持使用SCP的区域如下表所示: 表1 支持SCP的区域 区域名称 区域 亚太-新加坡 ap-southeast-3 亚太-曼谷 ap-southeast-2 亚太-雅加达 ap-southeast-4 华东-上海一 cn-east-3 华东-上海二 cn-east-2 中国-香港 ap-southeast-1 华北-北京一 cn-north-1 华北-北京四 cn-north-4 华南-广州 cn-south-1 华南-广州-友好用户环境 cn-south-4 华北-乌兰察布-汽车一 cn-north-11 华北-乌兰察布一 cn-north-9 西南-贵阳一 cn-southwest-2 华东-青岛 cn-east-5 土耳其-伊斯坦布尔 tr-west-1 非洲-约翰内斯堡 af-south-1 拉美-墨西哥城一 na-mexico-1 拉美-墨西哥城二 la-north-2 拉美-圣保罗一 sa-brazil-1 拉美-圣地亚哥 la-south-2 中东-利雅得 me-east-1 父主题: 服务控制策略管理
  • 流量能否直接先过CDN再过高防,或先过高防再过CDN? 以下两种均不可以。 第一种情况:流量先经过CDN再经过高防,即高防串联在CDN后面。 结果:高防的DDoS防护功能失去意义。 原因:攻击流量先到达CDN,CDN被攻击用户无法访问,攻击流量不会到达高防,高防没有做流量清洗的机会。 图2 流量先经过CDN再经过高防原理说明 第二种情况:流量先经过高防再经过CDN,即CDN串联在高防后面。 结果:CDN的加速功能失去意义。 原因:CDN加速能力的工作原理是使用户可以就近访问分散在各地的CDN节点,客户直接访问高防则无法使用CDN就近访问的加速能力。 图3 流量先经过高防再经过CDN原理说明
共100000条