华为云用户手册

  • 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效,关键日志如下: [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example.jar to assigned location: /srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-8d3b778d-69ea-4fbe-ba88-01aa2036d753.jar Start uploading file '/opt/jar/example.jar' to '/srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-8d3b778d-69ea-4fbe-ba88-01aa2036d753.jar' (65574612 bytes) [==================================================] 65574612 / 65574612 File '/opt/jar/example.jar' uploaded to '/srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-8d3b778d-69ea-4fbe-ba88-01aa2036d753.jar' (65574612 bytes) [main] INFO b.s.StormSubmitter - Successfully uploaded topology jar to assigned location: /srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-8d3b778d-69ea-4fbe-ba88-01aa2036d753.jar [main] INFO b.s.StormSubmitter - Submitting topology word-count in distributed mode with conf {"topology.worker.childopts":"-Xmx4096m","storm.zookeeper.topology.auth.scheme":"digest","storm.zookeeper.topology.auth.payload":"-5915065013522446406:-6421330379815193999","topology.workers":1} [main] INFO b.s.StormSubmitter - Finished submitting topology: word-count 通过ps -ef | grep worker命令查看worker进程信息如下:
  • 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker.gc.childopts为 "-Xms4096m -Xmx4096m -XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M"时,效果如下: [main-SendThread(10.7.61.88:2181)] INFO o.a.s.s.o.a.z.ClientCnxn - Socket connection established, initiating session, client: /10.7.61.88:44694, server: 10.7.61.88/10.7.61.88:2181 [main-SendThread(10.7.61.88:2181)] INFO o.a.s.s.o.a.z.ClientCnxn - Session establishment complete on server 10.7.61.88/10.7.61.88:2181, sessionid = 0x16037a6e5f092575, negotiated timeout = 40000 [main-EventThread] INFO o.a.s.s.o.a.c.f.s.ConnectionStateManager - State change: CONNECTED [main] INFO b.s.u.StormBoundedExponentialBackoffRetry - The baseSleepTimeMs [1000] the maxSleepTimeMs [1000] the maxRetries [1] [main] INFO o.a.s.s.o.a.z.Login - successfully logged in. [main-EventThread] INFO o.a.s.s.o.a.z.ClientCnxn - EventThread shut down for session: 0x16037a6e5f092575 [main] INFO o.a.s.s.o.a.z.ZooKeeper - Session: 0x16037a6e5f092575 closed [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example.jar to assigned location: /srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-86855b6b-133e-478d-b415-fa96e63e553f.jar Start uploading file '/opt/jar/example.jar' to '/srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-86855b6b-133e-478d-b415-fa96e63e553f.jar' (74143745 bytes) [==================================================] 74143745 / 74143745 File '/opt/jar/example.jar' uploaded to '/srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-86855b6b-133e-478d-b415-fa96e63e553f.jar' (74143745 bytes) [main] INFO b.s.StormSubmitter - Successfully uploaded topology jar to assigned location: /srv/BigData/streaming/stormdir/nimbus/inbox/stormjar-86855b6b-133e-478d-b415-fa96e63e553f.jar [main] INFO b.s.StormSubmitter - Submitting topology word-count in distributed mode with conf {"storm.zookeeper.topology.auth.scheme":"digest","storm.zookeeper.topology.auth.payload":"-7360002804241426074:-6868950379453400421","topology.worker.gc.childopts":"-Xms4096m -Xmx4096m -XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M","topology.workers":1} [main] INFO b.s.StormSubmitter - Finished submitting topology: word-count 通过ps -ef | grep worker命令查看worker进程信息如下:
  • 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf.Test --master yarn-client 客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。 如果是,修改非法字符,重新执行命令。 重新执行命令后,发生其他错误,查看该jar包的属主属组信息,发现全为root。 修改jar包的属主属组为omm:wheel,重新执行成功。
  • 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (6144 MB per container) ... ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (10240+1024 MB) is above the max threshold (6144 MB) of this cluster! Spark任务提交至Yarn上面,运行task的executor使用的资源受yarn的管理。从报错信息可看出,用户申请启动executor时,指定10G的内存,超出了Yarn设置的每个container的最大内存的限制,导致任务无法启动。
  • 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor.properties 调小“log4j.appender.sparklog.MaxFileSize”参数值(表示生成一份日志文件的最大存储大小,默认为50MB),例如修改为“20MB”。 调小“log4j.appender.sparklog.MaxBackupIndex”参数值(表示滚动保存的文件数量,最大为10个文件,达到第11个覆盖第一个生成的文件),例如修改为“5”。 保存文件。 重新提交作业,作业运行正常。
  • 参考信息 nimbus.task.launch.secs和supervisor.worker.start.timeout.secs这两个参数分别代表nimbus端和supervisor端对于拓扑启动的超时容忍时间,一般nimbus.task.launch.secs的值要大于等于supervisor.worker.start.timeout.secs的值(建议相等或略大,如果超出太多会影响任务重分配的效率)。 nimbus.task.launch.secs:nimbus在超过该参数配置的时间内没有收到拓扑的task发的心跳时,会将该拓扑重新分配(分配给别的supervisor),同时会刷新zk中的任务信息,supervisor读到zk中的任务信息并且与自己当前所启动的拓扑进行比较,如果存在拓扑已经不属于自己,那么则会删除该拓扑的元数据,也就是/srv/Bigdata/streaming_data/stormdir/supervisor/stormdist/{worker-id}目录。 supervisor.worker.start.timeout.secs:supervisor启动worker后,在该参数配置的时间内没有收到worker的心跳时,supervisor会主动停掉worker,等待worker的重新调度,一般在业务启动时间较长时适当增加该参数的值,保证worker能启动成功。 如果supervisor.worker.start.timeout.secs配置的值比nimbus.task.launch.secs的值大,那么则会出现supervisor的容忍时间没到,仍然继续让worker启动,而nimbus却认定该业务启动超时,将该业务分配给了其他主机,这时supervisor的后台线程发现任务不一致,删除了拓扑的元数据,导致接下来worker在启动过程中要读取stormconf.ser时,发现该文件已经不存在了,就会抛出FileNotFoundException。 nimbus.task.timeout.secs和supervisor.worker.timeout.secs这两个参数则分别代表nimbus端和supervisor端对于拓扑运行过程中心跳上报的超时容忍时间,一般nimbus.task.timeout.secs的值要大于等于supervisor.worker.timeout.secs的值(建议相等或略大),原理同上。
  • 可能原因 Worker进程启动失败,触发Nimbus重新分配任务,在其他Supervisor上启动Worker。由于Worker启动失败后会继续重启,导致Worker节点在一直变化,且Worker日志内容为空。Worker进程启动失败的可能原因有两个: 提交的Jar包中包含“storm.yaml”文件。 Storm规定,每个“classpath”中只能包含一个“storm.yaml”文件,如果多于一个那么就会产生异常。使用Storm客户端提交拓扑,由于客户端“classpath”配置和Eclipse远程提交方式“classpath”不一样,客户端会自动加载用户的Jar包到“classpath”,从而使“classpath”中存在两个“storm.yaml”文件。 Worker进程初始化时间较长,超过Storm集群设置Worker启动超时时间,导致Worker被Kill从而一直进行重分配。
  • 处理步骤 登录Ranger WebUI界面。 在“Service Manager”区域内,单击Hive组件名称,进入Hive组件安全访问策略列表页面。 分别单击“all - database”和“default database tables columns”策略所在行的按钮。 删除“public”组策略。 图1 all - database策略 图2 default database tables columns策略 在Hive组件安全访问策略列表页面,单击“Add New Policy”为相关用户或者用户组添加资源访问策略,具体请参考配置组件权限策略。
  • 原因分析 Hive启用Ranger鉴权后,默认的Hive策略中有2个关于database的public组策略, 所有用户都属于public组,默认给public组配有default数据库的创表和所有其他数据库的create权限,因此默认所有的用户都有show databases和show tables的权限,如果不想让某些用户有show databases和show tables权限,可在Ranger WEBUI中删除该默认public组策略,并赋予需要查看的用户权限。
  • 原因分析 由于执行命令的用户与当前查看pid信息的进程提交用户不一致导致。 Storm引入区分用户执行任务特性,在启动worker进程时将给进程的uid和gid改为提交用户和ficommon,目的是为了logviewer可以访问到worker进程的日志同时日志文件只开放权限到640。这样会导致切换到提交用户后对Worker进程执行jstack和jmap等命令执行失败,原因是提交用户的默认gid并不是ficommon,需要通过ldap命令修改提交用户的gid为9998(ficommon)才可执行。
  • 操作步骤 进入多方安全计算的作业执行界面,单击创建。 图1 创建作业 在作业界面中,按照1~4提供的案例和SQL语句进行作业测试。 图2 作业界面 假设有人输入以下代码试图直接查询敏感数据。 select tax_bal, id from league_creator.tax 系统提示不支持进行敏感数据的SELECT操作。 图3 不支持敏感操作 若试图在敏感数据中追加自己的数据, 从结果倒推敏感数据,即求原数据。 Select tax_bal + electric_bal from LEAGUE_CREATOR.tax a join ZZZZZZ.power_data b on a.id = b.id TICS会识别并提示。 图4 执行失败告警 上述隐私规则,均为TICS系统提供的默认规则。
  • 纳管节点安装GPU驱动 登录到https://www.nvidia.com/Download/Find.aspx?lang=cn网站。 如图2所示,在“NVIDIA驱动程序下载”框内选择对应的驱动信息。其中“操作系统”必须选择Linux 64-bit,“CUDA Toolkit”必须选择11.2,建议选择“版本号“为460.106.00的对应驱动。单击对应版本左侧的“名称“,进入图3所示的信息展示页,单击“Download"即可下载驱动。 图2 GPU驱动的参数选择 图3 驱动详细信息 将上一步中下载好的驱动包“NVIDIA-Linux-x86_64-460.106.00.run“通过SSH、FTP等方式上传到纳管节点,在对应目录执行“bash NVIDIA-Linux-x86_64-460.106.00.run“安装GPU驱动。 执行“nvidia-smi"命令,出现图4所示结果代表GPU驱动安装成功。
  • 纳管节点配置NVIDIA Docker 为了确保调度到边缘节点的TICS组件容器能够正确识别GPU,还需要修改Docker配置,默认存储路径为:/etc/docker/daemon.json。 具体地,需要将"default-runtime"的值从默认的"runc"改为"nvidia",随后保存退出,并通过sudo systemctl restart docker命令重启Docker。 到此GPU相关功能配置完毕。
  • 新建SFS_Turbo 在服务控制台的左侧服务列表搜索SFS,找到弹性文件服务,单击打开SFS服务控制台。 图1 弹性文件服务 在SFS服务控制台,找到SFS_Turbo,单击立即创建,或者右上角的创建文件系统。 图2 创建文件系统 进入购买页面,选择好所使用的计费模式、区域、文件系统类型,容量等相关信息后,单击立即创建。 图3 选择配置信息 创建后跳转到资源详情页面核对资源详情,查看配置信息是否有误,若要修改配置信息,可返回上一步,重新选择。 图4 配置信息 单击“提交”按钮之后,系统显示任务提交成功。 图5 任务提交成功 单击返回文件系统列表,系统显示创建过程。 图6 创建过程 当状态显示“可用”,SFS_Turbo创建成功。 图7 创建成功 创建完成之后,单击文件系统的名称,跳转到基本信息页面,可查看文件系统的名称、ID、路径、容量以及网络等相关信息,单击ID后面的复制按钮,即可拿到所创建的SFS_Turbo文件系统的ID。 图8 文件系统ID
  • 如何更换计算节点db私钥? 登录到计算节点对应的宿主机。 执行“docker ps -a”命令,查看NAMES为“k8s_db”开头容器的CONTAINER ID,该ID由数字和小写字母组成。 执行“docker exec -it {CONTAINER ID} bash”命令,登录到容器中,命令中的{CONTAINER ID}为步骤2中查询得到的CONTAINER ID。 执行“openssl req -x509 -nodes -days 1825 -newkey rsa:3072 -keyout ./server.key -out server.crt -reqexts v3_req -extensions v3_ca”命令,在当前目录(容器的根目录)下生成新的证书文件。执行该命令的过程中可以交互式地填入地区、用户名等身份信息,也可以直接按回车键采取默认值。 执行“rm -f /opt/postgres/server.*”命令,删除旧的证书文件。 执行“mv /server.* /opt/postgres/”命令,将步骤4中生成的证书文件移动到指定位置。 执行“chown postgres:postgres /opt/postgres/server.*”命令,更改证书文件的所属用户和用户组。 执行“exit”命令,退出容器。 执行“docker restart {CONTAINER ID}”命令,重启容器。
  • “边缘节点部署”部署方式 根据可信智能计算服务控制台的“计算节点管理”找到计算节点的计算节点ID和纳管节点。 图6 计算节点ID和纳管节点 进入智能边缘平台服务单击“边缘应用”下的“应用配置”模块,找到对应计算节点id的配置项“agent-xxxx”,单击更新。 图7 应用配置 新增一个配置项“AGENT_RESULT_FILE_PERMISSIONS”,值为用户想要的文件权限数字,例如“666”。 文件所在父目录的权限会默认在有文件权限操作组的权限基础上增加执行权限,例如“666”的文件权限配置,父目录会变为“777”; “660”的文件权限配置,父目录会变为“770”。 图8 新增配置项 单击智能边缘平台服务“边缘应用”下的“容器应用”模块,找到对应计算节点id的容器应用“agent-xxxxx”,单击升级。 图9 升级容器应用 下拉“环境变量配置” ,使用配置项导入的方式增加一个新的环境变量“AGENT_RESULT_FILE_PERMISSIONS”,值为刚才创建的应用配置,再单击提交确认修改。 图10 配置环境变量 图11 增加环境变量 提交后智能边缘平台服务会自动重启该边缘应用,待重启完成后再次执行作业可以看到作业结果的文件权限修改已经生效。
  • “云租户部署”的“极速文件存储卷”存储方式 根据可信智能计算服务控制台的“计算节点管理”找到计算节点的集群名称。 图1 集群名称 进入云容器引擎服务单击对应集群进入集群管理页面。 图2 进入集群管理页面 单击“配置项与密钥”模块,更新名为“agent-xxx”的配置项,新增一个配置项“AGENT_RESULT_FILE_PERMISSIONS”,值为用户想要的文件权限数字,例如“666”。 文件所在父目录的权限会默认在有文件权限操作组的权限基础上增加执行权限,例如“666”的文件权限配置,父目录会变为“777”; “660”的文件权限配置,父目录会变为“770”。 图3 集群配置项管理页 图4 新增配置项 回到TICS可信智能计算服务控制台“计算节点管理”页面,单击“重启”。 图5 重启 待计算节点重启完成后,再次执行原有的样本对齐作业,对比两次执行的结果,可以发现文件权限修改已经生效。
  • 部署方式 OBS存储 使用“云租户部署”的“OBS存储”存储方式部署的可信计算节点生成的结果文件均存储在obs云服务中,可以通过obs服务下载,文件的权限策略根据用户在obs服务上的配置决定。 极速文件存储卷或边缘节点部署 而以“云租户部署”的“极速文件存储卷”存储方式或者“边缘节点部署”部署的TICS可信智能计算节点在生成作业的结果时,文件默认会使用600的权限,目录默认使用700权限。可以使用如下方式修改结果文件的权限。 修改默认文件权限配置需要重启计算节点,可能会影响正在执行的作业。
  • 联邦sql分析作业运行过慢,如何提升执行速度? 提升计算并行度 可以在作业开发界面的运行参数中,填写user.task.concurrency参数,提升用户侧此类加密任务的并行度。推荐该值填4-16左右,不建议超过30。 图1 填写参数 tics.task.concurrency参数提升的是tics平台提供的计算节点并发度,一般填写4左右即可,不建议超过8。 数据量提前过滤 作业运行参数中增加join.runtime.filter参数为true。 开启初筛后,做PSI或者聚合join前,会将提前做过安全处理的小表id放置到大表代理侧,进行提前过滤和初筛。大大减少了需要在网络中消耗的时间,避免传递不需要输出的数据。
  • 操作步骤 登录本端VPC下的ECS服务器,登录ECS服务器的方式有两种。 方式一:Xshell登录 下载Xshell软件,打开后,选择新建会话。 图1 新建会话 在对话框中填写对应的名称和主机的IP地址。 图2 填写信息 单击左侧的新建会话,输入登录的用户名,以root为例。 图3 输入用户名 输入ECS云服务对应的密码,进入对应的服务器。 图4 输入密码 登录成功。 图5 登录成功 方式二:ECS服务控制台 在ECS的服务控制台上,通过IP搜索对应的弹性云服务器。 图6 搜索弹性云服务器 单击ECS服务区名称跳转到详情页面,单击右上角的远程登录按钮。 图7 远程登录 在ECS命令行界面输入对应的用户名和密码登录ECS服务器。 图8 输入用户名和密码 以Xshell登录为例,登录成功之后,在命令行界面使用ping命令查看本端VPC与对端VPC的网络是否连通,ip为SFS_Turbo的共享路径,如下图所示。 图9 IP地址 如未连通,则建立的对等连接存在问题。 在命令行界面输入如下信息,建立挂载SFS_Turbo的本地路径。 mkdir 本地路径 找到所使用的SFS_Turbo文件系统,单击名称进入基本信息页面,复制对应的挂载命令。 图10 挂载命令 其中红框标注的位置换成3中所建立的本地路径。 挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 example.com:/share-xxx on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=)
  • 验证安全沙箱防护能力 接下来模拟篡改文件的恶意行为,来验证安全沙箱防护能力。 发起方获取某个横向联邦训练作业的训练结果路径。 图1 获取作业结果路径 发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离的,当某个作业想去访问或篡改其他作业相关的文件时,无法找到作业执行结果文件,因此脚本执行失败、无法篡改,从而实现安全防护。 图3 恶意脚本执行结果
  • 响应消息 响应参数说明请参见下表: 参数 是否必选 类型 最大字符长度 说明 error_code M String 6 调用结果码。 具体请参见调用结果码说明。 error_msg O String 255 调用结果描述。 错误码: http状态码 error_code error_msg 描述 200 MKT.0000 Success. 请求成功 500 MKT.0999 System internal error. 其它服务内部错误 500 MKT.0100 Failure of input parameter 输入参数校验失败 参数范围超限,非法值或格式错误 400 MKT.0101 Invalid parameter 参数无效 输入非接口定义的参数,多参数或少必选参数 比如:传递非法数值、没有实例id等 400 MKT.0102 Invalid body sign 请求body体签名校验失败 400 MKT.0199 Request parameter error 请求参数错误 其它参数错误 比如:必填参数未传递等 401 MKT.0150 Illegal operation 通常是进行了不被授权的操作,例如instance_id对应的产品不是AK/SK对应的ISV发布的 401 MKT.0151 No authority 无API访问权限 token非ISV角色 401 MKT.0154 Illegal token 鉴权失败 token无效 500 MKT.9001 Instance ID not found. 实例ID不存在(商品续费、过期、资源释放接口可能返回) 500 MKT.9002 Invalid usage enties. 计量实体无效 500 MKT.9003 Usage records extends size limit. 计量记录数超出限制(1000条) 500 MKT.9004 Record beginTime extends Limit. 计量记录的起始时间超出有效期(当前时间21天以内) 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 响应消息示例: { "error_code":"MKT.0000", "error_msg":"success" }
  • 响应消息 响应参数说明请参见下表: 参数 是否必选 类型 最大字符长度 说明 resultCode M String 6 调用结果码。 具体请参见调用结果码说明。 resultMsg O String 255 调用结果描述。 商家的服务器在处理接口请求时,需要做好幂等性处理。 云商店服务有可能重发请求,针对同一orderId,商家的服务器不应该重复做实例资源升级处理,返回成功响应即可。 响应消息示例: { "resultCode":"000000", "resultMsg":"success." }
  • 请求方法:GET 参数 是否必选 类型 最大字符长度 说明 authToken M String 50 安全校验令牌。 取值请参见authToken取值说明。 activity M String 20 接口请求标识,用于区分接口请求场景。 升级场景取值:upgrade instanceId M String 64 实例ID。 说明: 升级时,instanceId不变。 orderId M String 64 升级后的新订单ID。 说明: 升级操作会产生新的订单,与新购时订单ID不一致,请通过instance Id做资源识别。 skuCode M String 64 升级后产品规格标识。 说明: 对于自定义属性模板规格,如果租户升级时选择了其他属性值,instanceId对应的规格会发生变化,因此skuCode会变化; 如果仅扩容(调整增加线性属性值大小,例如:从当前的10用户增加到20用户),skuCode不变。 productId M String 64 升级后产品ID。 如果skuCode变化,productId也会发生变化; 如果仅扩容,productId不变。 timeStamp M String 20 请求发起时的时间戳,取UTC时间。 格式:yyyyMMddHHmmssSSS amount O Integer 4 数量类型的商品定价属性。非必填。 属性名称:数量(支持商家自定义名称) 单位:个(次) 说明: 对于包周期或一次性计费的SaaS商品,租户下单购买包含“数量”线性属性的规格时,会填写及调整购买的个数或次数。 例如:30个用户 diskSize O Integer 4 数量类型的商品定价属性。非必填。 属性名称:硬盘大小(支持商家自定义名称) 单位:GB 说明: 对于包周期或一次性计费的SaaS商品,租户下单购买包含“硬盘大小”线性属性的规格时,会填写及调整购买多少GB。 例如:100GB bandWidth O Integer 4 数量类型的商品定价属性。非必填。 属性名称:带宽(支持商家自定义名称) 单位:Mbps 说明: 对于包周期或一次性计费的SaaS商品,租户下单购买包含“带宽”线性属性的规格时,会填写及调整购买多少Mbps。 例如:20Mbps testFlag O Integer 1 是否调测数据。 1:接口调测数据 不传参数:真实买家同步数据 请求消息示例: https://example.isv.com?activity=upgrade&amount=6456&instanceId=huaweitest123456&orderId=CS1906666688ABCDE&productId=00301-666688-0-0&saasExtendParams=W3sibmFtZSI6ImlkTnVtIiwidmFsdWUiOiIzNTIyNTU1NTU1NTU2NTYifSx7Im5hbWUiOiJ1c2VyTmFtZSIsInZhbHVlIjoiaHVhd2VpMTIzIn0seyJuYW1lIjoiY3VzdEVtYWlsIiwidmFsdWUiOiIxMjNAaHVhd2VpLmNvbSJ9XQ==&skuCode=d0abcd12-1234-5678-ab90-11ab012aaaa1&testFlag=1&timeStamp=20191216013757582&authToken=a3Bl+C93xv3ENgm40ngyYvQnYcTS/pgY5ugl20wtzGg=
  • 计费示例 以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 示例一 以上传对象为例,对一个对象或者段的每一次操作都会计算一次请求次数。假设上传100个对象到桶: 在都使用PutObject方式上传的情况下,会发送100次PUT类请求,计算100次请求次数。 如果其中有一些大对象需要分段上传,则会根据分成的段数额外计算分段上传的请求次数,此外还会有初始化段、合并段等请求产生,最终请求次数会大于100次。 示例二 以OBS控制台操作为例,每一次在控制台上的操作都会下发请求并计算请求次数。 例如进入OBS控制台首页,加载桶列表的过程会下发获取桶列表、获取桶区域位置等请求;进入桶概览页面,会下发获取桶存量信息、获取桶元数据等请求。 示例三 以下载对象为例,对一个对象的每一次下载操作都会计算一次请求次数。假设下载100个对象: 针对标准存储对象和低频访问存储对象,会发送100次GET类请求,计算100次请求次数。 针对未开启归档数据直读功能的归档存储对象,需要先恢复为标准存储对象,会产生100次PUT类请求。下载100个对象,会发送100次GET请求,共计200次请求次数。 针对开启归档数据直读功能的归档存储对象,可以直接下载,无需提前恢复。会发送100次GET类请求,计算100次请求次数。
  • 请求类别 OBS的请求主要分为四大类: 读操作(GET类请求):GET/HEAD等,例如下载对象、获取桶区域位置、获取桶策略 写操作(PUT类请求):PUT/POST/COPY/LIST,例如上传对象、列举对象 删除操作(DELETE类请求):DELETE等,例如删除对象、取消多段上传任务 生命周期转换请求:在生命周期规则执行过程中,标准存储转换为低频访问存储、归档存储或深度归档存储,低频访问存储转换为归档存储或深度归档存储,归档存储转换为深度归档存储时,产生的生命周期转换请求。
  • 操作步骤 登录MetaStudio控制台。 单击“声音制作”卡片中的“开始创建”。 进入声音制作页面。如图1所示。 界面左侧是定制声音页面。 界面右侧上方展示声音制作流程,下方展示声音制作过程的演示视频,帮助用户快速制作声音。 图1 定制数字人形象 配置声音制作参数。 界面操作详情,如表1所示。 表1 界面操作说明 区域 说明 请选择声音制作服务 系统提供如下声音制作服务,请选择一种声音制作服务。 基础版声音制作:仅需20条语料音频,约20分钟左右完成声音制作。 进阶版声音制作:需要100条语料音频,约4小时左右完成声音制作。 每种声音制作服务后面都会展示剩余次数,需要保证剩余次数充足。 其中,进阶版声音制作需要更多语料,训练时长更长,声音效果更佳。 各声音制作服务,均支持如下操作: 手机录制上传声音语料,或直接在线录音生成声音语料。 支持原生试听和制作声音试听。 定制声音名称 输入声音名称。 示例:欢快女声。 请选择声音性别 声音的性别,如下所示: 男生 女生 选择语言 声音的语言,包含如下选项: 中文 英文 选择声音标签 声音的标签,包含如下选项: 电商 新闻 营销 请制作声音 制作声音的方式为: 语料上传:界面提供录音指导,需要按照指导,基础版提供20条语料音频,进阶版提供100条语料音频。音频仅支持wav格式,生成的全量语料音频需要压缩为一个zip格式的压缩包后上传。 在线录音:需要用户在线录制,先单击“开始环境检测”。首次录制界面会弹出提示,需要允许使用您的麦克风。当界面显示“录制环境合格”时,单击下方的“开始录音”。界面会弹出提示,开始录音后,将不能更改前面设置的基础信息,单击“确定”。单击“开始录音”,启动录制。根据界面提示,录制20条或者100条合格的语料音频即可。 如果选择“语料上传”的方式,声音标签仅作为标签,来区分声音使用场景;如果选择“在线录音”的方式,服务会根据声音标签,生成其对应格式的音频文件,界面不展示音频文件格式,用户可不关注。 声音授权 单击“授权书模板”,下载授权书模板后打印。用户手写相关信息后,重新生成签署后的pdf文件,或者拍摄成jpg或png格式的图片后上传。 单击“提交制作”。 弹出“资源消耗提示”对话框。提示用户目前声音制作服务剩余数量,本次将消耗1个资源。 如果用户确认无误,单击“确认提交”。 声音制作任务提交成功后,界面提示“制作任务提交成功”,如图2所示。 声音制作任务提交成功后,需要等待1天左右的时间审核。任务审核通过后,启动声音制作。 图2 制作任务提交成功 用户可以单击“查看制作任务列表”,查看声音制作任务审核进展。 当状态变更为“系统审核完成”,自动启动算法训练。如果系统存在多个算法训练任务,可能会存在排队和延迟的现象,请耐心等待。
  • 视频编辑界面说明 视频制作编辑界面如图2所示。各区域详细说明,如表1所示。 图2 视频制作界面 表1 界面说明 区域 说明 ① 设置视频的场景,包括如下内容: 模板:视频模板,支持基于系统预置模板或者用户自己保存的模板,一键快速制作数字人视频。 注意:模板需要管理员权限才可以看到,其他权限的用户默认不展示。 角色:数字人形象列表,支持更换数字人形象。 背景:背景图片列表,可本地导入图片。支持更换背景图。 贴图:各类贴图列表,可本地导入素材。支持在当前画面基础上,增加贴图,丰富视频画面。 视频:各类无声音视频素材列表,可本地导入视频文件。支持添加为背景视频。 音乐:各类音乐素材列表,可本地导入音频文件。支持添加为背景音乐。 ② 视频展示区域,可以查看视频制作的效果。 ③ 数字人语音文字编辑,支持如下方式: 文本驱动:即通过输入文本的方式生成语音。支持对文本进行停顿、语速、多音字、音色等设置。 音频驱动:支持从本地上传音频文件,作为视频的语音。如果使用音频驱动,暂不支持生成字幕。 ④ 如果一个视频包含多个背景,可以通过服务定义的场景来分别制作。一个背景及其相关设置,可以对应生成一个场景。 ⑤ 左侧为当前视频编辑草稿的名称,支持自定义设置。 中间区域为: 图标:用于保存当前视频制作任务。 保存为模板:用于生成视频模板。 注意:模板需要管理员权限才可以看到,其他权限的用户默认不展示。 合成视频:用于发布为视频。 右侧的“任务中心”,可以查看视频合成任务进展。
  • 操作步骤 登录MetaStudio控制台。 在左侧导航栏中,单击“任务中心”。 选择“分身名片”页签,如图1所示。 在“分身名片”页面,可以查看生成中、生成成功和生成失败的任务,也可以查看全部任务。 下方的名片列表中,可以查看名片封面、名称、性别、提交时间、状态等详细信息。 支持对名片进行如下操作: 单击“查看”,查看名片内容。 单击“下载”,将名片下载至本地查看。下载后的文件为mp4格式。 图1 名片生成任务
  • 指标数据保留多长时间? 指标数据分为原始指标数据和聚合指标数据。 原始指标数据是指原始采样指标数据,原始指标数据一般保留2天。 聚合指标数据是指将原始指标数据经过聚合处理后的指标数据,聚合指标数据保留时间根据聚合周期不同而不同,通过API获取的聚合指标数据保留时间如下: 表1 聚合指标数据保留时间 聚合周期 保留时间 5分钟 6天 20分钟 20天 1小时 155天 “亚太-曼谷”的指标数据最长保留周期为一年,聚合周期为24小时。 若需要将数据保存更长时间,可对数据进行转储保存。具体操作请参考数据转储。 如果某个资源实例被停用、关闭或者删除,相应的原始指标数据停止上报1小时后,实例相关的指标就被删除。停用或关闭的实例被重新启用后,指标会恢复上报,此时可查看该指标保留期内的历史数据。 父主题: 产品咨询
共100000条