华为云用户手册

  • 模块定义相关操作 在“模块定义”页面,您还可以进行如表2所示的操作。 表2 模块定义相关操作 操作 描述 编辑模块 在“模块定义”页面,在左侧模块结构树中选中记录,单击待编辑模块记录“操作”列的“编辑”,根据实际情况修改模块信息。 删除模块 在“模块定义”页面,在左侧模块结构树中选中记录: 单击待删除模块记录“操作”列的“删除”,删除模块。 勾选待删除模块记录前的,单击“删除”,删除模块。 查询模块 在“模块定义”页面,在模块结构树上方输入框输入“中文名”信息,查询模块。
  • 注意事项 手工录入工单时需注意计划开始时间不能晚于结束时间。 只有“工单状态”为“初始化”的工单才能进行编辑。 “工单状态”为“初始化”或“已排产”的工单可进行工单方案生成。其中,已生成方案信息的“已排产”工单支持重新生成工单方案。 已排产的工单才能进行工单方案实例化(排产操作在“手工排产”页面进行);但“工单状态”为“已取消”的工单无法进行工单方案实例化。 只有“工单状态”为“初始化”的工单才能进行工单取消。 只有“工单状态”为“初始化”的工单才能进行修改加工区域。 工单的扩展属性字段数据不支持批量录入。
  • 异常编码相关操作 在“异常编码”页面,您还可以进行如表2所示的操作。 表2 异常编码相关操作 操作 描述 编辑异常编码 在“异常编码”页面: 单击待编辑异常编码记录“操作”列的“编辑”,根据实际情况修改异常编码信息。 双击异常编码记录带的参数列,根据实际情况修改异常编码对应参数取值。 删除异常编码 在“异常编码”页面: 单击待删除异常编码记录“操作”列的“删除”,删除异常编码。 勾选待删除异常编码记录前的,单击“删除”,删除异常编码。 查询异常编码 在“异常编码”页面,在异常编码列表上方输入框输入“异常编码”或“异常名称”信息,再单击“查询”,查询异常编码。
  • 注意事项 建议该菜单栏目权限仅授权给管理员角色。 如果“是否按业务数据分类扩展”为“是”,则需要先在“参数配置”中维护“业务数据扩展维度”,才能进行后续的扩展属性配置。 扩展字段配置完成后请谨慎进行修改、删除操作,如果对应实体(模块)页面已经录入包含扩展字段的业务数据,修改、删除操作将导致数据记录中原扩展字段失效。进行修改、删除操作前需要先检查是否已经录入包含扩展字段的业务数据,评估对业务处理无影响后再进行操作。
  • 动态属性扩展配置相关操作 在“动态属性扩展配置”页面,您还可以进行如表2所示的操作。扩展字段配置完成后请谨慎进行修改、删除操作。 表2 动态属性扩展配置相关操作 操作 描述 编辑动态属性扩展配置 在“动态属性扩展配置”页面,单击实体记录“操作”列的“编辑”,修改“是否按业务数据分类扩展”取值,单击“确定”。 如果被修改的实体记录“是否按业务数据分类扩展”由“是”变更为“否”,将关闭该实体按业务数据分类扩展属性的功能。 删除动态属性扩展配置 在“动态属性扩展配置”页面: 单击实体记录“操作”列的“删除”。 勾选实体记录前的,单击“批量删除”。 如果被删除的实体记录“是否按业务数据分类扩展”为“是”,将关闭该实体按业务数据分类扩展属性的功能。 查询动态属性扩展配置 在“动态属性扩展配置”页面,在实体列表上方的输入框输入“实体英文名称”信息,单击“查询”,查询动态属性扩展配置。 个性化设置 在“动态属性扩展配置”页面,单击右上角,可以根据需求进行页面展示信息的个性化设置。
  • 公司相关操作 公司添加完成后,您还可以进行如表2所示的操作。 表2 公司相关操作 操作 描述 编辑公司 在“公司注册”页面,单击待编辑的公司记录右侧的,再在弹出的操作列表中单击“编辑”,根据实际情况修改集团编码、集团名称、描述、公司类别等参数信息。 删除公司 在“公司注册”页面,单击待删除的公司记录右侧的,再在弹出的操作列表中单击“删除”,删除公司。 查询公司 在“公司注册”页面,在公司列表上方输入框输入“中文缩写”信息,单击,查询公司。
  • 工厂相关操作 工厂添加完成后,您还可以进行如表4所示的操作。 表4 工厂相关操作 操作 描述 编辑工厂 在“公司注册”页面,单击待编辑的工厂记录“操作”列的“编辑”,根据实际情况修改时区、描述、缩写等参数信息。 删除工厂 在“公司注册”页面,单击待删除的工厂记录“操作”列的“删除”,删除工厂。 查看工厂 在“公司注册”页面,单击待查看的工厂记录“操作”列的“查看”,查看工厂详情。 查询工厂 在“公司注册”页面,在工厂列表上方输入框输入“工厂编码”或“工厂中文描述”信息,单击“查询”,查询工厂。 个性化设置 在“公司注册”页面,单击右上角,可以根据需求进行页面展示信息的个性化设置。
  • 供应商相关操作 供应商添加完成后,您还可以进行如表2所示的操作。 表2 供应商相关操作 操作 描述 编辑供应商 在“供应商管理”页面,单击待编辑的供应商记录“操作”列的“编辑”,根据实际情况修改供应商名称、供应商描述、供应商类型等参数信息。 删除供应商 在“供应商管理”页面,单击待删除的供应商记录“操作”列的“删除”,删除供应商。 导出供应商 在“供应商管理”页面,单击“导出”,系统当中存在的供应商信息将导出为Excel文件保存到本地。 查询供应商 在“供应商管理”页面,在供应商列表上方输入“公司编号”、“供应商代码”或“供应商名称”信息,单击“查询”,查询供应商。 个性化设置 在“供应商管理”页面,单击右上角,可以根据需求进行页面展示信息的个性化设置。
  • 手工排产相关操作 在“手工排产”页面,您还可以进行如表1所示的操作。 表1 手工排产相关操作 操作 描述 导出待排产信息 在“待排产单元信息”中,勾选待导出的待排产工单记录前的,单击“导出待排产信息”,被勾选的待排产工单信息将导出为Excel文件保存到本地。 导出排产结果信息 在“排产结果信息”中,勾选待导出的已排产工单记录前的,单击“导出排产结果信息”,被勾选的已排产工单信息将导出为Excel文件保存到本地。 排产调整 在“排产结果信息”中,选择待调整的工单记录,根据实际情况重新设置排产线体、排产顺序号、排产开工时间或排产完工时间的取值后,单击“排产调整”。 说明: 已开工的工单不再允许排产调整。 取消排产 在“排产结果信息”中,勾选待取消排产的工单记录前的,单击“取消排产”,被勾选的工单记录将从“排产结果信息”中移入“待排产单元信息”中显示。 说明: 已开工的工单不再允许取消排产。
  • 生产物料上载相关操作 在“生产物料上载”页面,您还可以进行如表1所示的操作。 表1 生产物料上载相关操作 操作 描述 卸载物料 线体工位&加工工单选择完成后,选择“卸载物料”页签,然后勾选“状态”不为“已卸载”的物料记录前的,再单击“卸载”,卸载物料。 说明: 卸载物料操作成功后,对应物料“状态”变为“已卸载”。 卸载工装 线体工位&加工工单选择完成后,选择“卸载工装”页签,然后勾选“状态”不为“已卸载”的工装记录前的,再单击“卸载”,卸载工装。 说明: 卸载工装操作成功后,对应工装“状态”变为“已卸载”。 跳转到“生产过站管理”页面 单击“跳转到过站管理”,系统打开“生产过站管理”页面。
  • 扩展属性配置相关操作 扩展属性添加完成后,您还可以进行如表2所示的操作。扩展字段配置完成后请谨慎进行修改、删除操作。 表2 扩展属性配置相关操作 操作 描述 编辑属性分组 在“ 全局扩展属性配置”页面,在左侧实体(模块)列表中选中待操作的记录,单击待编辑的属性分组记录右侧的“编辑”,根据实际情况修改中文名称信息。 编辑属性 在“ 全局扩展属性配置”页面,在左侧实体(模块)列表中选中待操作的记录,单击待编辑的属性记录“操作”列的“编辑”,根据实际情况修改分组信息。 删除属性 在“ 全局扩展属性配置”页面,在左侧实体(模块)列表中选中待操作的记录,单击待删除的属性记录“操作”列的“删除”,删除属性。 说明: 当被删除的属性为该属性分组内的唯一属性,将同时删除对应的属性分组。 调整属性分组/属性排序 在“ 全局扩展属性配置”页面,在左侧实体(模块)列表中选中待操作的记录,通过拖拉拽调整属性分组/属性的排序后,单击对应的“保存排序设置”。
  • 批次拆分相关操作 在“批次拆分”页面,您还可以进行如表1所示的操作。 表1 批次拆分相关操作 操作 描述 子批次拆分 在“批次拆分”页面,单击“已拆分”状态工单左侧的,再单击产品条码列表“子条码详情”列的“去拆分”,进入该产品条码的“子批次拆分”页面。 查看子条码拆分详情 在“批次拆分”页面,单击“已拆分”状态工单左侧的,再单击产品条码列表“子条码详情”列的“拆分详情”,查看子条码拆分详情。 查询批次拆分信息 在“批次拆分”页面,选择指定线体、工单号或产品编码,再单击“查询”,查询批次拆分信息。
  • 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则 若用户创建集群时暂未绑定弹性公网IP,如图2所示。 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”创建弹性公网IP。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图2 绑定弹性公网IP 单击“确定”,进入MRS Manager登录页面。 输入创建集群时默认的用户名“admin”及设置的密码,单击“登录”进入MRS Manager页面。
  • 添加安全组规则 如需为其他用户开通访问MRS Manager的权限,参考该小节内容添加对应用户访问公网的IP地址为可信范围。 在MRS管理控制台,在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。 图4 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行步骤6-步骤9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 单击“确定”完成安全组规则添加。
  • 准备认证机制代码 在开启Kerberos认证的环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置,如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可,由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。 认证样例代码: 设置keytab认证文件模块 /** * 用户自己申请的账号keytab文件名称 */ private static final String USER_KEYTAB_FILE = "用户自己申请的账号keytab文件名称"; /** * 用户自己申请的账号名称 */ private static final String USER_PRINCIPAL = "用户自己申请的账号名称"; MRS服务Kerberos认证模块,如果服务没有开启kerberos认证,这块逻辑不执行 public static void securityPrepare() throws IOException { String filePath = System.getProperty("user.dir") + File.separator + "conf" + File.separator; String krbFile = filePath + "krb5.conf"; String userKeyTableFile = filePath + USER_KEYTAB_FILE; //windows路径下分隔符替换 userKeyTableFile = userKeyTableFile.replace("\\", "\\\\"); krbFile = krbFile.replace("\\", "\\\\"); LoginUtil.setKrb5Config(krbFile); LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.hadoop.com"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 如果修改了集群kerberos域名,需要在代码中增加kerberos.domain.name的配置,并按照hadoop.expr=toLowerCase(%{default_realm}%{KerberosServer})规则配置正确的域名信息。例如:修改域名为HUAWEI.COM,则配置为hadoop.huawei.com。
  • 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码,确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前,在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。
  • 安全认证代码 目前是统一调用LoginUtil类进行安全认证。 在MapReduce样例工程代码中,test@HADOOP.COM、user.keytab和krb5.conf为示例,实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件,并将keytab文件和krb5.conf文件放入到样例代码中的conf目录,安全登录方法如下代码所示。 认证信息需要根据实际环境修改。 public static final String PRINCIPAL= "test@HADOOP.COM"; public static final String KEYTAB = FemaleInfoCollector.class.getClassLoader().getResource("user.keytab").getPath(); public static final String KRB = FemaleInfoCollector.class.getClassLoader().getResource("krb5.conf").getPath(); // 判断是否为安全模式 if("kerberos".equalsIgnoreCase(conf.get("hadoop.security.authentication"))){ //安全登录 System.setProperty("java.security.krb5.conf", KRB); LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); }
  • Presto JDBC使用样例 下面的代码片段在PrestoJDBCExample类中,用于实现JDBC连接Presto TPCDS Catalog。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 private static Connection connection; private static Statement statement; /** * Only when Kerberos authentication enabled, configurations in presto-examples/conf/presto.properties * should be set. More details please refer to https://prestodb.io/docs/0.215/installation/jdbc.html. */ private static void initConnection(String url, boolean krbsEnabled) throws SQLException { if (krbsEnabled) { String filePath = System.getProperty("user.dir") + File.separator + "conf" + File.separator; File proFile = new File(filePath + "presto.properties");if (proFile.exists()) { Properties props = new Properties(); try { props.load(new FileInputStream(proFile)); } catch (IOException e) { e.printStackTrace(); } connection = DriverManager.getConnection(url, props); } } else { connection = DriverManager.getConnection(url, "presto", null); } statement = connection.createStatement(); } private static void releaseConnection() throws SQLException { statement.close(); connection.close(); } public static void main(String[] args) throws SQLException { try { /** * Replace example_ip with your cluster presto server ip. * By default, Kerberos authentication disabled cluster presto service port is 7520, Kerberos * authentication enabled cluster presto service port is 7521 * The postfix /tpcds/sf1 means to use tpcds catalog and sf1 schema, you can use hive catalog as well * If Kerberos authentication enabled, set the second param to true. * see PrestoJDBCExample#initConnection(java.lang.String, boolean). */ initConnection("jdbc:presto://example_ip:7520/tpcds/sf1", false); //initConnection("jdbc:presto://example_ip:7521/tpcds/sf1", true); ResultSet resultSet = statement.executeQuery("select * from call_center"); while (resultSet.next()) { System.out.println(resultSet.getString("cc_name") + " : " + resultSet.getString("cc_employees")); } } catch (SQLException e) { e.printStackTrace(); } finally { releaseConnection(); } }
  • 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 在Linux客户端运行应用的初始化代码,代码样例如下所示。 /** * 初始化,获取一个FileSystem实例 * * @throws IOException */ private void init() throws IOException { confLoad(); authentication(); instanceBuild(); } /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径, * 修改为在Linux下客户端文件的绝对路径。 * */ private void confLoad() throws IOException { conf = new Configuration(); // conf file conf.addResource(new Path(PATH_TO_HDFS_SITE_XML)); conf.addResource(new Path(PATH_TO_CORE_SITE_XML)); } /** * kerberos security authentication * 如果程序运行在Linux上,则需要krb5.conf和keytab文件的路径, * 修改为在Linux下客户端文件的绝对路径。并且需要将样例代码中的keytab文件和principal文件 * 分别修改为当前用户的keytab文件名和用户名。 * */ private void authentication() throws IOException { // 安全模式 if ("kerberos".equalsIgnoreCase(conf.get("hadoop.security.authentication"))) { System.setProperty("java.security.krb5.conf", PATH_TO_KRB5_CONF); LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB, PATH_TO_KRB5_CONF, conf); } } /** * build HDFS instance */ private void instanceBuild() throws IOException { // get filesystem fSystem = FileSystem.get(conf); }
  • 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-example”工程的“conf”目录。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 MRS_Services_ClientConfig\HDFS\config\core-site.xml hdfs-site.xml 配置HDFS详细参数。 MRS_Services_ClientConfig\HDFS\config\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件客户根据自己的需要进行配置。
  • 操作步骤 运行结果会有如下成功信息: ... 2020-01-09 10:43:49,338 INFO [main] examples.HBaseExample: Entering dropTable. 2020-01-09 10:43:49,341 INFO [main] client.HBaseAdmin: Started disable of hbase_sample_table 2020-01-09 10:43:50,080 INFO [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 41 completed 2020-01-09 10:43:50,550 INFO [main] client.HBaseAdmin: Operation: DELETE, Table Name: default:hbase_sample_table, procId: 43 completed 2020-01-09 10:43:50,550 INFO [main] examples.HBaseExample: Drop table successfully. 2020-01-09 10:43:50,550 INFO [main] examples.HBaseExample: Exiting dropTable. 2020-01-09 10:43:50,550 INFO [main] client.ConnectionImplementation: Closing master protocol: MasterService 2020-01-09 10:43:50,556 INFO [main] examples.TestMain: -----------finish to test HBase API------------------- 在Windows环境运行样例代码时会出现下面的异常,但是不影响业务: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 日志说明 日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG log4j.logger.org.apache.hadoop.hbase=INFO # Make these two classes DEBUG-level. Make them DEBUG to see more zk debug. log4j.logger.org.apache.hadoop.hbase.zookeeper.ZKUtil=INFO log4j.logger.org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher=INFO
  • 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal,您可以联系管理员获取此账号。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件,您可以联系管理员获取文件。 krb5ConfPath /opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf krb5.conf文件路径和文件名称。 ZKServerPrincipal zookeeper/hadoop.hadoop.com ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab"; String krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf"; Configuration hadoopConf = new Configuration(); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); 带ZooKeeper认证: 由于“Spark Streaming”、“通过JDBC访问Spark SQL”和“Spark on HBase”样例程序,不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab"; String krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf"; String ZKServerPrincipal = "zookeeper/hadoop.hadoop.com"; String ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME = "Client"; String ZOOKEEPER_SERVER_PRINCIPAL_KEY = "zookeeper.server.principal"; Configuration hadoopConf = new Configuration(); LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userPrincipal, userKeytabPath); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZKServerPrincipal); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf);
  • 安全认证代码(Scala版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表3所示,请根据实际情况修改对应参数值。 表3 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal,您可以联系管理员获取此账号。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件,您可以联系管理员获取文件。 krb5ConfPath /opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf krb5.conf文件路径和文件名称。 ZKServerPrincipal zookeeper/hadoop.hadoop.com ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: val userPrincipal = "sparkuser" val userKeytabPath = "/opt/FIclient/user.keytab" val krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf" val hadoopConf: Configuration = new Configuration() LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); 带ZooKeeper认证: 由于“Spark Streaming”、“通过JDBC访问Spark SQL”和“Spark on HBase”样例程序,不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。请在程序中添加如下代码,并根据实际情况设置安全认证相关参数: val userPrincipal = "sparkuser" val userKeytabPath = "/opt/FIclient/user.keytab" val krb5ConfPath = "/opt/FIclient/KrbClient/kerberos/var/krb5kdc/krb5.conf" val ZKServerPrincipal = "zookeeper/hadoop.hadoop.com" val ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME: String = "Client" val ZOOKEEPER_SERVER_PRINCIPAL_KEY: String = "zookeeper.server.principal" val hadoopConf: Configuration = new Configuration(); LoginUtil.setJaasConf(ZOOKEEPER_DEFAULT_LOGIN_CONTEXT_NAME, userPrincipal, userKeytabPath) LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZKServerPrincipal) LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf);
  • Step3:基础权限开通 基础权限开通需要登录管理员账号,为子用户账号开通Server功能所需的基础权限(ModelArts FullAccess/BMS FullAccess/ECS FullAccess/VPC FullAccess/VPC Administrator/VPCEndpoint Administrator)。 登录统一身份认证服务管理控制台。 单击目录左侧“用户组”,然后在页面右上角单击“创建用户组”。 填写“用户组名称”并单击“确定”。 在操作列单击“用户组管理”,将需要配置权限的用户加入用户组中。 单击用户组名称,进入用户组详情页。 在权限管理页签下,单击“授权”。 图1 “配置权限” 在搜索栏输入“ModelArts FullAccess”,并勾选“ModelArts FullAccess”。 图2 ModelArts FullAccess 以相同的方式,依次添加:BMS FullAccess、ECS FullAccess、VPC FullAccess、VPC Administrator、VPCEndpoint Administrator。(Server Administrator、DNS Administrator为依赖策略,会自动被勾选)。 图3 基础权限 作用范围选择“区域级项目”,在下拉框中选择“所有资源 (包括未来在所有区域下创建的项目)”。 图4 作用范围 单击“确认”,完成基础权限开通。
  • 开通流程 图1 DevServer资源开通流程图 表1 DevServer资源开通流程 阶段 任务 参考 准备工作 1、申请开通资源规格。 Step1:申请开通资源规格 2、资源配额提升。 Step2:资源配额提升 3、基础权限开通。 Step3:基础权限开通 4、配置ModelArts委托授权。 Step4:配置ModelArts委托授权 5、创建虚拟私有云。 Step5:创建虚拟私有云 6、创建密钥对。(可选,若为密码登录方式则不需要) Step6:创建密钥对 购买Server资源 7、在ModelArts控制台上购买资源。 购买Server资源 父主题: DevServer资源开通
  • API限制 视频点播服务对服务端API设置了调用次数限制,避免出现短时间内重复调用API,出现服务中断的情况。 表3 API流控限制 接口分类 接口名称 单租户接口流控 (单位:次数/分钟) 接口总体流控 (单位:次数/分钟) 媒资上传 创建媒资:上传方式 获取分段上传授权 确认媒资上传 桶授权 创建媒资:OBS转存方式 1500 12000 创建媒资:OBS托管方式 创建媒资:URL拉取注入 上传检验 100 1000 媒资处理 视频更新 媒资处理 取消媒资转码任务 音频提取 取消提取音频任务 创建审核媒资任务 设置封面 100 1000 媒资管理 删除媒资 媒资发布 媒资发布取消 修改媒资属性 100 1000 查询媒资信息 1500 24000 查询指定媒资的详细信息 查询媒资列表 1500 12000 OBS托管管理 查询托管任务 查询托管任务详情 100 1000 查询托管媒资详情 1500 12000 媒资预热 CDN预热 查询CDN预热 100 1000 媒资分类 创建媒资分类 修改媒资分类 删除媒资分类 查询指定分类信息 100 1000 密钥查询 密钥查询 1500 12000 统计分析 查询CDN统计信息 查询源站统计信息 查询TopN媒资信息 查询域名播放日志 查询媒资日播放统计数据 100 1000 水印模板管理 创建水印模板 修改水印模板 查询水印列表 删除水印模板 确认水印图片上传 100 1000 转码模板管理 创建自定义转码模板 查询转码模板列表 修改转码模板 删除自定义模板 100 1000 转码模板集合管理 创建转码模板组集合 修改转码模板组集合 查询自定义模板组集合 删除转码模板组集合 100 1000
  • 资源限制 视频点播服务对用户域名、水印等进行了资源控制。 表1 资源限制 对象 描述 限制 区域 新用户暂只支持开通华北-北京四区域。 - 域名 单用户在视频点播控制台最多可以添加的自有域名个数。 添加的域名需要满足如下要求: 域名已在工信部备案,且当前备案信息正常可用。可以直接在华为云注册域名,并备案。 说明: 系统会对您名下的所有域名进行自动检查,对长期未有播放行为产生的域名进行下线操作,具体请参见域名配置。 5 URL拉取 单用户一次最多可以拉取的音视频个数。 控制台:100 API:16 URL拉取速率 使用音视频源文件URL离线拉取音视频文件至点播系统的全局最大速率。 1Gbps 水印 视频文件一次最多可以添加的水印个数。 2 分类 单用户最多支持三级分类,每个分类最多支持添加的子类个数。 128 音视频标签 单用户最多可为音视频文件添加标签的个数。 16 Referer防盗链 单用户的Referer防盗链白名单或黑名单最多可配置的域名个数。 100 媒资预热 单用户每天可以预热媒资的最大次数。 1000
  • 管理域名 自有域名添加后,您可以在域名管理页面查看已添加域名的基本信息,您也可以根据实际需求停用、启用或删除已添加的域名。若开通了企业项目管理服务,则还可以查看到域名分类所在的企业项目名称。 登录视频点播控制台。 在左侧导航栏选择“域名管理”,进入域名管理界面。 您可以根据实际需求选择以下操作。 查看域名信息 在域名列表中,可查看已添加域名的CNAME值、状态等信息。 图2 域名信息 单击右侧操作列的“配置”,可查看目标域名的基本配置信息,还可以为该域名配置HTTPS安全加速和防盗链。 图3 域名安全配置 停用域名 若您需要停用某个域名,可以在需要停用的域名行单击“停用”。当“状态”变为“已停用”时,表示域名停用成功。 至少要保证设置为“默认”的域名处于“已启用”状态,否则会导致点播音视频播放失败。 启用域名 若您需要将某个已停用的域名重新启用,可以在需要启用的域名行单击“启用”。当“状态”变为“已启用”时,表示域名启用成功。 删除域名 注意:仅在“停用”状态下的域名才能删除。因此,您需要先停用不需要的域名,再在需要删除的域名行单击“删除”即可。 如果域名超过半年未使用,删除域名时会报错,需提交工单处理。
  • 添加域名 登录视频点播控制台。 在左侧导航栏选择“域名管理”,进入域名管理界面。 单击“新增域名”,进入“添加域名”页面。 参数配置说明如表1所示 表1 添加域名 参数 说明 域名 输入已备案的域名。 最多可添加5个域名,不支持添加中文域名和泛域名,如“*.example.com”。 建议使用二级以上域名,如“example.yourdomain.com”。 企业项目 若您开通了企业项目管理服务,则需要选择“企业项目”,将新建域名进行分类管理。 服务范围 当前域名的服务范围。 包括如下选项: 中国大陆:仅中国大陆的用户,可以访问当前域名的视频点播内容。 中国大陆境外:仅中国大陆境外的用户,可以访问当前域名的视频点播内容。 全球:全球用户,均可以访问当前域名的视频点播内容。 单击“确定”,完成添加。 在域名列表中会新增一条“状态”为“配置中”的域名记录。大概3-5分钟时间,当“状态”为“已启用”时,域名添加成功。 域名添加成功后,系统将会为添加的域名分配一个CNAME值。 在域名DNS服务商处配置CNAME解析,并验证CNAME是否生效,具体操作请参见配置CNAME。 若域名添加后未配置CNAME就设置为默认启用,则可能导致点播中的音视频无法正常播放,封面无法正常显示等异常。 在已添加的域名后单击“设为默认”,可以将自有域名设置为默认域名。 每个账户仅能设置一个默认域名,且设置为“默认”的域名必须处于正常启用状态。设置后,您还需要开启该域名的HTTPS安全加速,并上传HTTPS证书,才可以使用该域名向外提供视频点播功能。
  • 注意事项 若您开通了企业项目管理服务,则添加域名时,支持为域名划分企业项目方便进行分类管理。默认的企业项目为“default”,您可以参考创建企业项目添加更多企业项目类型,以满足您的业务需求。 系统会对您名下的所有域名进行自动检查,对长期未有播放行为产生的域名进行下线操作,具体如下所示: 域名停用:若某个域名在一个月内未有下行流量产生,则停用该域名,点播控制台上对应域名为“已停用”状态。 域名删除:若某个域名在两个月内未有下行流量产生,则删除该域名。 域名停用或删除后,不能再使用该域名进行媒资的分发和播放,但不影响媒资的上传、处理等操作。 当域名处在停用等异常状态时,对媒资进行删除等操作,会存在CDN缓存无法清除的情况。需要域名恢复正常后,用户再次触发媒资的缓存清除操作。 域名恢复:若域名被停用,您可以在点播控制台的“域名管理”中手动启用。若域名已被删除,则需要重新添加该域名,并配置CNAME,才可再次使用该域名。需要注意的是,开通点播服务时系统分配的加速域名(当前系统域名资源已分配完),删除后无法恢复。 域名解禁:若域名备案到期后,该域名会被封禁,届时,该域名相关的点播资源将无法使用。您需要重新在工信部或华为云备案中心完成该域名的备案后,提交工单申请解封。 如果域名超过半年未使用,删除域名时会报错,需提交工单处理。
共100000条