华为云用户手册

  • 背景信息 对象存储迁移服务支持迁移以下的源端云服务商或数据源类型: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 本节以华为云为源端数据源为例进行介绍,其余云服务商创建迁移任务组的详细步骤,您可以参考各云服务商迁移教程。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
  • 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
  • 迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务/任务组时,高级选项中的同名对象覆盖方式来执行覆盖规则。规则说明参见表1。 表1 同名对象覆盖规则说明 覆盖规则 说明 大小/最后修改时间对比覆盖 对于源端和目的端存在的同名对象,如果对象大小相同,则保留最后修改时间较新的对象;如果对象大小不同,则源端覆盖目的端。 不覆盖 对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。 全覆盖 对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。 父主题: 产品咨询
  • 购买并配置云容器引擎 本文档中使用的是云容器引擎CCE。 通过控制台可购买CCE集群。 其中集群及节点的必要配置建议参照表1与表2,表中未涉及的可根据实际情况选择。 表1 CCE集群购买配置 配置分类 配置项 配置建议 基础配置 计费模式 选择“按需计费”。 集群版本 根据需要选择,建议选择最新版本。 网络配置 网络模型 选择“容器隧道网络”。 虚拟私有云 选择已有的虚拟私有云,如果列表中没有合适的选项,单击“新建虚拟私有云”完成创建。 控制节点子网 选择已有的子网,如果列表中合适的选项,单击“新建子网”完成创建。 容器网段 勾选“自动设置网段”。 表2 节点配置 配置分类 配置项 配置建议 计算配置 计费模式 选择“按需计费”。 节点类型 选择“弹性云服务器-虚拟机”。 节点规格 选择“通用型”、2核8G及以上规格即可。 操作系统 选择公共镜像中的Euler镜像。 节点名称 输入自定义名称 。 登录方式 选择“密码”。 密码 输入自定义密码 。 网络配置 节点IP 选择“自动分配”。 弹性公网IP 选择“自动创建”。
  • 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从管理员处地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "parent_id": "65382450e8f64ac0870cd180d14e684b", "name": "xxxxxxxx", "description": "", "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects/a4a5d4098fb4474fa22cd05f897d6b99" }, "id": "a4a5d4098fb4474fa22cd05f897d6b99", "enabled": true } ], "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects" } }
  • 日志级别 DBService中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示当前时间处理存在错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
  • 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table.name 指定写入的hudi表名。 无 hoodie.datasource.write.operation 写hudi表指定的操作类型,当前支持upsert、delete、insert、bulk_insert等方式。 upsert:更新插入混合操作 delete:删除操作 insert:插入操作 bulk_insert: 用于初始建表导入数据, 注意初始建表禁止使用upsert、insert方式 insert_overwrite:对静态分区执行insert overwrite insert_overwrite_table:动态分区执行insert overwrite,该操作并不会立刻删除全表做overwrite,会逻辑上重写hudi表的元数据,无用数据后续由hudi的clean机制清理。效率比bulk_insert + overwrite 高 upsert hoodie.datasource.write.table.type 指定hudi表类型,一旦这个表类型被指定,后续禁止修改该参数,可选值MERGE_ON_READ。 COPY_ON_WRITE hoodie.datasource.write.precombine.field 该值用于在写之前对具有相同的key的行进行合并去重。 ts hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache.hudi.common.model.DefaultHoodieRecordPayload hoodie.datasource.write.recordkey.field 用于指定hudi的主键,hudi表要求有唯一主键。 uuid hoodie.datasource.write.partitionpath.field 用于指定分区键,该值配合hoodie.datasource.write.keygenerator.class使用可以满足不同的分区场景。 无 hoodie.datasource.write.hive_style_partitioning 用于指定分区方式是否和hive保持一致,建议该值设置为true。 true hoodie.datasource.write.keygenerator.class 配合hoodie.datasource.write.partitionpath.field,hoodie.datasource.write.recordkey.field产生主键和分区方式。 说明: 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator 父主题: 配置参考
  • 前提条件 待安装客户端节点为集群外节点时,该节点必须能够与集群内节点网络互通,否则安装会失败。 待安装客户端节点必须启用NTP服务,并保持与服务端的时间一致,否则安装会失败。 在节点上安装客户端可以使用root或任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为“755”。 本章节以使用操作系统用户“user_client”安装客户端进行举例,安装目录为“/opt/hadoopclient”。 使用omm和root以外的用户安装客户端时,若“/var/tmp/patch”目录已存在,需将此目录权限修改为“777”,将此目录内的日志权限修改为“666”。
  • 对系统的影响 已检测到JobServer任务队列中存在过多任务数(详细的任务队列使用情况,请参考本告警的附加信息字段),将导致如下影响: 当JobServer任务队列中的任务数达到队列最大值(默认为1000)时,新的任务将无法添加,将会影响用户的大数据任务提交。 在JobServer任务队列中的任务数达到队列最大值之前,JobServer队列中任务的提交速度将会恶化,如:用户已添加任务提交到Yarn组件的时间会变长,可能达到小时级别;用户新添加任务提交到Yarn组件的时间变长,可能达到小时级别。
  • 操作场景 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。 系统管理员可以在FusionInsight Manager查看静态服务池各个服务使用资源的监控指标结果,包含监控指标如下: 服务总体CPU使用率 服务总体磁盘IO读速率 服务总体磁盘IO写速率 服务总体内存使用大小
  • 集群Master节点规格升级(一键升级) 登录MRS管理控制台。 选择 “现有集群” ,选中需要升级Master节点规格的集群并单击集群名,进入集群信息页面。 在“节点管理”页签Master节点组的“操作”列选择“升级规格”,进入“升级Master规格”页面。 选择升级后的规格,单击“提交”成功提交升级Master规格任务。 节点规格升级过程需要时间,升级成功后集群状态更新为“运行中”,请您耐心等待。 升级过程中集群会自动关闭升级的虚拟机,升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同,节点规格升级成功后不会自动更新组件内存配置,用户可根据实际使用情况自行调整各组件内存配置。
  • 使用限制 支持2个及以上Master节点的集群升级Master节点规格 。 不支持使用BMS类型规格的集群升级Master节点规格 。 MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS 3.1.0及之后版本,请参考集群Master节点规格升级(一键升级)。 MRS 1.8.2之前版本和MRS 3.0.5版本,请参考集群Master节点规格升级(分步升级)操作。 升级过程中请勿对集群进行其他操作。
  • 数据库用户 系统数据库用户包含OMS数据库用户、DBService数据库用户。 类别 默认用户 初始密码 描述 密码修改方法 OMS数据库 ommdba MRS 3.2.0之前版本:dbChangeMe@123456 MRS 3.2.0及之后版本:随机密码 OMS数据库管理员用户,用于创建、启动和停止等维护操作。 请参见修改OMS数据库管理员密码。 omm MRS 3.2.0之前版本:ChangeMe@123456 MRS 3.2.0及之后版本:随机密码 OMS数据库数据访问用户。 请参见修改OMS数据库访问用户密码。 DBService数据库 omm MRS 3.2.0之前版本:dbserverAdmin@123 MRS 3.2.0及之后版本:随机密码 DBService组件中GaussDB数据库的管理员用户。 请参见重置DBService数据库omm用户密码。 compdbuser 随机密码 MRS 3.1.2及之后版本中存在,DBService组件中GaussDB数据库的管理员用户,用于业务运维场景。该账户密码首次使用需重置。 请参见修改DBService数据库compdbuser用户密码。 hetu 随机密码 HetuEngine连接DBService数据库hetumeta的用户。 该用户仅在MRS 3.1.2及之后版本中存在。 MRS 3.1.2之前版本:请参见修改组件数据库用户密码。 MRS 3.1.2及之后版本:请参见重置组件数据库用户密码。 hive MRS 3.1.2之前版本:HiveUser@ MRS 3.1.2及之后版本:随机密码 Hive连接DBService数据库hivemeta的用户。 hue MRS 3.1.2之前版本:HueUser@123 MRS 3.1.2及之后版本:随机密码 Hue连接DBService数据库hue的用户。 sqoop MRS 3.1.2之前版本:SqoopUser@ MRS 3.1.2及之后版本:随机密码 Loader连接DBService数据库sqoop的用户。 oozie MRS 3.1.2之前版本:OozieUser@ MRS 3.1.2及之后版本:随机密码 Oozie连接DBService数据库oozie的用户。 rangeradmin MRS 3.1.2之前版本:Admin12! MRS 3.1.2及之后版本:随机密码 Ranger连接DBservice数据库ranger的用户。 kafkaui 随机密码 KafkaUI连接DBService数据库kafka的用户。 该用户仅在MRS 3.1.2及之后版本中存在。 flink 随机密码 Flink连接DBService数据库flink的用户。 该用户仅在MRS 3.1.2及之后版本中存在。 cdl 随机密码 CDL连接DBService数据库cdl的用户。 该用户仅在MRS 3.2.0及之后版本中存在。 jobgateway 随机密码 JobGateway连接DBService数据库jobmeta的用户。 该用户仅在MRS 3.3.0及之后版本中存在。
  • 系统用户 需要使用操作系统中root用户,所有节点root用户需设置为统一的密码。 需要使用操作系统中ldap用户,此账号不能删除,否则可能导致集群无法正常工作。密码管理策略由操作系统管理员维护。 类别 用户名称 初始密码 描述 密码修改方法 系统管理员 admin 用户创建集群时自定义 FusionInsight Manager的管理员。 说明: admin用户默认不具备其他组件的管理权限,例如访问组件原生界面时,需要使用具备对应组件管理权限的用户才可以访问到完整内容。 请参见修改admin密码。 节点操作系统用户 ommdba 随机密码 创建系统数据库的用户。在管理节点生成,属于操作系统用户,无需设置为统一的密码。该用户不能用于远程登录。 请参见修改操作系统用户密码。 omm 随机密码 系统的内部运行用户。在全部节点生成,属于操作系统用户,无需设置为统一的密码。
  • 用户分类 MRS集群提供以下3类用户,请系统管理员定期修改密码,不建议使用默认密码。 本章节介绍MRS集群内的相关默认用户信息。 用户类型 使用说明 系统用户 通过FusionInsight Manager创建,是系统操作运维与业务场景中主要使用的用户,包含两种类型: “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景。创建此类型用户时需要参考创建用户设置“密码”和“确认密码”。 “机机”用户:用于系统应用开发的场景。 用于OMS系统进程运行的用户。 系统内部用户 集群提供的用于Kerberos认证、进程通信、保存用户组信息和关联用户权限的内部用户。系统内部用户不建议在操作与维护的场景下使用。请通过admin用户操作,或联系系统管理员根据业务需要创建新用户。 数据库用户 用于OMS数据库管理和数据访问的用户。 用于业务组件(Hue、Hive、HetuEngine、Loader、Oozie、Ranger、JobGateway和DBService)数据库的用户。
  • 客户端上传/下载Docker组件 前提条件: 已安装Docker客户端。 私有依赖库中已创建Docker仓库。 在Docker客户端需要执行如下命令修改配置,忽略证书。 vi /etc/docker/daemon.json { "insecure-registries": ["url"] } {url}:仓库地址,如下图所示。 上传Docker组件至私有依赖库: 从私有库页面选择对应的Docker仓库,单击“操作指导”。 单击“下载配置文件”,下载配置文件“config.json”。 获取已下线的配置文件中的{username}、{password}。 在本地客户端执行以下命令,登录Docker私有依赖库。 docker login {url} -u ${username} -p ${password} url:仓库地址。 username:3中获取的用户名。 password:3中获取的密码。 在本地客户端执行以下命令,打包镜像。 sudo docker tag ${image_name1}:${image_version1} {url}/${image_name2}:${image_version2} image_name1:本地镜像名称。 image_version1:本地镜像版本号。 url:仓库地址。 image_name2:用户可以设置上传后的镜像名称,组件名称将显示在Docker私有依赖库组件列表中。 image_version2:用户可以设置上传后的镜像版本。 在本地客户端执行以下命令,上传Docker组件至私有依赖库。 sudo docker push {url}/${image_name}:${image_version} url:仓库地址。 image_name:输入5中的“image_name2”。 image_version:输入5中的“image_version2”。 在Docker私有依赖库中查看已上传的组件。 客户端下载Docker组件: 在本地客户端执行以下命令,下载Docker组件。 sudo docker pull {url}/${image_name}:${image_version} url:仓库地址。 image_name:组件名称。 image_version:组件版本。
  • 搜索私有组件 进入私有依赖库,单击页面左上方“高级搜索”。 页面上方可以选择待查找组件所在的仓库(默认为所有制品类型)。 在搜索框内输入文件名称的关键字,单击,即可搜索组件。 单击“文件名”可以查看组件的详细信息。 制品按照checksums搜索 单击搜索框左侧的下拉列表,选择Checksums(默认为文件名称)。 输入“MD5/SHA-1/SHA-256/SHA-512校验和”,单击也可以找到相应的组件。
  • 权限设置 在软件发布库中,不同的项目角色对应的操作权限不同。拥有“权限设置”操作权限的成员可以对权限范围进行编辑。 通过项目入口进入软件发布库。 单击页面左上方,在下拉栏中单击“项目权限设置”。 单击需要“配置权限的角色”,选择“二进制仓”,根据需要单击编辑并勾选权限,单击保存。 软件发布库提供的默认权限矩阵如下表所示。 表1 项目级权限 项目级权限说明 角色/动作 更改包状态 上传 删除/还原(测试包) 删除/还原(生产包) 编辑(测试包) 新建文件夹 下载 还原所有 清空回收站 项目经理 √ √ √ × √ √ √ √ √ 产品经理 × × √ × √ √ √ × × 测试经理 × √ √ × √ √ √ √ √ 运维经理 √ √ √ √ √ √ √ × × 系统工程师 × √ √ × √ √ √ × × Committer × √ √ × √ √ √ × × 开发人员 × √ √ × √ √ √ × × 测试人员 × √ × × × √ √ × × 参与者 × × × × × × √ × × 浏览者 × × × × × × × × × 项目管理者 √ √ √ √ √ √ √ √ √ 项目管理者默认拥有全部操作权限,无法修改其权限范围。 自定义角色无预置权限,可以联系管理员添加当前角色类型对应资源的相应操作权限。 项目管理者、项目经理、测试经理默认具有“权限配置”的权限。其他角色之前如有“权限配置”权限,可以继续在软件发布库内给其他角色配置权限。 父主题: 软件发布库(新版)
  • 项目内回收站 通过项目入口进入私有依赖库页面。 在页面左下方单击“回收站”,右侧滑出“回收站”页面。 根据需要对列表中的仓库与组件进行删除或还原操作。 列表中,若操作列中有和,则表示此行是被删除的仓库;否则表示此行是被删除组件所在的仓库名称,单击仓库名称即可看到该仓库中被删除的组件。 可进行的操作如下: 操作类型 操作项 说明 还原 还原仓库 单击操作列的,可以还原对应仓库。 还原单个组件 进入待还原组件所在仓库,在列表中单击操作列,可以还原对应组件。 批量还原组件 进入待还原组件所在仓库,勾选多个组件,单击列表下方的“还原”,可以同时还原多个组件。 还原所有 单击页面右上方“还原所有”,可以一键还原回收站中的所有仓库与组件。 删除 删除仓库 单击操作列,可以删除对应仓库。 删除单个组件 进入待删除组件所在仓库,单击操作列,可以删除对应组件。 批量删除组件 进入待删除组件所在仓库,勾选多个组件,单击列表下方的“彻底删除”,可以同时删除多个组件。 清空回收站 单击页面右上方“清空回收站”,可以一键删除回收站中的所有仓库与组件。
  • 首页回收站 用户可以在制品仓库服务的首页回收站里,处理所有项目删除的组件。 通过首页入口进入私有依赖库页面。 单击页面右上方“回收站”,右侧滑出“回收站”页面。 根据需要对列表中的仓库与组件进行删除或还原操作。 列表中,若操作列中有和,则表示此行是被删除的仓库;否则表示此行是被删除组件所在的仓库名称,单击仓库名称即可看到该仓库中被删除的组件。 可进行的操作如下: 操作类型 操作项 说明 还原 还原仓库 单击操作列的,可以还原对应仓库。 还原单个组件 进入待还原组件所在仓库,在列表中单击操作列,可以还原对应组件。 批量还原组件 进入待还原组件所在仓库,勾选多个组件,单击列表下方的“还原”,可以同时还原多个组件。 还原所有 单击页面右上方“还原所有”,可以一键还原回收站中的所有仓库与组件。 删除 删除仓库 单击操作列,可以删除对应仓库。 删除单个组件 进入待删除组件所在仓库,单击操作列,可以删除对应组件。 批量删除组件 进入待删除组件所在仓库,勾选多个组件,单击列表下方的“彻底删除”,可以同时删除多个组件。 清空回收站 单击页面右上方“清空回收站”,可以一键删除回收站中的所有仓库与组件。
  • 上传debian私有组件 上传debian私有组件时,需要配置以下5个参数: 参数 参数说明 Distribution 软件包发行版本。 Component 软件包组件名称。 Architecture 软件包体系结构。 Path 软件包的存储路径,默认上传至根路径。 File 软件包的本地存储路径。 上传成功之后,可在仓库组件列表中看到deb格式的安装包,同时在路径“dists”下生成对应的元数据,可用于debian安装。
  • 上传RPM私有组件 RPM简介 RPM 全名 RedHat Package Manager,是由Red Hat公司提出,被众多Linux发行版本所采用,是一种以数据库记录的方式来将所需要的软件安装到Linux系统的一套软件管理机制。 一般建议使用以下规范打包命名RPM二进制文件。 软件名称-软件的主版本号.软件的次版本号.软件的修订号-软件编译次数.软件适合的硬件平台.rpm 例如:hello-0.17.2-54.x86_64.rpm。其中,“hello”是软件名称,“0”是软件的主版本号,“17”是软件的次版本号,“2”是软件的修订号,“54”是软件编译次数,“x86_64”是软件适合的硬件平台。 软件名称 主版本号 次版本号 修订号 编译次数 适合的硬件平台 hello 0 17 2 54 x86_64 注:上传组件时需要配置以下两个参数 参数 说明 Component 组件名称。 Version RPM二进制包的版本。 进入私有依赖库,在左侧边栏中单击待上传私有组件的目标仓库。 单击页面右侧“上传制品”。 在弹框中输入组件参数,并上传文件,单击“上传”。 上传成功之后,可在仓库组件列表中看到RPM二进制包,同时在组件名称路径下生成对应的元数据“repodata”目录,可用于yum安装。
  • 上传NuGet私有组件 NuGet 包是具有 .nupkg 扩展的单个 ZIP 文件,作为一种可共享的代码单元,开发人员可以把它发布到一个专用的服务器来共享给团队内其它成员。 制品仓库服务创建NuGet私有依赖库来托管NuGet包。 一般建议使用以下规范打包命名NuGet本地文件。 软件名称-软件的主版本号.nupkg 例如:automapper.12.0.0.nupkg 进入私有依赖库,在左侧边栏中单击待上传私有组件的目标NuGet仓库。 单击“上传制品”,从本地选择待上传的NuGet文件,单击“上传”。 上传成功的组件显示在仓库列表中。 metadata目录为元数据保存目录,由组件名称名称命名。元数据目录无法删除,会跟随对应组件的删除或还原进行删除或新增。 package目录为组件保存目录。
  • 上传PyPI组件 建议进入工程目录(该目录下需含有配置文件setup.py)执行以下命令将待上传组件打包成wheel格式(.whl)的安装包,安装包默认生成在工程目录的dist目录下;Python软件包管理工具pip仅支持wheel格式安装包。 python setup.py sdist bdist_wheel 上传组件时需要配置以下两个参数。 参数 说明 PackageName 请与打包时的配置文件“setup.py”中“name”保持一致。 Version 请与打包时的配置文件“setup.py”中“version”保持一致。 上传成功之后,可在仓库组件列表中看到whl格式的安装包,同时在路径“.pypi”下生成对应的元数据,可用于pip安装。
  • npm组件介绍 npm全称Node Package Manager,是一个JavaScript包管理工具,npm组件包就是npm管理的对象,而npm私有依赖库就是管理和存储npm组件包的一个私有仓库。 npm组件包是由结构和文件描述组成: 包结构:是组织包中的各种文件,例如:源代码文件,资源文件等。 描述文件:描述包的相关信息,例如:package.json、bin、lib等文件。 包中的package.json文件是对项目或模块包的描述文件,它主要包含名称、描述、版本、作者等信息,npm install命令会根据这个文件下载所有依赖的模块。 package.json示例如下: { "name": "third_use", //包名 "version": "0.0.1", //版本号 "description": "this is a test project", //描述信息 "main": "index.js", //入口文件 "scripts": { //脚本命令 "test": "echo \"Error: no test specified\" && exit 1" }, "keywords": [ //关键字 "show" ], "author": "f", //开发者姓名 "license": "ISC", //许可协议 "dependencies": { //项目生产依赖 "jquery": "^3.6.0", "mysql": "^2.18.1" }, "devDependencies": { //项目开发依赖 "less": "^4.1.2", "sass": "^1.45.0" } } 其中最重要的是name和version字段,这两个字段必须存在,否则当前包无法被安装,这两个属性一起形成了一个 npm 包的唯一标识。 name是 package(包)的名称。名称的第一部分如“@scope”用作名称空间;另一部分“name”,一般通过搜索该“name”字段来安装使用需要的包。 { "name": "@scope/name" } version是 package(包)的版本,一般为“x.y.z”格式。 { "version": "1.0.0" }
  • 上传Go组件 Go(又称Golang)是Google开发的一种编程语言。GoLang1.11开始支持模块化的包管理工具,模块是Go的源代码交换和版本控制的单元,mod文件用来标识并管理一个模块,zip文件是源码包。Go模块主要分为两种:v2.0以上版本,及v2.0以下版本,二者对Go模块的管理存在差异。 上传Go组件分为两步:上传zip文件与上传mod文件,需要分别输入以下参数。 参数 说明 zip path zip文件的完整路径。路径格式包括以下几种情况: v2.0以下版本:{moduleName}/@v/{version}.zip。 v2.0以上版本: zip包里有go.mod且路径里以/vN结尾:{moduleName}/vX/@v/vX.X.X.zip。 zip包里不含go.mod或go.mod第一行里不以/vN结尾:{moduleName}/@v/vX.X.X+incompatible.zip。 zip file zip文件的目录结构。包括以下几种情况: v2.0以下版本:{moduleName}@{version}。 v2.0以上版本: zip包里有go.mod且路径里以/vN结尾:{moduleName}/vX@{version}。 zip包里不含go.mod或go.mod第一行里不以/vN结尾: {moduleName}@{version}+incompatible。 mod path mod文件的完整路径。路径格式包括以下几种情况: v2.0以下版本:{moduleName}/@v/{version}.mod。 v2.0以上版本: zip包里有go.mod且路径里以/vN结尾:{moduleName}/vX/@v/vX.X.X.mod。 zip包里不含go.mod或go.mod第一行里不以/vN结尾:{moduleName}/@v/vX.X.X+incompatible.mod。 mod file mod文件内容。包括以下几种情况: v2.0以下版本:module {moduleName} v2.0以上版本: zip包里有go.mod且路径里以/vN结尾: module {moduleName}/vX zip包里不含go.mod或go.mod第一行里不以/vN结尾:module {moduleName}
  • 上传npm组件 私有依赖库支持上传tgz格式的npm组件包,上传时需要配置以下两个参数。 参数 说明 PackageName 请与打包时的配置文件“package.json”中“name”保持一致。 Version 请与打包时的配置文件“package.json”中“version”保持一致。 在上传组件时,PackageName需要以创建仓库时添加的路径列表中的路径开头,详细可见帮助指导中的“仓库配置说明”。 例如: 创建npm仓库时,添加的路径为“@test”。 上传组件到该仓库时,“PackageName”中的“@test”存在于新建仓库时的路径列表中,可以成功上传。若使用其他不存在与列表中的路径,如“@npm”,则会上传失败。 上传成功之后,可在仓库组件列表中看到tgz格式的组件包,同时在路径“.npm”下生成对应的元数据。
  • 基础操作步骤 进入私有依赖库,在左侧边栏中单击待上传私有组件的目标仓库。 单击页面右侧“上传制品”。 弹框中输入组件参数,并上传文件,单击“上传”。每种类型组件的详细配置请参考以下各节中的说明 私有依赖库通过页面上传单文件大小限制:Maven/npm/PyPI/RPM/Debian类型最大限制为100MB, NuGet最大限制为20MB。 建议不要将带有明文账号密码等敏感信息的文件上传至私有依赖库。
  • 通过编译构建任务发布软件包到软件发布库 以Maven构建任务为例,介绍如何通过编译构建任务发布软件包到软件发布库。 准备代码仓库。 登录软件开发生产线,进入已创建的项目。 进入代码托管服务,创建Maven类型代码仓库(操作步骤请参考创建云端仓库)。本文中使用仓库模板“Java Web Demo”创建代码仓库。 配置并执行编译构建任务。 进入代码仓库,单击页面右上角“设置构建”,页面跳转至“新建构建任务”页面。 在页面中选择“Maven”,单击“下一步”。 根据需要编辑构建步骤,本文中采用模板中的默认配置值。 单击“新建并执行”,启动构建任务执行。 待任务执行成功时,记录构建任务页面左上角“#”之后的数字串,如图2所示。 图2 编译构建任务 查看软件包。 进入项目下的软件发布库。 进入与构建任务名称同名的文件夹。 找到与构建任务页面中记录的数字串同名的文件夹,进入该文件夹即可找到生成的软件包,如图3所示。 图3 查看软件包 若在编译构建任务的步骤“上传软件包到软件发布库”中设置了“发布版本号”,软件包在将保存在与发布版本号同名的文件夹中。
共100000条