华为云用户手册
-
自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为text。在维基百科数据集中,它有四列,分别是id、url、title和text。可以指定–json-key 标志来选择用于训练的列。 { 'id': '1', 'url': 'https://simple.wikipedia.org/wiki/April', 'title': 'April', 'text': 'April is the fourth month...' }
-
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换,可通过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 若用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,可编辑参数以及详细介绍如下。以 llama2-70b 预训练为例: 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/pretrain/alpaca.parquet 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/llm_train/AscendSpeed/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 MODEL_NAME llama2-70b 对应模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。 DATA_TYPE [GeneralPretrainHandler, GeneralInstructionHandler, MOSSInstructionHandler] 示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSInstructionHandler:使用微调的moss数据集。 MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中,为了减少气泡时间,会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关,可根据实际情况进行调整。 GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等,与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数,根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 2 llama2-13b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend 3 llama2-70b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=4 4*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=8 8*节点 & 8*Ascend 4 llama3 llama3-8b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 5 llama3-70b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=4 4*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=8 8*节点 & 8*Ascend 6 Qwen qwen-7b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 7 qwen-14b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend 8 qwen-72b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=4 4*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=8 8*节点 & 8*Ascend 9 Qwen1.5 qwen1.5-7b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 10 qwen1.5-14b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend 11 qwen1.5-32b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=2 2*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=2 2*节点 & 8*Ascend 12 qwen1.5-72b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=4 4*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=8 8*节点 & 8*Ascend 13 Yi yi-6b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 14 yi-34b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=2 2*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=2 2*节点 & 8*Ascend 15 ChatGLMv3 glm3-6b SEQ_LEN=4096 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=4 PP(pipeline model parallel size)=1 1*节点 & 4*Ascend 16 Baichuan2 baichuan2-13b SEQ_LEN=4096 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend SEQ_LEN=8192 TP(tensor model parallel size)=8 PP(pipeline model parallel size)=1 1*节点 & 8*Ascend 父主题: 训练脚本说明
-
ChatGLMv3-6B 在训练开始前,针对ChatGLMv3-6B模型中的tokenizer文件,需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。 271行要添加注释,修改后如图1所示。 图1 修改ChatGLMv3-6B tokenizer文件(1) 291至300行要修改,修改后如图2所示。 图2 修改ChatGLMv3-6B tokenizer文件(2)
-
计费示例 示例一:云硬盘采用包年/包月计费模式 客户在购买通用型SSD V2云硬盘时,容量选择100GiB,预配置性能为5000 IOPS、325MiBps吞吐量。 假设包年/包月容量价钱为0.5元美元/GiB/月,按需IOPS单价为0.0000153元美元/IOPS/小时,按需吞吐量单价为0.00194元美元/MiBps/小时。 购买1个月(30天)的总费用为:容量费用+IOPS费用+吞吐量费用=100*0.5*1+(5000-3000)*0.0000153*24*30+(325-125)*0.00194*24*30=50+22.032+279.36=351.392元美元 容量费用=包年/包月容量费用 IOPS费用=(预配置IOPS-基准IOPS)*IOPS单价*时长 吞吐量费用=(预配置吞吐量-基准吞吐量)*吞吐单价*时长 示例二:云硬盘采用按需计费模式 客户在购买通用型SSD V2云硬盘时,容量选择100GiB,预配置性能为5000 IOPS、325MiBps吞吐量。 假设按需容量价钱为0.000695元美元/GiB/小时,按需IOPS单价为0.0000153元美元/IOPS/小时,按需吞吐量单价为0.00194元美元/MiBps/小时。 购买24小时的总费用为:容量费用+IOPS费用+吞吐量费用=100*0.000695*24+(5000-3000)*0.0000153*24+(325-125)*0.00194*24=1.668+0.7344+9.312=11.7344元美元 容量费用=容量*容量单价*时长 IOPS费用=(预配置IOPS-基准IOPS)*IOPS单价*时长 吞吐量费用=(预配置吞吐量-基准吞吐量)*吞吐单价*时长
-
配置预配置性能 进入购买磁盘页面。 在购买页面中,设置云硬盘的配置参数。 选择云硬盘类型为通用型SSD V2,并配置云硬盘容量。 设置IOPS。 设置吞吐量。 其他详细的参数配置,请参见购买云硬盘。 单击“立即购买”。 如果您选择的计费模式是“包年/包月”。 在“订单确认”页面,您可以再次核对云硬盘信息。 确认无误后,单击“去支付”。 在“支付”页面,根据界面提示,单击“确认付款”,页面显示“订单支付成功”。 单击“返回云硬盘控制台”,返回“云硬盘”主页面。 如果您选择的计费模式是“按需计费”。 在“规格确认”页面,您可以再次核对云硬盘信息。 确认无误后,单击“提交”,页面显示“任务提交成功”。 单击“返回磁盘列表”,返回“云硬盘”主页面。 如果您在购买通用SSD V2型云硬盘时,无法准确预测预配置性能吞吐量与IOPS配比,那么建议您采取“二一配比”方法设置性能:例如,假如您计划使用600MiB/s吞吐量,那么设置30000 IOPS;假如您计划使用1000MiB/s吞吐量,那么设置50000 IOPS。 如您在业务运行之后发现IOPS或者吞吐量无法满足业务诉求或者远超业务诉求,则可以随时调整IOPS或者吞吐量设置。
-
云硬盘性能 表1 云硬盘性能数据表 参数 通用型SSD V2 云硬盘最大容量 系统盘:1024 GiB 数据盘:32768 GiB 描述 用于均衡各种事务型工作负载的价格和性能的通用SSD云硬盘 。 典型应用场景 各种主流的高性能、低延迟交互应用场景。 企业办公、虚拟桌面 大型开发测试 转码类业务 系统盘 大中型规模的数据库(SQL Server 、 Oracle 、NoSQL、PostgreSQL) 最大IOPS 128000 最大吞吐量 1000 MiB/s IOPS突发上限 NA 云硬盘IOPS性能计算公式 IOPS值由用户预配置,范围为3000~128000,具体可配置值≤(500*容量) 云硬盘吞吐量性能计算公式 吞吐量值由用户配置,范围为125~1000MiB/s,具体可配置值≤(IOPS/4) 单队列访问时延 1 ms API名称 说明: 此处API名称为云硬盘API接口中“volume_type”参数的取值,不代表底层存储设备的硬件类型。 GPSSD2
-
云硬盘备份与快照的区别 云硬盘备份以及快照为存储在云硬盘中的数据提供冗余备份,确保高可靠性,两者的主要区别如表1所示。 表1 备份和快照的区别 指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储,存储在对象存储(OBS)中,可以实现在云硬盘存储损坏情况下的数据恢复。 保存云硬盘指定时刻的数据,可以设置自动备份。如果将创建备份的云硬盘删除,那么对应的备份不会被同时删除。 与云硬盘位于不同AZ内 通过恢复备份至云硬盘,或者通过备份创建新的云硬盘,找回数据,恢复业务。数据持久性高。 快照 与云硬盘数据存储在一起 说明: 备份由于数据搬迁会耗费一定的时间,创建快照和回滚快照数据的速度比备份快。 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除,那么对应的快照也会被同时删除。重装操作系统或切换操作系统后,系统盘快照会自动删除;数据盘快照不受影响,可以照常使用。 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘,或者通过快照创建新的云硬盘,找回数据,恢复业务。 父主题: 产品功能
-
什么是磁盘模式 根据是否支持高级的SCSI命令来划分磁盘模式,分为VBD(虚拟块存储设备 , Virtual Block Device)类型和SCSI (小型计算机系统接口, Small Computer System Interface) 类型。 VBD类型:磁盘模式默认为VBD类型。VBD类型的磁盘只支持简单的SCSI读写命令。 SCSI类型:SCSI类型的磁盘支持SCSI指令透传,允许云服务器操作系统直接访问底层存储介质。除了简单的SCSI读写命令,SCSI类型的磁盘还可以支持更高级的SCSI命令。 磁盘模式在购买磁盘时配置,购买完成后无法修改。
-
SCSI磁盘的常见使用场景和建议 SCSI磁盘:BMS仅支持使用SCSI磁盘,用作系统盘和数据盘。 SCSI共享盘:当您使用共享盘时,需要结合分布式文件系统或者集群软件使用。由于多数常见集群需要使用SCSI锁,例如Windows MSCS集群、Veritas VCS集群和CFS集群,因此建议您结合SCSI使用共享盘。 如果将SCSI共享盘挂载至ECS时,需要结合云服务器组的反亲和性一同使用,SCSI锁才会生效,关于更多共享盘的内容,请参见共享云硬盘。
-
什么是共享云硬盘 共享云硬盘是一种支持多个云服务器并发读写访问的数据块级存储设备,具备多挂载点、高并发性、高性能、高可靠性等特点。主要应用于需要支持集群、HA(High Available,指高可用集群)能力的关键企业应用场景,多个云服务器可同时访问一个共享云硬盘。 一块共享云硬盘最多可同时挂载至16台云服务器,云服务器包括弹性云服务器和裸金属服务器。实现文件共享需要搭建共享文件系统或类似的集群管理系统,例如Windows MSCS集群、Veritas VCS集群和CFS集群等。 使用共享云硬盘必须搭建共享文件系统或类似的集群管理系统。直接挂载至多台云服务器无法实现共享功能,且存在数据覆盖风险。
-
共享云硬盘的数据共享原理和常见的使用误区 共享云硬盘本质是将同一块云硬盘挂载给多个云服务器使用,类似于将一块物理硬盘挂载给多台物理服务器,每一台服务器均可以对该硬盘任意区域的数据进行读取和写入。如果这些服务器之间没有相互约定读写数据的规则,比如读写次序和读写意义,将会导致这些服务器读写数据时相互干扰或者出现其他不可预知的错误。 共享云硬盘为云服务器提供共享访问的块存储设备,但其本身并不具备集群管理能力,因此需要您自行部署集群系统来管理共享云硬盘,如企业应用中常见的Windows MSCS集群、Linux RHCS集群、Veritas VCS集群和CFS集群应用等。 如果在使用共享云硬盘过程中未通过集群系统进行管理,可能会导致以下问题: 读写冲突导致数据不一致 当一个共享云硬盘同时挂载给两台云服务器时,云服务器A和云服务器B相互之间无法感知另一个云服务器已使用的存储空间,云服务器A可能会对该云硬盘上已被云服务器B使用的空间进行重复分配,从而发生空间分配冲突导致数据出错的情况。 比如,将一块共享云硬盘格式化为ext3文件系统后挂载给云服务器A和云服务器B,云服务器A在某一时刻向云硬盘上的区域R和区域G写了文件系统的元数据,下一时刻云服务器B又向区域E和区域G写了自己的元数据,则云服务器A写入的数据将会被替换,随后读取区域G的元数据时即会出现错误。 数据缓存导致数据不一致 当一个共享云硬盘同时挂载给两台云服务器时,如果云服务器A上的应用读取区域R和区域G的数据后将数据记录在缓存中,此时云服务器A上的其他进程或线程访问该部分数据时,直接访问缓存中的数据即可。如果此时云服务器B上的应用修改区域R和区域G中的数据,则云服务器A上的应用无法感知该部分数据已被修改,依旧从缓存中读取数据,用户通过云服务器A无法看到已修改的新数据。 比如,将一块共享云硬盘格式化为ext3文件系统后挂载给云服务器A和云服务器B,两台云服务器均将文件系统的元数据进行了缓存,此后用户在云服务器A中创建了一个新的文件F,但云服务器B并无法感知该修改,依旧从缓存中读取数据,导致用户在云服务器B中无法看到文件F。 如果您将共享云硬盘挂载到多个云服务器,首先请根据不同的应用选择不同的磁盘模式,包括VBD和SCSI。SCSI类型的共享云硬盘支持SCSI锁,但是需要在云服务器系统中安装驱动并保证镜像在兼容性列表中。 直接将共享云硬盘挂载给多台云服务器无法实现文件共享功能,如需在多台云服务器之间共享文件,需要搭建共享文件系统或类似的集群管理系统。
-
共享云硬盘的使用注意事项 由于多数常见集群需要使用SCSI锁,例如Windows MSCS集群、Veritas VCS集群和CFS集群,因此建议您结合SCSI模式使用共享云硬盘。如果SCSI云硬盘挂载给虚拟化类型为XEN的ECS,则需要安装驱动,具体请参见磁盘模式及使用方法。 您可以创建VBD类型的共享云硬盘和SCSI类型的共享云硬盘。建议将共享云硬盘挂载至位于同一个反亲和性云服务器组内的ECS,以提高业务可靠。 VBD类型的共享云硬盘:创建的共享云硬盘默认为VBD类型,该类型云硬盘可提供虚拟块存储设备,不支持SCSI锁。当您部署的应用需要使用SCSI锁时,则需要创建SCSI类型的共享云硬盘。 SCSI类型的共享云硬盘:SCSI类型的共享云硬盘支持SCSI锁。 为了提升数据的安全性,建议您结合云服务器组的反亲和性一同使用SCSI锁,即将SCSI类型的共享云硬盘挂载给同一个反亲和性云服务器组内的ECS。 如果云服务器不属于任何一个反亲和性云服务器组,则不建议您为该ECS挂载SCSI类型的共享云硬盘,否则SCSI锁无法正常使用,并且会导致您的数据面临风险。 反亲和性和SCSI锁的相关概念: 云服务器组的反亲和性:ECS在创建时,将会分散地创建在不同的物理主机上,从而提高业务的可靠性。 关于云服务器组,更多详情请参见管理云服务器组。 SCSI锁的实现机制:通过SCSI Reservation命令来进行SCSI锁的操作。如果一台ECS给云硬盘传输了一条SCSI Reservation命令,则这个云硬盘对于其他ECS就处于锁定状态,避免了多台ECS同时对云硬盘执行读写操作而导致的数据损坏。 云服务器组和SCSI锁的关系:同一个云硬盘的SCSI锁无法区分单个物理主机上的多台ECS,因此只有当ECS位于不同物理主机上时才可以支持SCSI锁,因此建议您结合云服务器组的反亲和性一起使用SCSI锁命令。
-
共享云硬盘的主要优势 多挂载点:单个共享云硬盘最多可同时挂载给16个云服务器。 高性能:多台云服务器并发访问超高IO共享云硬盘时,随机读写IOPS可高达160000。 高可靠:共享云硬盘支持自动和手动备份功能,提供高可靠的数据存储。 应用场景广泛:可应用于只需要VBD类型共享云硬盘的Linux RHCS集群系统,同时也可应用于需要支持SCSI指令的共享云硬盘的场景,如Windows MSCS集群和Veritas VCS集群应用。
-
哪些用户有权限使用云硬盘加密 使用加密功能时,根据用户是否为当前区域或者项目内第一个使用加密特性的用户,作如下区分: 是,即该用户是当前区域或者项目内第一个使用加密功能的,在创建加密云硬盘时,需要根据界面提示创建委托,用来给EVS服务授予“KMS Administrator”权限来创建和获取密钥后加密云硬盘。 作为当前区域或者项目内第一个使用加密功能的用户,需要具有“KMS Administrator”权限,才能创建委托授权EVS创建加密云硬盘。如果您没有该权限,请联系账号管理员为您添加该权限。 否,即区域或者项目内的其他用户已经使用过加密功能,该用户可以直接使用加密功能。
-
什么是云硬盘加密 当您由于业务需求从而需要对存储在云硬盘的数据进行加密时,EVS为您提供加密功能,可以对新创建的云硬盘进行加密。 EVS加密采用行业标准的XTS-AES-256加密算法,利用密钥加密云硬盘。加密云硬盘使用的密钥由数据加密服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。KMS使用符合FIPS 140-2第3等级认证的硬件安全模块(HSM,Hardware Security Module),从而保护密钥的安全。所有的用户密钥都由HSM中的根密钥保护,避免密钥泄露。 已经购买完成的云硬盘不支持更改加密属性。 创建加密云硬盘的具体操作请参见购买云硬盘。
-
云硬盘突发能力及原理 突发能力是指小容量云硬盘可以在一定时间内达到IOPS突发上限,超过IOPS上限的能力。此处IOPS上限为单个云硬盘的性能。 突发能力适用于云服务器启动场景,一般系统盘容量较小,以50 GiB的超高IO云硬盘为例,如果没有突发能力,根据IOPS性能计算公式IOPS = min (50000, 1800 + 50 × 容量),50 GiB的超高IO云硬盘IOPS上限只能达到4300,但使用突发能力后,IOPS可高达16000,从而提升云服务器的启动速度。 以超高IO云硬盘为例,单个超高IO云硬盘的IOPS突发上限为16000。 容量为100 GiB的云硬盘,其IOPS上限为6800,IOPS突发上限为16000,因此在一定时间内该云硬盘的最大IOPS可达到16000。 容量为1000 GiB的云硬盘,其IOPS上限为50000,但是IOPS突发上限仅为16000,云硬盘的IOPS上限已经超过了突发IOPS,因此该云硬盘无需突发能力。 以下介绍云硬盘突发IOPS的消耗原理和储蓄原理。 突发的实现基于令牌桶,令牌桶中的初始令牌数量 = 突发时间 × IOPS突发上限,此处突发时间固定为1800 s。 以100 GiB的超高IO云硬盘为例,令牌桶容量为28800000个令牌(1800 s × 16000 )。 令牌的生成速度:该桶以6800个/s的速度生成令牌,其中6800为该云硬盘的IOPS上限。 令牌的消耗速度:根据实际IO使用情况而定,每个IO会消耗一个令牌,最大消耗速度为16000个/s,此处取突发IOPS上限和云硬盘IOPS上限的较大值。 消耗原理 当令牌消耗速度大于令牌的生成速度时,令牌数量会逐渐减少,最后IOPS会维持跟桶生成令牌的速度一致,即云硬盘的IOPS上限。本示例中,可以维持突发IOPS的时间为3130 s ≈ 28800000 / (16000 - 6800) 。 储蓄原理 当令牌的消耗速度小于令牌的生成速度时,桶中的令牌会逐渐增加,之后又可以拥有突发能力。本示例中,如果云硬盘暂停使用4235 s ≈ 28800000 / 6800,令牌桶就可以存满。 桶中的令牌数量只要大于零,云硬盘就具有突发能力。 本示例中令牌的消耗和储蓄原理如图1所示。蓝色柱状表示云硬盘IOPS的使用情况,绿色虚线为IOPS上限,红色虚线为IOPS突发上限,黑色曲线表示令牌数量的变化趋势。 当令牌数量大于零时,IOPS可以突破6800,即具有达到IOPS突发上限16000的能力。 当令牌数为零时,此时不具备突发能力,IOPS最大为6800。 当实际IOPS小于6800时,令牌数量开始增加,可以恢复突发能力。 图1 突发能力示意图
-
云硬盘IOPS性能计算公式举例说明 单个云硬盘IOPS性能 =“最大IOPS”与“基线IOPS + 每GiB云硬盘的IOPS × 云硬盘容量”的最小值。 该性能计算公式不适用于通用型SSD V2和极速型SSD V2。 通用型SSD V2的IOPS值由用户预配置,范围为3000~128000,具体可配置值≤(500*容量(GiB))。 极速型SSD V2的IOPS值由用户预配置,范围为100~256000,具体可配置值≤(1000*容量(GiB))。 以超高IO云硬盘为例,单个超高IO云硬盘的最大IOPS为50000。 假如云硬盘容量为100 GiB,则该云硬盘IOPS性能 = min (50000, 1800 + 50 × 100 ),取50000与6800中的最小值,即该云硬盘IOPS性能为6800。 假如云硬盘容量为1000 GiB,则该云硬盘IOPS性能 = min (50000, 1800 + 50 × 1000 ),取50000与51800中的最小值,即该云硬盘IOPS性能为50000。
-
云硬盘性能 云硬盘性能的主要指标包括: IOPS:云硬盘每秒进行读写的操作次数。 吞吐量:云硬盘每秒成功传送的数据量,即读取和写入的数据量。 IO读写时延:云硬盘连续两次进行读写操作所需要的最小时间间隔。 表1 云硬盘性能数据表 参数 极速型SSD V2(公测) 极速型SSD 通用型SSD V2 超高IO 通用型SSD 高IO 普通IO(上一代产品) 云硬盘最大容量(GiB) 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 描述 专用于对延迟敏感的业务关键型应用程序的极高性能 SSD云硬盘。 具备持续 IOPS 性能 超过 128000 IOPS、1000 MiB/s 吞吐量 适用于需要超大带宽和超低时延的场景。 容量与性能解耦,支持在容量固定的情况下,基于业务性能诉求,按需、灵活地调整IOPS和吞吐量。适合各种主流的高性能、低延迟交互应用场景。 超高性能云硬盘,可用于企业关键性业务,适合高吞吐、低时延的工作负载。 高性价比的云硬盘,适合中等性能诉求的企业应用。 可用于一般访问的工作负载f。 可用于不常访问的工作负载。 典型应用场景 数据库 Oracle SQL Server ClickHouse AI场景 数据库 Oracle SQL Server ClickHouse AI场景 企业办公、虚拟桌面 大型开发测试 转码类业务 系统盘 大中型规模的数据库(SQL Server 、 Oracle 、NoSQL、PostgreSQL) 转码类业务。 I/O密集型场景。 NoSQL Oracle SQL Server PostgreSQL 时延敏感型场景。 Redis Memcache 企业办公 中型开发测试 中小型数据库 Web应用 系统盘 普通开发测试 大容量、读写速率中等、事务性处理较少的应用场景。 日常办公应用 轻载型开发测试 不建议用于系统盘 最大IOPSa 256000 128000 128000 50000 20000 5000 2200 最大吞吐量a(MiB/s) 4000 1000 1000 350 250 150 50 IOPS突发上限a NA 64000 NA 16000 8000 5000 2200 云硬盘IOPS性能计算公式c IOPS值由用户预配置,范围为100~256000,具体可配置值≤(1000*容量(GiB)) IOPS = min (128000, 1800 + 50 × 容量(GiB)) IOPS值由用户预配置,范围为3000~128000,具体可配置值≤(500*容量(GiB)) IOPS = min (50000, 1800 + 50 × 容量(GiB)) IOPS=min (20000, 1800 + 12 × 容量(GiB)) IOPS = min (5000, 1800 + 8 × 容量(GiB)) IOPS = min (2200, 500 + 2 × 容量(GiB)) 云硬盘吞吐量性能计算公式b(MiB/s) 吞吐量≤min(4000,预配置IOPS/16) 吞吐量 = min (1000, 120 + 0.5 × 容量(GiB)) 吞吐量值由用户配置,范围为125~1000,具体可配置值≤(IOPS/4) 吞吐量 = min (350, 120 + 0.5 × 容量(GiB)) 吞吐量 = min (250, 100 + 0.5 × 容量(GiB)) 吞吐量 = min (150, 100 + 0.15 × 容量(GiB)) 吞吐量 = 50 单队列访问时延d(ms) 亚毫秒级 亚毫秒级 1 1 1 1~ 3 5~ 10 API名称e ESSD2 ESSD GPSSD2 SSD GPSSD SAS SATA a:最大IOPS、最大吞吐量、IOPS突发上限三个参数的值均为读写总和。比如最大IOPS=IOPS读+IOPS写。 b:以单块超高IO云硬盘吞吐量性能计算公式为例说明:起步120 MiB/s,每GiB增加0.5 MiB/s,上限为350 MiB/s。 c:以单块超高IO云硬盘IOPS性能计算公式为例说明:起步1800,每GiB增加50,上限为50000。 d:单队列指队列深度为1,即并发度为1。单队列访问时延是所有IO请求串行处理时IO的时延,表格中数据是4KiB数据块能达到的时延。 e:API名称代表云硬盘API接口中“volume_type”参数的取值,不代表底层存储设备的硬件类型。 f:高IO(专属分布式存储高IO除外)云硬盘由普通硬盘(HDD)提供支持,适合一般工作负载的应用场景,提供的性能中,基准吞吐量为每TiB 40MiB/s,最大吞吐量为每块云硬盘150MiB/s;对于负载较高的应用,建议使用更高规格的云硬盘,它们由固态硬盘(SSD)提供支持。 云硬盘的性能与数据块大小密切相关: 同一数据块大小,当最大IOPS或最大吞吐量中有一项指标达到最大值时,此时云硬盘性能达到最大,另一项指标无法再继续上升。 不同数据块大小,云硬盘性能达到最大的指标可能不同。 对于小数据块,例如4 KiB和8 KiB,性能可达到最大IOPS。 对于≥ 16 KiB的大数据块,性能可达到最大吞吐量。 以超高IO云硬盘为例,根据公式推算,超高IO云硬盘容量≥ 964 GiB时,IOPS最大可达50000,吞吐量最大可达350 MiB/s。而实际情况并非如此,具体请参见表2。 表2 超高IO云硬盘性能上限 数据块大小(KiB) 最大IOPS 最大吞吐量(MiB/s) 4 约50000 约195 8 约44800 约350 16 约22400 约350 32 约11200 约350
-
约束与限制 本章节介绍云硬盘产品功能的约束与限制。 表1 云硬盘使用约束限制 场景 限制项 限制说明 云硬盘容量 单个系统盘支持的容量范围 40 GiB - 1024 GiB 单个数据盘支持的容量范围 10 GiB - 32768 GiB MBR磁盘分区形式支持的磁盘最大容量 2 TiB GPT磁盘分区形式支持的磁盘最大容量 18 EiB 云硬盘性能 云硬盘性能的主要指标包括:IOPS、吞吐量、IO读写时延 不同类型云硬盘的性能有所不同,详情参见磁盘类型及性能介绍。 创建云硬盘的用户限制 账号要求 创建权限 用来创建云硬盘的账号必须实名认证。 用来创建云硬盘的账号必须拥有evs:volumes:create权限。关于添加权限请参见EVS自定义策略。 创建云硬盘 单次最多创建云硬盘数量 100个 从快照创建云硬盘 通过快照创建云硬盘时,磁盘类型和快照源云硬盘保持一致。 通过快照创建云硬盘时,磁盘模式和快照源云硬盘保持一致。 通过快照创建云硬盘时,云硬盘加密属性和快照源云硬盘保持一致。 通过快照创建云硬盘时,不支持批量创建,单次只能创建一个云硬盘。 从备份创建云硬盘 通过备份创建云硬盘时,不支持批量创建,单次只能创建一个云硬盘。 对于同一个备份,不支持并发创建多个云硬盘。如果此时正通过备份创建云硬盘A,那么需要等A创建完成后,才可以使用该备份创建新的云硬盘。 通过系统盘备份数据创建的云硬盘,只能用作数据盘,不支持用作系统盘。 从镜像创建云硬盘 通过镜像创建云硬盘时,磁盘模式和镜像源云硬盘保持一致。 通过镜像创建云硬盘时,云硬盘加密属性和镜像源云硬盘保持一致。 磁盘模式 云硬盘的磁盘模式在创建完成后不支持更改。 共享盘 云硬盘的共享属性在创建完成后不支持更改。 加密云硬盘 云硬盘的加密属性在创建完成后不支持更改。 挂载云硬盘 云硬盘与云服务器所属的区域和可用区的关系 一块云硬盘只能挂载到同一区域、同一可用区的云服务器上。 非共享盘可同时挂载的云服务器数量 1台 共享盘可同时挂载的云服务器数量 16台 一台云服务器可同时挂载的云硬盘数量 不同的实例类型限制不同。 具体可参见一台弹性云服务器可以挂载多少磁盘。 一台裸金属服务器可同时挂载的云硬盘数量 最多可以挂载60个云硬盘(1个系统盘,59个数据盘)。 仅支持挂载磁盘类型为SCSI的磁盘。 系统盘、数据盘挂载点范围 系统盘:/dev/vda、/dev/sda、/dev/xvda 数据盘:/dev/vd[b-z]、/dev/sd[b-z]、/dev/xvd[b-z] 扩容云硬盘 扩容云硬盘 支持扩大云硬盘容量,不支持缩小云硬盘容量。 扩容非共享盘 部分云服务器操作系统支持非共享盘处于“正在使用”状态扩容。 具体可参见扩容云硬盘容量。 扩容共享盘 扩容时必须从云服务器卸载,共享盘处于“可用”状态扩容。 扩容步长 1GiB 卸载云硬盘 卸载系统盘 系统盘目前支持离线卸载,即云服务器处于“关机”状态,才可以卸载系统盘。 卸载数据盘 数据盘支持离线或者在线卸载,即云服务器处于“关机”或“运行中”状态进行卸载。 删除云硬盘 删除按需计费云硬盘 云硬盘状态为“可用”、“错误”、“扩容失败”、“恢复数据失败”和“回滚数据失败”。 云硬盘资源未被其他服务资源占用锁定时。 对于共享云硬盘,必须从其所挂载的所有的云服务器上卸载成功时,才可以删除。 云硬盘未被加入到存储容灾服务的复制对中。如果云硬盘已经被加入到复制对中,需要先删除复制对,再删除云硬盘。 删除云硬盘 删除包年/包月云硬盘 无法直接删除,需要退订。 退订操作方法具体参见退订包年包月的云硬盘,退订规则具体请参见云服务退订规则说明。 快照 单个云硬盘最多可创建快照数量 7个。 从快照回滚数据 只支持回滚快照数据至源云硬盘,不支持快照回滚到其它云硬盘。 只有当快照的状态为“可用”,并且源云硬盘状态为“可用”(即未挂载给云服务器,如果云硬盘已挂载至云服务器,需要先卸载云硬盘)或者“回滚数据失败”时,您才可以执行该操作。 开头为“autobk_snapshot_vbs_”、“manualbk_snapshot_vbs_”、“autobk_snapshot_csbs_”、“manualbk_snapshot_csbs_”的快照,是创建备份时系统自动生成的快照。该快照仅支持查看详细信息,无法用于回滚数据。 云硬盘挂载至竞价计费型实例、云耀云服务器L实例不支持快照回滚至云硬盘。 变更云硬盘类型 变更前及变更过程中的约束限制 只有当云硬盘处于“可用”、“正在使用”状态时,支持变更云硬盘类型。 云硬盘快照在删除过程中,不支持变更云硬盘类型。 云硬盘类型变更过程中,无法对云硬盘进行其他操作,如创建快照、创建备份、云硬盘扩容、从快照回滚数据、挂载和卸载云硬盘、虚拟机制作镜像、删除云硬盘、从备份恢复数据、云硬盘过户。 云硬盘类型变更可能需要数小时才能成功,在某些时候可能会更长,且过程中无法中断操作。具体时间主要根据变更时吞吐量、存储空间大小、原硬盘类型决定。 同一时间段内,最多支持10个云硬盘同时变更。 如果云硬盘为系统盘,那么在变更类型的过程中,不支持更换操作系统。 超高IO 支持变更为极速型SSD。 通用型SSD 支持变更为极速型SSD、超高IO。 高IO 支持变更为极速型SSD、超高IO、通用型SSD。 普通IO(上一代产品) 支持变更为极速型SSD、超高IO、通用型SSD、高IO。 标签 数量 20个
-
修订记录 发布日期 修订记录 2023-11-01 第十五次正式发布。 本次变更说明如下: 云硬盘加密、云硬盘备份,更新/添加相关限制。 2023-07-20 第十四次正式发布。 本次变更说明如下: 更新并添加相关约束限制。 2023-06-07 第十三次正式发布。 本次变更说明如下: 云硬盘回收站计费说明,新增查询云硬盘回收站费用账单相关内容。 2023-02-14 第十二次正式发布。 本次变更说明如下: 更新: 磁盘类型及性能介绍,修改容量单位为“GiB”。 2023-01-09 第十一次正式发布。 本次变更说明如下: 增加“通用型SSD V2”、"极速型SSD V2"章节。 2022-11-14 第十次正式发布。 本次变更说明如下: 增加“安全”章节。 2022-07-26 第九次正式发布。 本次变更说明如下: 增加“云硬盘回收站计费说明”章节。 2022-05-24 第八次正式发布。 本次变更说明如下: “权限管理”章节增加变更磁盘类型。 2020-09-01 第七次正式发布。 本次变更说明如下: 在“磁盘类型及性能介绍”章节中增加“极速型SSD”云硬盘。 2020-01-05 第六次正式发布。 本次变更说明如下: 在“磁盘类型及性能介绍”章节中增加“通用SSD”云硬盘。 2018-09-10 第五次正式发布。 本次变更说明如下: 增加“云硬盘三副本技术”章节。 2018-08-03 第四次正式发布。 本次变更说明如下: 增加“包年/包月磁盘到期前后的影响及使用建议”章节。 增加“按需付费磁盘欠费前后的影响及使用建议”章节。 2018-07-30 第三次正式发布。 本次变更说明如下: 在“什么是云硬盘”章节中增加“云硬盘、弹性文件服务、对象存储服务的区别”小节。 增加共享云硬盘和SCSI结合使用的注意事项。 修改磁盘性能指标。 2018-06-30 第二次正式发布。 本次变更说明如下: 增加“云硬盘备份与快照的区别”章节。 基于KVM ECS和XEN ECS的维度,优化“磁盘模式及使用方法”章节的“使用SCSI类型云硬盘需要安装驱动吗”小节。 2018-06-15 第一次正式发布。
-
产品架构 云备份由备份、存储库和策略组成。 备份 备份即一个备份对象执行一次备份任务产生的备份数据,包括备份对象恢复所需要的全部数据。云备份产生的备份可以分为几种类型: 云硬盘备份:云硬盘备份提供对云硬盘的基于快照技术的数据保护。 云服务器备份:云服务器备份提供对弹性云服务器和裸金属服务器的基于多云硬盘一致性快照技术的数据保护。同时,未部署数据库等应用的服务器产生的备份为服务器备份,部署数据库等应用的服务器产生的备份为数据库服务器备份。 SFS Turbo备份:SFS Turbo备份提供对SFS Turbo文件系统的数据保护。 混合云备份:混合云备份提供对线下VMware服务器备份的数据保护。 文件备份:文件备份提供对云上服务器或用户数据中心虚拟机中的单个或多个文件的数据保护,无需再以整机或整盘的形式进行备份。 云桌面备份:云桌面备份提供对云桌面的数据保护。 存储库 云备份使用存储库来存放备份。创建备份前,需要先创建至少一个存储库,并将服务器或磁盘绑定至存储库。服务器或磁盘产生的备份则会存放至绑定的存储库中。 不同类型的备份对象产生的备份需要存放在不同类型的存储库中。 其中云服务器备份、SFS Turbo备份和混合云备份支持备份数据冗余策略,支持备份数据在多个AZ进行存放,保证备份数据的可靠性。 策略 策略分为备份策略和复制策略。 备份策略:需要对备份对象执行自动备份操作时,可以设置备份策略。通过在策略中设置备份任务执行的时间、周期以及备份数据的保留规则,将备份存储库绑定到备份策略,可以为存储库执行自动备份。 复制策略:需要对备份或存储库执行自动复制操作时,可以设置复制策略。通过在策略中设置复制任务执行的时间、周期以及备份数据的保留规则,将备份存储库绑定到复制策略,可以为存储库执行自动复制。复制产生的备份需要存放在复制存储库中。 图1 云备份产品架构
-
EVS权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 EVS部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京四)对应的项目(cn-north-4)中设置策略,并且该策略仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置策略。访问EVS时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,EVS支持的API授权项请参见权限及授权项说明。 如表1所示,包括了EVS的所有系统权限。 表1 EVS系统权限 策略名称 描述 策略类别 依赖关系 EVS FullAccess 云硬盘的所有权限,具有云硬盘资源的创建、扩容、挂载、卸载、查询、删除等操作权限。 系统策略 无 EVS ReadOnlyAccess 云硬盘的只读权限,只有云硬盘资源的查询权限。 系统策略 无 Server Administrator 云硬盘的所有执行权限。 系统角色 无 表2列出了EVS常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。 表2 常用操作与系统权限的关系 操作 EVS FullAccess EVS ReadOnlyAccess 创建云硬盘 √ x 查看云硬盘列表 √ √ 查看云硬盘详情 √ √ 挂载云硬盘 √ x 卸载云硬盘 √ x 删除云硬盘 √ x 扩容云硬盘 √ x 创建快照 √ x 删除快照 √ x 从快照回滚数据 √ x 从快照创建云硬盘 √ x 添加云硬盘标签 √ x 修改云硬盘标签 √ x 删除云硬盘标签 √ x 通过标签查找云硬盘资源 √ √ 修改磁盘名称 √ x 变更磁盘类型 √ x
-
访问方式 公有云提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。 API方式 如果用户需要将公有云平台上的云硬盘集成到第三方系统,用于二次开发,请使用API方式访问云硬盘,具体操作请参见云硬盘API参考。 控制台方式 其他相关操作,请使用管理控制台方式访问云硬盘。如果用户已注册公有云,可直接登录管理控制台,从主页选择“云硬盘”。如果未注册,请参见注册公有云。
-
云硬盘、弹性文件服务、对象存储服务的区别 目前可供您选择的有三种数据存储服务,分别是云硬盘、弹性文件服务(Scalable File Service, SFS)以及对象存储服务(Object Storage Service, OBS),这三种数据存储的主要区别如下: 表2 SFS、OBS、EVS服务对比 对比维度 弹性文件服务 对象存储服务 云硬盘 概念 提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 访问方式 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 使用场景 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。 容量 PiB级别 EiB级别 TiB级别 时延 3~10ms 10ms 亚毫秒级 IOPS/TPS 单文件系统 10K 千万级 单盘 128K 带宽 GiB/s级别 TiB/s级别 MiB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否 是否能单独使用 是 是 否
-
产品优势 云硬盘为云服务器提供规格丰富、安全可靠、可弹性扩展的硬盘资源,产品优势如表1所示。 表1 云硬盘产品优势 产品优势 优势描述 相关知识 规格丰富 EVS提供多种规格的云硬盘,可挂载至云服务器用作数据盘和系统盘,您可以根据业务需求及预算选择合适的云硬盘。 磁盘类型及性能介绍 弹性扩展 您可以创建的单个云硬盘最小容量为10 GiB,最大容量为 32 TiB,即,10 GiB ≤ 云硬盘容量 ≤ 32 TiB。如果您已有的云硬盘容量不足以满足业务增长对数据存储空间的需求,您可以根据需求进行扩容,最小扩容步长为1GiB,单个云硬盘最大可扩容至32 TiB。同时支持平滑扩容,无需暂停业务。 云硬盘扩容概述 扩容云硬盘时还会受容量总配额影响,系统会显示您当前的剩余容量配额,新扩容的容量不能超过剩余容量配额。您可以申请足够的配额满足业务需求。 查看云硬盘资源配额 安全可靠 系统盘和数据盘均支持数据加密,保护数据安全。 云硬盘加密 云硬盘支持备份、快照等数据备份保护功能,为存储在云硬盘中的数据提供可靠保障,防止应用异常、黑客攻击等情况造成的数据错误。 云硬盘备份 云硬盘快照 实时监控 配合云监控( Cloud Eye),帮助您随时掌握云硬盘健康状态,了解云硬盘运行状况。 查看云硬盘监控数据
-
云硬盘简介 云硬盘(Elastic Volume Service, EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。云服务器包括ECS和BMS。 云硬盘类似PC中的硬盘,需要挂载至云服务器使用,无法单独使用。您可以对已挂载的云硬盘执行初始化、创建文件系统等操作,并且把数据持久化地存储在云硬盘上。 云硬盘简称为磁盘,本文档中也会用磁盘来表示云硬盘。 图1 云硬盘架构
-
变更配置 变更项 包年/包月 按需计费 容量变更 不支持缩容 支持扩容,扩容需要补差价 说明: 扩容后云硬盘到期时间不变。 不支持缩容 支持扩容 扩容成功时间点所在的计费周期(即一小时)内,将会产生多条计费信息。 例如,在01:30:01将云硬盘容量由100G扩大为200G,那么01:00:00-02:00:00这个计费周期会产生两条计费信息,01:00:00-01:30:00为100G的计费信息;01:30:01-02:00:00为200G的计费信息。 性能变更 性能(吞吐量、IOPS)不支持包年/包月计费模式。 对于支持配置性能的包年/包月云硬盘,其容量按包年/包月计费,性能采用按需计费,变更后的性能也采用按需计费。 性能(吞吐量、IOPS)支持按需计费模式。 根据变更后的性能大小按需计费。 云硬盘类型变更 变更需要补差价。 说明: 变更后云硬盘到期时间不变。 根据您选择的云硬盘类型按需计费。 计费模式变更 支持按需计费变更为包年/包月 请参见按需转包周期。 说明: 按需非共享云硬盘不支持单独变更为包年/包月,请跟随云服务器一起变更为包年/包月,变更后到期时间与云服务器一致。 支持包年/包月变更为按需计费 请参见包周期转按需。
-
标准快照容量计算原理 云硬盘的快照总容量以快照链(一块云硬盘中所有快照组成的关系链)为单位进行统计,统计当前云硬盘所有快照的数据块占用的存储空间。 快照链增加快照容量计算 图3 快照链增加快照 以图3中的场景为例,假设快照的数据块为固定大小2MiB,那么快照链增加快照后的容量计算如下: 创建快照1时,云硬盘的快照链中仅有快照1,快照链容量 = 快照1容量 = 数据块A容量 + 数据块B容量 + 数据块C容量 = 6MiB 创建快照2时,云硬盘的快照链中有快照1、快照2,快照链容量 = 快照1容量 + 快照2容量 = 6MiB + (数据块A1容量 + 数据块B1容量 + 数据块D容量)= 12MiB 创建快照3时,云硬盘的快照链中有快照1、快照2、快照3,快照链容量 = 快照1容量 + 快照2容量 + 快照3容量 = 6MiB + 6MiB +(数据块A2容量 + 数据块C1容量 + 数据块E容量)= 18MiB 快照链删除快照容量计算 删除快照时,会遍历快照元数据文件中的所有数据块信息,遵循以下删除原则: 数据块被下一个快照继承,该数据块不能删除。 数据块没有被下一个快照继承: 继承数据块:如果上一个快照未被删除,那么该继承数据块不能删除;否则可以删除。 修改数据块:可以删除。 新增数据块:可以删除。 图4 快照中的数据块删除原则 以下通过举例说明删除快照后快照链容量计算。 图5 快照链删除快照 以图5中的场景为例,在14:00删除快照2,在15:00删除快照3,那么快照链删除快照后的容量计算如下: 删除快照前,快照链容量 = 快照1容量 + 快照2容量 + 快照3容量 = 18MiB 14:00删除快照2,遍历快照2元数据文件中的所有数据块信息: 数据块A1:没有被快照3继承,且为快照1中的数据块A修改而来(修改数据块),因此数据块A1可以删除。 数据块B1:被快照3继承,数据块B1不能删除。 数据快C:没有被快照3继承,但继承于快照1(继承数据块)且快照1未被删除,因此数据块C不能删除。 数据块D:被快照3继承,因此数据块D不能删除。 删除快照2后,快照链容量 = 18MiB - 数据块A1容量 = 16MiB 15:00删除快照3,遍历快照3元数据文件中的所有数据块信息: 数据块A2:没有被下一快照继承,且为快照2中的数据块A1修改而来(修改数据块),因此数据块A2可以删除。 数据块B1:没有被下一快照继承,但继承于快照2且快照2已被删除,因此数据块B1可以删除。 数据快C1:没有被下一快照继承,且为快照2中的数据块C修改而来,因此数据块C1可以删除。 数据块D:没有被下一快照继承,但继承于快照2且快照2已被删除,因此数据块D可以删除。 数据块E:没有被下一快照继承,且为快照3新增数据块,因此数据块E可以删除。 删除快照3后,快照链容量 = 16MiB - 数据块A2容量 - 数据块B1容量 - 数据块C1容量 - 数据块D容量 - 数据块E容量 = 6MiB
-
公测时期的收费标准 云硬盘快照目前处于公测时期,您可以免费使用,正式商用后才会收费,商用时间和收费标准会另行通知。 公测时期,采用限量免费试用的策略,即您可以免费使用快照,但可创建的快照数量有限制。 快照配额要求 单个云硬盘最多可创建7个快照。 当前用户可创建的快照总数为云硬盘总数 × 7,云硬盘总数为系统盘和数据盘总数之和。 超过快照配额后则不能继续创建快照。例如,用户有5个云硬盘,则最大可创建35个快照。 快照保留策略 系统不会主动删除用户的快照。删除快照有两种方法: 用户主动删除快照。 用户删除云硬盘,如果该云硬盘存在关联快照,则所有快照将会被删除。 开头为“autobk_snapshot_vbs_”、“manualbk_snapshot_vbs_”、“autobk_snapshot_csbs_”、“manualbk_snapshot_csbs_”的快照,是创建备份时系统自动生成的快照。 您只可以查看该快照详细信息,无法对该快照执行任何操作。
-
标准快照原理 标准快照是以数据块作为快照数据备份的最小粒度,快照分为全量快照和增量快照。为云硬盘创建的第一个快照为全量快照,全量快照包含创建快照时间点前云硬盘上的所有数据(数据块);后续创建的快照均为增量快照,增量快照仅存储较上一个快照有变化的数据块。 全量快照和增量快照的元数据文件中会记录快照创建时间点前的所有数据块信息,因此通过任何一个快照回滚数据至云硬盘时,均可以恢复创建快照时间点前的所有云硬盘数据。 图2 创建快照原理图 根据数据块的来源区分,快照元数据文件中包含三类数据块:继承数据块(继承于上一个快照的数据块)、修改数据块(较上一个快照有修改的数据块)、新增数据块(较上一个快照新增的数据块)。 快照的数据文件中只会存储较上一个快照有变化的数据块(修改数据块、新增数据块)。 如图所示,假设云硬盘在9:30和10:30均有数据写入,为了备份数据,在9:00创建快照1,在10:00创建快照2,在11:00创建快照3,创建快照原理如下: 9:00首次创建快照,快照1中包含云硬盘的所有数据,其中的数据块有A、B、C,快照1为全量快照。快照1的元数据文件中会记录云硬盘全量的数据块A、B、C。 随后写入数据,修改数据块A为A1,修改数据块B为B1,新增数据块D,10:00创建快照2,仅存储较快照1有变化的数据块A1、B1、D,快照2为增量快照。快照2的元数据文件中会记录云硬盘全量的数据块A1、B1、C、D,其中数据块C继承于快照1。 随后写入数据,修改数据块A1为A2,修改数据块C为C1,新增数据块E,11:00创建快照3,仅存储较快照2有变化的数据块A2、C1、E,快照3为增量快照。快照3的元数据文件中会记录云硬盘全量的数据块A2、B1、C1、D、E,其中数据块B1、D继承于快照2。
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- ...
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章