华为云用户手册

  • 逻辑架构 此处以使用Commvault备份本地单节点部署的SAP HANA为例,其逻辑架构如图1所示。 图1 逻辑架构 逻辑架构中各组件说明如表1所示: 表1 组件说明 Name 说明 iDataAgent (iDA) 备份客户端代理,Commvault备份软件的组成部分,部署在SAP HANA节点上,负责获取SAP HANA上需要备份的数据。 CommServe (CS) 备份服务器,Commvault备份软件的组成部分,部署在备份管理节点,负责全局备份策略的制定和备份业务的调度。 Media Agent (MA) 备份介质,Commvault备份软件的组成部分,部署在备份业务节点,负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据,桶是OBS中存储数据的容器,最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ,是软件的逻辑组合 ,包含获取数据 、传输数据 、管理数据和信息的所有软件组件。
  • 资源与成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 必选 OBS:存放图片、软件包等静态资源的桶,存储类别为“标准存储”或“低频访问存储”(归档与深度归档存储不支持直接配置CDN加速),桶策略为“私有”。 CDN:提供点播加速。 DNS:通过在域名服务商处配置CNAME记录,将加速域名以CNAME方式指向CDN服务中对应的CNAME域名,域名解析生效后,该域名的所有请求都将转向CDN节点。 网站域名:根据中国《互联网管理条例》的要求,此域名必须在工信部已备案并在有效期内才可以使用CDN加速。 成本规划 必选 OBS费用:详见OBS计费说明。 CDN费用:详见CDN计费说明。 可选 回源流量包:当回源获取数据时,CDN访问OBS会产生回源流量。OBS提供回源流量包,可以减少回源流量产生的流量费用。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。
  • 配置自定义域名 单击桶名称进入“对象”页面,在左侧导航栏选择“域名管理”。 单击页面上方的“配置自定义域名”,如果没有绑定自定义域名也可以在页面下方的配置自定义域名卡片中单击“配置自定义域名”,在“用户域名”输入“www.example.com”,如下所示。 图1 配置自定义域名 单击“确定”。 根据页面提示,支持单击“一键解析”,或手动完成解析CNAME,单击右下角的“我已了解”,如图2所示。 华为云域名支持一键解析添加CNAME记录;非华为云域名不支持一键解析,请用户自行配置解析规则。 图2 解析CNAME (可选)配置CDN加速。 CDN加速需收费,具体请参见CDN价格说明。 在已绑定的自定义域名操作列,单击“开启加速”。 根据您的业务情况选取对应的“服务范围”和“业务类型”。 在“其他信息”栏目,勾选开启静态网站托管。 单击“确定加速”。 (可选)如果开启了CDN加速,需要按照以下步骤配置CDN加速。 在已绑定的自定义域名操作列,单击“管理CDN加速”。 在打开的CDN控制台页面,单击域名,然后再单击“高级配置”,进入域名高级配置页面。 在“高级配置”中的“HTTP header配置”中,添加“Content-Disposition”响应头,取值为“inline”。 父主题: 实施步骤
  • 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案
  • 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。 2 SFS Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。 3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本 SFS Turbo支持自定义数据淘汰策略,冷数据自动分级到OBS,释放高性能存储空间用于接收新的热数据。 访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。 5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架,kubernetes容器引擎、算法开发场景通过文件语义访问共享数据,无需适配开发。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
  • 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长,对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。
  • 更新静态文件 登录OBS管理控制台。 在桶列表中单击待操作的桶,进入对象页面。 单击“上传对象”,或选择待更新文件所在文件夹后单击“上传对象”,系统将弹出如图2所示对话框。 图2 上传对象 添加待上传文件。 不可加密上传静态网站文件。 存储类别建议选择“标准”。如果静态网站文件的存储类别为“归档存储”,则需要先恢复才能被访问,具体恢复步骤请参见恢复归档存储文件。 单击“上传”完成文件上传。 在同一路径下新上传的同名文件会作为“最新版本”显示在对象列表,每次访问此文件时,都是访问的此文件的最新版本,以此达到更新静态网站文件的效果。
  • 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度会因为网络质量而受到影响,读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支,企业管理者希望通过内网的方式访问OBS。 当通过内网访问OBS时,需要确保待访问的OBS资源与ECS属于同一个区域,例如都在华北-北京四。如果不属于同一个区域,将采用公网访问。
  • 方案架构 在已搭建的ECS上通过配置内网DNS,由内网DNS解析OBS域名,即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。 图1 内网访问OBS示意图 对于Windows ECS,推荐使用OBS Browser+工具,实现内网访问OBS的目的,详细操作请参见: 在Windows ECS上使用OBS Browser+通过内网访问OBS 对于Linux ECS,推荐使用obsutil工具,实现内网访问OBS的目的,详细操作请参见: 在Linux ECS上使用obsutil通过内网访问OBS 当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。
  • 配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。
  • 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各种方式的一致性校验结果互通,即无论您使用以下何种方式在上传时通过了一致性校验,都可以使用其他方式在下载时校验一致性。 下载对象时,只有当待下载对象具有MD5值时,MD5校验才会生效。 启用MD5进行数据一致性校验会影响上传下载性能。 表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具,可以通过简单的一行命令实现上传下载,并且在命令中选择是否采用MD5校验。 使用obsutil校验上传对象的一致性 使用obsutil校验下载对象的一致性 OBS Browser+ 图形化界面工具,可以一键开启或关闭MD5校验,同时提供任务管理,方便查看校验状态。 使用OBS Browser+校验上传对象的一致性 使用OBS Browser+校验下载对象的一致性 OBS SDK 开发者可以通过OBS SDK进行二次开发,自行判断MD5校验结果,并根据实际业务进行结果处理。 使用OBS SDK校验上传对象的一致性 使用OBS SDK校验下载对象的一致性 上传对象时,OBS会先在客户端计算出对象的MD5值然后携带上传至OBS,OBS服务端再根据上传的对象内容计算出MD5值,最终与携带上传的MD5值进行对比,如果对比结果一致,对象上传成功,否则上传失败。使用MD5值对上传数据进行一致性校验的示意图如图1所示。 图1 校验上传对象的一致性 下载对象时,OBS会将对象已有的MD5值与根据下载的对象内容计算出来的MD5值进行对比,如果对比结果一致,对象下载成功,否则下载失败。使用MD5值对下载数据进行一致性校验的示意图如图2所示。 图2 校验下载对象的一致性
  • 方案说明 OBS提供低成本的存储,华为云CDN可以提供网站加速、文件下载加速和点播加速。将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。当终端用户发起访问请求时,会首先通过CDN查找对此域名响应速度最快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。 在CDN节点没有缓存用户请求的数据或缓存到期的情况下,CDN加速访问OBS的示意图如图2所示。 图2 CDN加速访问OBS示意图(CDN无缓存) 当其他终端用户再次访问相同的数据时,CDN将直接返回缓存的数据给终端用户,而无需再向OBS发起访问请求。在CDN有缓存的情况下,CDN加速访问OBS的示意图如图3所示。 图3 CDN加速访问OBS示意图(CDN有缓存) 方案优势 低成本:OBS提供CDN回源流量包折扣方式,使CDN从OBS获取数据时流量费用更低。当数据缓存至CDN节点时,后续请求都将通过CDN回源流量计费,从而减少OBS费用。 高效率:华为云CDN具有加速资源丰富、节点分布广泛优势,保证将用户请求精准调度至更优的边缘节点,提供有效且稳定的加速效果。 适用场景 通过OBS提供文件下载业务的应用或服务。例如:通过http/https提供文件下载业务的网站、工具下载、游戏客户端、APP商店等。 通过OBS提供音视频点播业务的应用或服务。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。
  • 背景介绍 现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件,并将OBS作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时,用户通过URL直接从OBS请求数据,数据请求过程如图1所示。OBS能够很好的解决本地存储不够用的难题,但一般情况下文件只存储在一个区域,不同区域的用户访问OBS的响应速度存在差异。在需要频繁访问的场景下,直接访问OBS来获取相应文件,还会消耗大量的流量费用。 图1 从OBS获取数据过程
  • 方式三:使用OBS SDK校验上传对象的一致性 OBS提供Java、Python等多种语言的SDK,各SDK通过在上传对象时设置对象的Content-MD5值以开启一致性校验。如何计算并设置对象MD5值请前往OBS SDK参见各自开发指南的setObjectMetadata接口。 此处以使用OBS Java SDK上传Windows本地D盘一个名为text.txt的文本文件至mytestbucket为例,上传过程使用MD5值校验数据一致性的示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 String endPoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); // 计算并设置MD5值 ObjectMetadata metadata = new ObjectMetadata(); File file = new File("D:\\text.txt"); FileInputStream fis = new FileInputStream(file); InputStream is = (InputStream)fis; String contentMd5 = obsClient.base64Md5(is); metadata.setContentMd5(contentMd5); // 带MD5值上传文件 obsClient.putObject("mytestbucket", "text.txt", file, metadata); 对象数据的MD5值必须经过Base64编码。 OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配则上传失败,返回HTTP 400错误。如果匹配,对象上传成功,返回HTTP 200状态码。
  • 方式一:使用obsutil校验上传对象的一致性 obsutil支持在上传对象时通过附加参数(vmd5)来校验数据的一致性。 以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例,开启一致性校验的命令示例如下: obsutil cp D:\test.txt obs://mytestbucket/test.txt -vmd5 校验通过后,对象上传成功,系统显示Upload successfully的回显信息。
  • 方式二:使用OBS Browser+校验上传对象的一致性 OBS Browser+默认关闭MD5校验,在OBS Browser+上启用MD5校验一致性并上传对象的步骤如下: 登录OBS Browser+。 单击客户端右上方的,并选择“高级设置”。 勾选“MD5校验”,如图1所示。 图1 配置MD5校验 单击“确定”。 选择待上传文件的桶,上传文件。 如果MD5校验成功,则文件上传成功。 如果MD5校验失败,则文件上传失败,且在任务管理中提示失败原因:校验文件MD5失败。
  • 在HDFS集群中增加配置项 在HDFS集群CONFIGS的ADVANCED配置项中增加Custom core-site.xml文件中的配置项,包括:fs.obs.access.key,fs.obs.secret.key,fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、sk和endpoint。访问密钥AK/SK和终端节点Endpoint请根据实际填写,AK/SK获取方式请参见访问密钥(AK/SK),Endpoint获取方式请参见终端节点(Endpoint)和访问域名。 fs.obs.impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。 重启HDFS集群。
  • 增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。 cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。
  • 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。 hadoop-huaweicloud-x.x.x-hw-y.jar包含义:前三位x.x.x为配套hadoop版本号;最后一位y为OBSA版本号,y值最大为最新版本。如:hadoop-huaweicloud-3.1.1-hw-53.8.jar,3.1.1是配套hadoop版本号,53.8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 执行以下命令,将OBSA-HDFS工具jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)拷贝到如下目录中。 cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/share/hst/activity-explorer/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/spark2/jars/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/tez/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/CAPACITY-SCHEDULER{1.0.0}/WEB-INF/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/FILES{1.0.0}/WEB-INF/lib/ cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/WORKFLOW_MANAGER{1.0.0}/WEB-INF/lib/ ln -s /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud.jar
  • DES Teleport方式 Teleport是数据快递服务(Data Express Service,DES)专为30TB~500TB范围内数据搬迁至OBS而定制的存储设备,具有防尘防水、抗震抗压以及GPS锁定、传输加密等多重安全防护机制,配合离线传输的方式,能安全、高效的完成大规模数据搬迁。 图1 DES Teleport方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。 创建DES Teleport服务单 DES提供Teleport和磁盘两种数据快递方式,在当前场景下选择Teleport方式。 接收并导入数据至Teleport 成功创建DES服务单后,用户将接收到由华为数据中心邮寄的Teleport设备。接着进行简单配置操作使Teleport与用户客户端连接起来,然后执行数据拷贝并将设备回寄给华为云数据中心。 启动数据传输 在华为云数据中心收到回寄的Teleport后,用户可以在DES控制台上输入访问密钥启动数据从Teleport到OBS指定桶的传输。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。 具体操作步骤请参见Teleport方式详细指导。 父主题: 搬迁本地数据至OBS
  • 配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中,填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶 子目录名称不能重复 子目录名称必须是文件系统根目录下不存在的目录名 子目录名称不能是“.”或“..” 不支持 桶名 OBS存储桶桶名 无法绑定不存在的存储桶 目前仅支持OBS存储桶,不支持并行文件系统 不支持 OBS Endpoint OBS区域域名 OBS存储桶必须和HPC型文件系统在同一个Region 不支持 勾选“将OBS桶读写权限授权给SFS Turbo服务进行OBS目标绑定”。 单击“确定”,完成绑定。 父主题: 基本配置
  • 常见参数说明 表1 常见参数说明 参数 说明 umask 参数解释: 配置文件权限的掩码,使用此参数会覆盖并行文件系统内所有文件的权限。 默认取值: 0000 nonempty 参数解释: 添加该参数后允许在非空目录上挂载。 默认取值: 无 multipart_size 参数解释: 以多段上传模式上传文件时,段的大小,单位为MB。段的大小会影响能够上传的文件大小,具体参考多段上传。 取值范围: 5~5120,单位:MB。 默认取值: 10 no_check_certificate 参数解释: 对服务端的证书不做校验,仅在使用HTTPS协议时有效,默认开启证书校验。 默认取值: 无 use_cache 参数解释: 用于本地文件缓存的地址,使用该参数后,IO性能会提升,但是磁盘占用会升高,可以和del_cache配合使用。 默认取值: ""(表示不使用缓存) del_cache 参数解释: s3fs进程在启动和退出时删除本地缓存文件。 默认取值: 无 更多参数详见s3fs-fuse。
  • 应用场景 对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。关于s3fs的更多信息,请参见GitHub。如果您在s3fs使用过程中遇到问题,请参见常见问题进行排查。
  • 约束与限制 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交互采用HTTP/HTTPS协议,客户端CPU开销会较大。 因为客户端存在操作系统元数据缓存,可能导致该缓存失效前,客户端元数据与存储服务端元数据呈现不一致现象。 因使用FUSE框架存在内核态与用户态切换,不适合高并发场景。
  • 可视化字段配置(可选) DataArts Insight提供了数据集可视化配置功能,可视化操作更加便捷的配置数据集字段。 如果在字段树配置字段,可视化字段可不配置。 在数据集创建页面,单击“可视化配置”,进入可视化配置页面。 选择需要修改的字段,并按需编辑字段。 图3 可视化配置页面 表2 可视化配置参数说明 参数名称 说明 字段名称|物理字段 字段名称,在该页面支持自定义,字段名称会显示在仪表板和大屏制作的图表中。 物理字段不支持修改。 字段类型 字段支持的类型,包括日期、文本、数字。其中日期支持多种格式设置。 默认聚合 维度字段不支持设置,仅度量字段支持设置聚合方式。 支持以下设置:无聚合、求和、平均值、计数、去重计数、最大值、最小值、总体标准差、样本标准差、总体标方差、样本方差、区间起始值、区间结束值。 说明: 区间起始值、区间结束值只支持单项设置,不支持同时设置。 数值展示格式 无格式、数值、货币、对象量词、长度、重量、能量、容量、时间、百分比。 字段描述 对字段的相关信息的描述。 允许搜索 是否允许搜索枚举值,用于标记字段的枚举值在训练时是否允许被搜索,当前仅能提取最多1000个枚举值。 说明: 仅支持文本类型。 操作 支持对字段的删除和隐藏,此处可对已隐藏的字段进行取消隐藏。 说明: 删除数据集中的字段时要检查该字段是否在大屏、报表和权限配置中有使用。 批量字段配置:您可以同时选择多个字段,选择操作列的配置项。 当前支持批量转换为维度或度量,支持批量设置隐藏、取消隐藏,支持批量删除字段。
  • 选择数据表 登录智能数据洞察控制台。 单击管理控制台左上角的,选择区域。 单击左下角的企业项目选择企业项目。 选择项目,单击项目名称进入项目。 在项目中选择数据源。 选择数据表,并单击操作列的“新建数据集”,跳转至数据集编辑页面。 选择数据表,双击或者拖拽页面数据表至画布。 单击数据预览区域的“刷新预览”,即可查看读取的数据表的数据。 单击数据表后的,选择需要呈现的表字段。 图1 字段选择 如需多表级联,可参考多表级联建模,关联其他数据表。 如需设置配置字段信息请参考配置数据表字段树、可视化字段配置(可选)。 字段配置完成后,单击页面右上方“保存”。 输入数据集名称,单击“确定”完成数据集创建。 数据集名称只允许输入长度为1到64位由数字、中文、英文、斜杠(/)、下划线(_)或中划线(-)组成的字符串。
  • 配置数据表字段树 打开数据表后支持预览数据表数据,并给出维度和度量字段,用于后续的数据分析。 您可以按需配置数据集字段信息包括:编辑、克隆隐藏、复制为指标、转化为维度/度量、默认聚合方式、数值展示格式、删除等操作。 当字段被用于计算字段、分组维度、过滤条件中,不支持修改字段类型、维度或度量转换、删除。 暂不支持复制日期字段,您可以将日期字段转成文本类型后,再复制字段。 配置字段的入口: 在字段列表区,单击字段后的配置字段。 在数据预览区,单击字段后的配置字段。 可视化配置页签支持配置字段。 图2 配置字段 数据集列字段配置项说明如表1所示。 表1 配置项说明 功能名 说明 编辑 对字段的名称和描述内容进行编辑。 字段原名:可对字段原名进行编辑,输入不能为空,且名称只能由中英文、数字、英文括号、斜杠(\)、反斜杠(/)、下划线(_)及中划线(-)组成且不超过512个字符。 物理字段:物理表对应的字段名,不支持修改。 字段描述:补充字段描述信息。 绑定条件:当且仅当用户使用这个维度时,才会应用此维度的绑定条件。编辑条件请参见添加条件。 默认筛选:设置默认筛选器。编辑条件请参见添加条件。 默认过滤器规则:如果对某个字段配置了默认过滤器,如 省份 = “上海”。 1. 如果报表或者问答中未出现关于省份字段的过滤器,则最终的过滤器条件会追加省份 =“上海”字段。 2. 如果报表或者问答中出现了关于省份字段的过滤器,则最终的过滤器条件会忽略省份 =“上海”字段。 添加条件:单击“添加条件”。 选择筛选字段、筛选方式、固定值筛选条件和取值。 筛选字段:筛选需要设置规则的数据集的字段,支持筛选维度和度量字段,不支持多选,如需对其他字段配置规则请重复添加条件。 筛选方式:支持“条件筛选”、“枚举筛选”、“表达式筛选”。 说明: 只有维度支持枚举值筛选方式。 固定值条件:条件筛选时需要选择固定值条件,例如等于、不等于、大于、大于等于、小于、小于等于等规则。 固定值:输入筛选条件的取值,如果是枚举筛选,在下拉框中勾选字段值。 如需继续为其他字段设置规则,可单击“添加规则”。 多条件规则时,需要设置规则的关系: 且:用户可查看同时满足规则A和规则B的字段值、即规则A和规则B的交集。 或:用户可以查看满足规则A或规则B的字段值、即规则A和规则B的并集。 如需添加与规则A和规则B并列的规则,可以单击“添加关系”。即新建了规则组C。规则组C与规则A和规则B同一级别。 克隆 该功能用于快速复制某字段,生成的新字段会带上副本标识。 单击数据预览页面下需要修改字段右侧的,在弹出页面单击“克隆”。 单击克隆之后生成的新字段会带上副本标识。且字段的物理字段名不会发生变化字段原名会发生变化。 例如product_name,克隆后字段为product_name1。 隐藏 将字段进行隐藏。 隐藏字段后,使用这个数据集制作仪表板、大屏等时,不会出现这个字段。 默认聚合方式 包含无聚合、求和、平均值、计数、去重计数、最大值、最小值、总体标准差、样本标准差、总体方差、样本方差、区间起始值、区间结束值。 说明: 区间起始值、区间结束值只支持单项设置,不支持同时设置。 数值展示格式 无格式、数值、货币、对象量词、长度、重量、能量、容量、时间、百分比。 转换为度量/转换为维度 将字段的类型进行转换,支持维度和度量的相互转换。 维度类型转换 可将字段维度或度量的类型转换成其他类型,支持转换为数字、日期、文本。且日期字段支持配置数据格式。 说明: 日期增加了秒和毫秒的时间戳。 维度支持时间戳格式转换时间。 移动到 此功能在新建层次结构/数据集为表格视图时才可使用,请参见新建层次结构。 删除 删除字段。 删除字段后,当您需要找回该字段时,可以单击画布中的表,在右侧面板中选择并添加该字段即可。
  • 样式 本章节介绍线状图的样式的各项配置的含义。 尺寸位置 W:设置图表的宽,单位为px。 H:设置图表的高,单位px。 X:设置图表在画布中的位置。单位为px。 Y:设置图表在画布中的位置。单位为px。 不透明度:设置图表在画布上的透明度,可通过滑动条进行设置,也可手动输入百分比,比例越大透明程度越低。 图1 尺寸位置 圆环 总环数配置:产业分布图的环数设置,取值范围1~3。 环设置: 最大卡片数:环数上显示的卡片数,取值范围0~100。 旋转方向包含顺时针和逆时针。 卡片样式 文本:对卡片中的文本颜色、字号、字体粗细进行设置。 图标:用户可以自定义颜色以及图标类型。 数值设置:支持对数值的语境、单位、科学计数法、使用千分位分割符、小数位的设置。 动画:可以设置产业分布图的旋转速度和闪烁时长。 旋转速度取值范围0.1~2之间。 闪烁时长(s)取值范围1~10。
  • 操作步骤 在仪表板导航栏单击,新建组合容器。 设置组合容器的样式,参考表1设置。 表1 组合容器样式参数 参数 说明 卡片标题 卡片支持有和无标题的设置。设置卡片的标题,在卡片的左上角展示。 无标题:当未勾选框时,为无标题格式。 有标题:当勾选框时,为有标题格式。 文本 设置文本字体的大小和字体颜色。可通过输入修改字体大小也可通过和修改字体的大小。 说明: 输入不能为空,且输入值必须在14到32之间。 对齐方式 支持左对齐和居中对齐方式。 下边距 设置组合容器标题与图表之间的距离。可通过输入修改边距的大小也可通过和修改边距的大小。 说明: 输入不能为空,且输入值必须在0到32之间。 分割线 卡片支持无和有分割线的设置。 无分割线:当未勾选框时,为无分割线格式。 有分割线:当勾选框时,为有分割线格式。支持对分割线的样式和下框边距进行设置。分割线样式和下边框支持输入设置,也可通过和进行设置。 说明: 分割线样式的输入不能为空,且输入值必须在0到8之间。在设置样式之后才可以设置下边距,分割线的下边距输入不能为空,且输入值必须在0到32之间。 卡片背景 卡片背景支持有背景和无背景设置。 无背景:当未勾选框时,为无背景格式。 有背景:当勾选框时,为有背景格式。支持背景颜色的设置。 状态icon 可以设置icon的显示方式和颜色,支持始终显示和悬停显示。卡片icon支持有状态icon和无状态icon设置。 无背景:当未勾选框时,为无状态icon。 有背景:当勾选框时,为有状态icon。 显示线条 支持显示线条和不显示线条设置,显示线条支持右箭头和无箭头。线条可以起到类似流程图的线条的作用,将容器内的控件联系起来。 不显示线条:当未勾选框时,不显示线条。 显示线条:当勾选框时,显示线条。 类型 线条类型支持以下几种:——、-------、........。 显示线条 显示线条的数量,支持输入设置,也可通过和进行设置。 说明: 输入不能为空,且输入值必须在0到100之间。 样式设置完成后,选择仪表板导航栏中需要的可视化控件,单击控件。 选择需要的控件(如果添加的新控件遮挡原来的空件,用鼠标拖拽新添加的控件挪至其他区域)。 图1 组合容器 参数设置完成后,单击右侧的“保存”或“保存并发布”,保存组合容器组成的仪表板。 保存与保存发布的区别: 单击右侧的“保存”,输入仪表板的名称,单击“确定”保存成功,不支持仪表板的查看功能,支持删除仪表板。 单击“保存并发布”,不仅保存了仪表板也发布了仪表板。支持仪表板查看功能,如果要删除仪表板需要先将仪表进行下线操作。 在弹出的仪表板页面输入仪表名称。 仪表板名称不能为空,只允许输入长度为1到32位由数字、中文、英文、下划线(_)或中划线(-)组成的字符串。
  • 修订记录 发布日期 修订记录 2024-06-20 第七次发布。 新增 雷达图 自定义组件 更新 可视化新建数据集 接入ClickHouse数据源 接入Hive数据源 创建数据门户 标题 线状图表 饼状图表 2024-05-16 第六次发布。 新增 矩形树图 漏斗图 更新 世界地图 查询控件 制作交互 2024-04-07 第五次发布。 新增 桑基图 产业分布图 里程碑 更新 管理项目 用户管理 2024-02-28 第四次发布。 新增 甘特图 指标 新建维度 更新 接入GaussDB(DWS)数据源 智能分析助手 资源迁移 2024-01-08 第三次发布。 新增 接入Hive数据源 用户管理 自定义地图 更新 表格 2023-12-08 第二次发布。 新增 接入DLI数据源 数据门户 交叉表格 更新 接入GaussDB(DWS)数据源 查询控件 表格图 2023-11-03 更新 如何查看审计日志内容。 2023-10-18 新增 富文本。 词云图。 热力图。 2023-10-16 新增 协同办公。 2023-09-28 新增 接入GaussDB数据源。 接入MySQL数据源。 接入PostgreSQL数据源。 接入Doris数据源。 2023-08-29 第一次正式发布。
共100000条