华为云用户手册

  • 变量声明 语法: variable_name type [:= value]; 描述: 对以上语法格式的解释如下: variable_name为变量名。 type为变量类型。 value是该变量的初始值(如果不给定初始值,则初始为NULL);value也可以是表达式。 【示例】: DECLARE v_emp_id INTEGER := 7788; BEGIN v_emp_id := 5*7784; END;
  • 分区设计原则 范围分区和interval分区适合于划分历史类数据、周期性的加载和删除数据,通常是以DATE类型的列作为范围分区键。interval分区是范围分区的延伸,以时间为单位自动扩展分区。 HASH分区适合于随机分布数据、通过HASH算法来避免热块竞争、没有明显的分区规则,通常选择唯一或者基本唯一的列作为HASH分区键,分区的数目必须是2的幂次方。 列表分区适合于离散数据,不支持多个列同时作为分区键。 复合分区同时具备2维分区的优点,分为:Range-Hash、Range-List、Range-Range、List-Hash、List-List、List-Range。 Intervel分区适合于固定间隔的范围分区,当到插入数据到不存在的分区时,数据库会自动创建新分区,自动产生分区名,Oracle不允许手工增加新分区。由于这种分区的分区名称是自动生成的,且前期出现的BUG较多,并不推荐大规模使用。 分区表上尽量使用本地索引,在检索的时候where条件中尽量带上分区键,通过分区键缩小检索的范围。 合理的设计分区表的表空间,通过表空间和LUN可以在物理层面上隔离数据,提高并行度,降低资源竞争。
  • 索引设计原则 表的主键、外键必须有索引; 经常查询且选择率低于5%的列需要建立索引; 经常与其他表进行连接的表,在连接字段上应该建立索引; 经常出现在Where子句中的字段,特别是大表的字段,应该建立索引; 位图索引适合于DSS或者OLAP,不应该在OLTP的系统中或者DML操作较频繁的列上建立位图索引; 索引应该建在小字段上,对于大的文本字段甚至超长字段,不要建索引; 复合索引的建立需要进行仔细分析;尽量考虑用单字段索引代替: 正确选择复合索引中的主列字段,一般是选择性较好的字段; 复合索引的几个字段是否经常同时以AND方式出现在Where子句中?单字段查询是否极少甚至没有?如果是,则可以建立复合索引;否则考虑单字段索引; 如果复合索引中包含的字段经常单独出现在Where子句中,则分解为多个单字段索引; 如果复合索引所包含的字段超过3个,那么仔细考虑其必要性,考虑减少复合的字段; 如果既有单字段索引,又有这几个字段上的复合索引,一般可以删除复合索引; 频繁进行数据操作的表,不要建立太多的索引; 删除无用的索引,避免对执行计划造成负面影响; 分区表上尽量使用本地索引,否则在分区维护的时候必须重建索引; 可以适当的使用函数索引来完成特殊的优化。
  • 表空间设计原则 用户表空间与系统表空间分离。 数据表空间与索引表空间分离。 业务表空间与日志表空间分离。 OLTP系统最好不要使用BIG FILE TABLESPACE。 小型数据库数据文件统一使用8GB;中型数据库数据文件统一使用16GB;大型数据库数据文件统一使用24GB,不允许使用数据文件自动扩展。 用户新建立的表空间必须采用本地管理和自动段空间管理。 没有必要频繁的整理表空间中的碎片,除非碎片率达到了80%以上。 如果表空间因频繁的DDL操作出现碎片,建议设置表空间的UNIFORM SIZE为合适的数值(例如1MB),来减少碎片的产生。
  • 对象自定义元数据介绍 OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。自定义元数据大小限制为8K,计算方式为:每个键和值的UTF-8 编码中的字节总数来测量用户定义的元数据的大小。 自定义元数据的key值不区分大小写,OBS统一转为小写进行存储。value值区分大小写。 示例: 1 2 3 4 5 6 7 PUT /key HTTP/1.1 Host: bucket01.obs.myhuaweicloud.com x-obs-meta-Test1: Test Meta1 HEAD /Key HTTP/1.1 Host: bucket01.obs.myhuaweicloud.com x-obs-meta-test1: Test Meta1 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。例如x-obs-meta-中文:中文 经URL编码后发送,“中文”的URL编码为:%E4%B8%AD%E6%96%87,则响应为x-obs-meta-%E4%B8%AD%E6%96%87: %E4%B8%AD%E6%96%87 示例: 1 2 3 4 5 6 7 PUT /key HTTP/1.1 Host: bucket01.obs.myhuaweicloud.com x-obs-meta-%E4%B8%AD%E6%96%87: %E4%B8%AD%E6%96%87 HEAD /Key HTTP/1.1 Host: bucket01.obs.myhuaweicloud.com x-obs-meta-%E4%B8%AD%E6%96%87: %E4%B8%AD%E6%96%87
  • 对象元数据Content-Type介绍 使用控制台和工具上传到OBS中的对象,会根据对象的文件扩展名,自动匹配Content-Type值。使用浏览器访问对象时,会根据Content-Type类型来指定应用程序来打开。您可以根据对象的文件扩展来修改Content-Type。 调用API上传对象时,不会自动匹配Content-Type值,需要指定Content-Type值。 表2 常见的Content-Type类型 文件扩展名 Content-Type 文件扩展名 Content-Type .*(二进制流,不知道下载文件类型) application/octet-stream .7z application/x-7z-compressed .001 application/x-001 .301 application/x-301 .323 text/h323 .906 application/x-906 .907 drawing/907 .a11 application/x-a11 .acp audio/x-mei-aac .ai application/postscript .aif audio/aiff .aifc audio/aiff .aiff audio/aiff .anv application/x-anv .asa text/asa .asf video/x-ms-asf .asp text/asp .asx video/x-ms-asf .au audio/basic .avi video/avi .awf application/vnd.adobe.workflow .biz text/xml .bmp application/x-bmp .bot application/x-bot .c4t application/x-c4t .c90 application/x-c90 .cal application/x-cals .cat application/vnd.ms-pki.seccat .cdf application/x-netcdf .cdr application/x-cdr .cel application/x-cel .cer application/x-x509-ca-cert .cg4 application/x-g4 .cgm application/x-cgm .cit application/x-cit .class java/* .cml text/xml .cmp application/x-cmp .cmx application/x-cmx .cot application/x-cot .crl application/pkix-crl .crt application/x-x509-ca-cert .csi application/x-csi .css text/css .cut application/x-cut .dbf application/x-dbf .dbm application/x-dbm .dbx application/x-dbx .dcd text/xml .dcx application/x-dcx .der application/x-x509-ca-cert .dgn application/x-dgn .dib application/x-dib .dll application/x-msdownload .doc application/msword .docx application/vnd.openxmlformats-officedocument.wordprocessingml.document .drw application/x-drw .dot application/msword .dwf Model/vnd.dwf .dtd text/xml .dwg application/x-dwg .dwf application/x-dwf .dxf application/x-dxf .dxb application/x-dxb .emf application/x-emf .edn application/vnd.adobe.edn .ent text/xml .eml message/rfc822 .eps application/x-ps .epi application/x-epi .etd application/x-ebx .eps application/postscript .fax image/fax .exe application/x-msdownload .fif application/fractals .fdf application/vnd.fdf .frm application/x-frm .fo text/xml .gbr application/x-gbr .g4 application/x-g4 .gif image/gif . application/x- .gp4 application/x-gp4 .gl2 application/x-gl2 .hmr application/x-hmr .hgl application/x-hgl .hpl application/x-hpl .hpg application/x-hpgl .hrf application/x-hrf .hqx application/mac-binhex40 .htc text/x-component .hta application/hta .html text/html .htm text/html .htx text/html .htt text/webviewhtml .ico image/x-icon .icb application/x-icb .iff application/x-iff .ico application/x-ico .igs application/x-igs .ig4 application/x-g4 .img application/x-img .iii application/x-iphone .isp application/x-internet-signup .ins application/x-internet-signup .java java/* .IVF video/x-ivf .jpe image/jpeg .jfif image/jpeg .jpeg image/jpeg .jpe application/x-jpe .jpg application/x-jpg .jpg image/jpeg .jsp text/html .js text/javascript .lar application/x-laplayer-reg .la1 audio/x-liquid-file .lavs audio/x-liquid-secure .latex application/x-latex .lmsff audio/x-la-lms .lbm application/x-lbm .ltr application/x-ltr .ls application/x-javascript .m2v video/x-mpeg .m1v video/x-mpeg .m4e video/mpeg4 .m3u audio/mpegurl .man application/x-troff-man .mac application/x-mac .mdb application/msaccess .math text/xml .mfp application/x-shockwave-flash .mdb application/x-mdb .mhtml message/rfc822 .mht message/rfc822 .mid audio/mid .mi application/x-mi .mil application/x-mil .midi audio/mid .mnd audio/x-musicnet-download .mml text/xml .mocha application/x-javascript .mns audio/x-musicnet-stream .mp1 audio/mp1 .movie video/x-sgi-movie .mp2v video/mpeg .mp2 audio/mp2 .mp4 video/mp4 .mp3 audio/mp3 .mpd application/vnd.ms-project .mpa video/x-mpg .mpeg video/mpg .mpe video/x-mpeg .mpga audio/rn-mpeg .mpg video/mpg .mps video/x-mpeg .mpp application/vnd.ms-project .mpv video/mpg .mpt application/vnd.ms-project .mpw application/vnd.ms-project .mpv2 video/mpeg .mtx text/xml .mpx application/vnd.ms-project .net image/pnetvue .mxp application/x-mmxp .nws message/rfc822 .nrf application/x-nrf .out application/x-out .odc text/x-ms-odc .p12 application/x-pkcs12 .p10 application/pkcs10 .p7c application/pkcs7-mime .p7b application/x-pkcs7-certificates .p7r application/x-pkcs7-certreqresp .p7m application/pkcs7-mime .pc5 application/x-pc5 .p7s application/pkcs7-signature .pcl application/x-pcl .pci application/x-pci .pdf application/pdf .pcx application/x-pcx .pdx application/vnd.adobe.pdx .pfx application/x-pkcs12 .pgl application/x-pgl .pic application/x-pic .pko application/vnd.ms-pki.pko .pl application/x-perl .plg text/html .pls audio/scpls .plt application/x-plt .png image/png .png application/x-png .pot application/vnd.ms-powerpoint .ppa application/vnd.ms-powerpoint .ppm application/x-ppm .pps application/vnd.ms-powerpoint .ppt application/vnd.ms-powerpoint .ppt application/x-ppt .pr application/x-pr .prf application/pics-rules .prn application/x-prn .prt application/x-prt .ps application/x-ps .ps application/postscript .ptn application/x-ptn .pwz application/vnd.ms-powerpoint .r3t text/vnd.rn-realtext3d .ra audio/vnd.rn-realaudio .ram audio/x-pn-realaudio .ras application/x-ras .rat application/rat-file .rdf text/xml .rec application/vnd.rn-recording .red application/x-red .rgb application/x-rgb .rjs application/vnd.rn-realsystem-rjs .rjt application/vnd.rn-realsystem-rjt .rlc application/x-rlc .rle application/x-rle .rm application/vnd.rn-realmedia .rmf application/vnd.adobe.rmf .rmi audio/mid .rmj application/vnd.rn-realsystem-rmj .rmm audio/x-pn-realaudio .rmp application/vnd.rn-rn_music_package .rms application/vnd.rn-realmedia-secure .rmvb application/vnd.rn-realmedia-vbr .rmx application/vnd.rn-realsystem-rmx .rnx application/vnd.rn-realplayer .rp image/vnd.rn-realpix .rpm audio/x-pn-realaudio-plugin .rsml application/vnd.rn-rsml .rt text/vnd.rn-realtext .rtf application/msword .rtf application/x-rtf .rv video/vnd.rn-realvideo .sam application/x-sam .sat application/x-sat .sdp application/sdp .sdw application/x-sdw .sit application/x-stuffit .slb application/x-slb .sld application/x-sld .slk drawing/x-slk .smi application/smil .smil application/smil .smk application/x-smk .snd audio/basic .sol text/plain .sor text/plain .spc application/x-pkcs7-certificates .spl application/futuresplash .spp text/xml .ssm application/streamingmedia .sst application/vnd.ms-pki.certstore .stl application/vnd.ms-pki.stl .stm text/html .sty application/x-sty .svg text/svg+xml .swf application/x-shockwave-flash .tdf application/x-tdf .tg4 application/x-tg4 .tga application/x-tga .tif image/tiff .tif application/x-tif .tiff image/tiff .tld text/xml .top drawing/x-top .torrent application/x-bittorrent .tsd text/xml .txt text/plain .uin application/x-icq .uls text/iuls .vcf text/x-vcard .vda application/x-vda .vdx application/vnd.visio .vml text/xml .vpg application/x-vpeg005 .vsd application/vnd.visio .vsd application/x-vsd .vss application/vnd.visio .vst application/vnd.visio .vst application/x-vst .vsw application/vnd.visio .vsx application/vnd.visio .vtx application/vnd.visio .vxml text/xml .wav audio/wav .wax audio/x-ms-wax .wb1 application/x-wb1 .wb2 application/x-wb2 .wb3 application/x-wb3 .wbmp image/vnd.wap.wbmp .wiz application/msword .wk3 application/x-wk3 .wk4 application/x-wk4 .wkq application/x-wkq .wks application/x-wks .wm video/x-ms-wm .wma audio/x-ms-wma .wmd application/x-ms-wmd .wmf application/x-wmf .wml text/vnd.wap.wml .wmv video/x-ms-wmv .wmx video/x-ms-wmx .wmz application/x-ms-wmz .wp6 application/x-wp6 .wpd application/x-wpd .wpg application/x-wpg .wpl application/vnd.ms-wpl .wq1 application/x-wq1 .wr1 application/x-wr1 .wri application/x-wri .wrk application/x-wrk .ws application/x-ws .ws2 application/x-ws .wsc text/scriptlet .wsdl text/xml .wvx video/x-ms-wvx .xdp application/vnd.adobe.xdp .xdr text/xml .xfd application/vnd.adobe.xfd .xfdf application/vnd.adobe.xfdf .xhtml text/html .xls application/vnd.ms-excel .xls application/x-xls .xlw application/x-xlw .xml text/xml .xpl audio/scpls .xq text/xml .xql text/xml .xquery text/xml .xsd text/xml .xsl text/xml .xslt text/xml .xwd application/x-xwd .x_b application/x-x_b .sis application/vnd.symbian.install .sisx application/vnd.symbian.install .x_t application/x-x_t .ipa application/vnd.iphone .apk application/vnd.android.package-archive .xap application/x-silverlight-app .zip application/zip .rar application/x-rar-compressed
  • 创建对等连接 创建VPC A和VPC B及其对应的子网subnet A和subnet B 具体操作请参见创建虚拟私有云和子网。 创建对等连接 在subnet A和subnet B间创建对等连接。具体操作请参见创建对等连接。 在本实践中,本端VPC是VPC A,对端VPC是VPC B。 在原有添加本端和对端路由的基础上,还需在VPC B的路由表中添加0.0.0.0/0的对端路由(下一跳选择已创建的对等连接)。
  • 操作场景 在同一区域下有两个虚拟私有云分别为VPC A和VPC B,VPC A和VPC B对应的子网是subnet A和subnet B。在VPC A中为子网subnet A创建公网NAT网关,通过添加SNAT和DNAT规则可以实现访问公网和对公网提供服务;在VPC B中子网subnet B通过对等连接连通VPC A中的子网subnet A,使用subnet A的公网NAT网关访问公网和对公网提供服务,VPC B中的subnet B不用另配置公网NAT网关。详情见下方的组网图。
  • 典型拓扑 假设VPC A的网段为192.168.0.0/16,子网subnet A的网段为192.168.1.0/24;VPC B的网段为192.168.0.0/16,子网subnet B的网段为192.168.2.0/24。 实现方式如下: 配置NAT网关。在VPC A创建公网NAT网关,并添加SNAT和DNAT规则。 创建对等连接。通过对等连接将VPC A中的子网subnet A与VPC B中的子网subnet B连通,使subnet B使用公网NAT网关访问公网和对公网提供服务。 图1 组网图
  • 配置公网NAT网关 购买公网NAT网关 购买公网NAT网关,虚拟私有云选择VPC A。具体操作请参见购买公网NAT网关。 添加SNAT规则 为subnet A添加SNAT规则,使用场景选择“虚拟私有云”,子网选择subnet A。具体操作请参见添加SNAT规则。 图2 添加SNAT规则 为subnet B添加SNAT规则,使用场景选择“云专线/云连接”,网段填写subnet B网段。 图3 添加SNAT规则 添加DNAT规则 为subnet A添加DNAT规则,使用场景选择“虚拟私有云”,私网IP填写subnet A中的云服务器IP地址。具体操作请参见添加DNAT规则。 图4 添加DNAT规则 为subnet B添加DNAT规则,使用场景选择“云专线/云连接”,私网IP填写subnet B中的云服务器IP地址。 图5 添加DNAT规则
  • 入门实践 本章节列举了一些常用的案例,方便您快速了解并使用ModelArts完成AI开发。 表1 常用最佳实践 实践 描述 适用人群 自动学习 口罩检测(使用新版自动学习实现物体检测应用) 该案例是使用华为云一站式AI开发平台ModelArts的新版“自动学习”功能,基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。依据开发者提供的标注数据及选择的场景,无需任何代码开发,自动生成满足用户精度要求的模型。 面向AI开发零基础的用户 开发环境 使用算法套件快速完成水表读数识别 本案例提供了一个水表表盘读数识别的样例,使用ModelArts的自研分割算法(ivgSegmentation)和开源OCR算法(mmOCR)完成水表读数识别项目,并使用算法开发套件将其部署为华为云在线服务。 面向AI开发零基础的用户 本地开发的MindSpore模型迁移至云上训练 本案例介绍了如何将本地开发好的MindSpore模型代码,通过PyCharm ToolKit连接到ModelArts进行云上调试和训练。 面向熟悉代码编写和调测的AI工程师 模型训练 使用AI Gallery的订阅算法实现花卉识别 本案例以“ResNet_v1_50”算法、花卉识别数据集为例,指导如何从AI Gallery下载数据集和订阅算法,然后使用算法创建训练模型,将所得的模型部署为在线服务。其他算法操作步骤类似,可参考“ResNet_v1_50”算法操作。 面向AI开发零基础的用户 示例:从 0 到 1 制作自定义镜像并用于训练(Pytorch+CPU/GPU) 本案例介绍如何从0到1制作镜像,并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是Pytorch,训练使用的资源是CPU或GPU。 面向熟悉代码编写和调测的AI工程师 推理部署 免费体验:一键完成商超商品识别模型部署 本案例以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。 面向AI开发零基础的用户 从0-1制作自定义镜像并创建AI应用 针对ModelArts不支持的AI引擎,您可以构建自定义镜像,并将镜像导入ModelArts,创建为AI应用。本案例详细介绍如何使用自定义镜像完成AI应用的创建,并部署成在线服务。 面向熟悉代码编写和调测的AI工程师
  • 根据经验选择您的使用方式 面向AI开发零基础的用户,您可以使用ModelArts在AI Gallery中预置的模型、算法、数据、Notebook等资产,零代码完成AI建模和应用。 如果您想了解如何一键部署现有的模型,并在线使用模型进行预测,您可以参考免费体验:一键完成商超商品识别模型部署。 ModelArts同时提供了自动学习功能,帮助用户零代码构建AI模型,详细介绍请参见垃圾分类(使用新版自动学习实现图像分类)。 面向AI工程师,熟悉代码编写和调测,您可以使用ModelArts提供的在线代码开发环境,编写训练代码进行AI模型的开发。《最佳实践》手册中提供了丰富的端到端示例,供您学习参考。 如果您有自己的算法,想改造适配后迁移到ModelArts平台上进行训练和推理,您可以参考使用自定义算法构建模型(手写数字识别)。 如果您更习惯使用本地PyCharm工具开发模型,建议可参考本地开发的MindSpore模型迁移至云上训练,安装ModelArts PyCharmToolKit工具,在本地完成代码开发后,将代码提交至ModelArts云端进行训练。 如果您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨。
  • 应用场景 域名证书监控功能用于为您统一监控所有站点的HTTPS状态并简化证书维护的复杂度,开启后可帮助您检测多个站点的HTTPS业务状态并及时发现站点上的SSL证书安全问题(例如:未配置SSL证书、证书已过期等),方便您统一维护多站点HTTPS,降低因人为疏忽导致HTTPS业务中断的风险。 初次使用域名证书监控功能,系统会为您发放一个有效期为7天的免费实例,您可以试用该实例体验域名证书监控功能。有效期截止后实例自动失效。 如需继续使用,您可以单击右上角“购买域名证书监控”购买更多域名证书监控实例。
  • PCA支持云审计的操作列表 云审计服务记录私有证书管理相关的操作事件,如表1所示。 表1 云审计服务支持的PCA操作列表 操作名称 资源类型 事件名称 创建CA CA createCertificateAuthority 激活CA CA generateCertificateAuthority 导出CA CA exportCertificateAuthority 恢复CA CA restoreCertificateAuthority 启用CA CA enableCertificateAuthority 禁用CA CA disableCertificateAuthority 删除CA CA deleteCertificateAuthority 申请证书 endEntityCert createCertificate 删除证书 endEntityCert deleteCertificate 吊销证书 endEntityCert revokeCertificate 父主题: PCA关键操作审计管理
  • 前提条件 终端设备通过会议室连接器接入会议时需使用企业内的会议室连接器端口并发资源,用户可按照企业内终端设备同时接入华为云会议的数量峰值购买会议室连接器端口资源,详细操作请参考如何购买会议套餐。 企业需配置会议室连接器的IP地址和网络端口,详细说明请参考会议室连接器接入IP和网络端口。 可通过会议室连接器接入华为云会议的终端设备请参考会议室连接器兼容设备列表。 当前仅支持H.323协议终端设备接入,SIP连接器正在上线准备中,敬请期待。
  • 操作步骤 硬件设备呼叫会议室连接器地址可接入会议,此处以TE20遥控器操作步骤为例。 发起会议呼叫前,请确认硬件设备的默认IP优选协议已设置成H.323。 在主菜单界面,按遥控器方向键选择“呼叫”,按确认键进入快速拨号界面。 在界面上输入“会议号@连接器IP地址”或“会议号**会议密码@连接器IP地址”(如“98749161**12345@120.46.242.66”),按确认键可接入会议。 目前仅当会议未设置密码时可通过输入“会议号@连接器IP地址”接入会议。
  • 数据保护技术 CodeArts Repo通过多种手段保护数据安全。 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) 通过在云端对托管在CodeArts Repo的代码库进行落盘加密,可以有效避免数据拥有者之外的人接触到用户的明文数据,避免数据在云端发生泄露。同时,代码加密过程对用户完全透明,用户可以使用任意官方Git端来访问CodeArts Repo上的代码仓库。 - 密钥管理 通过SSH密钥和部署密钥管理,确保请求发起是请求发起方,让用户只能浏览被授权的数据,保证数据安全。 关于SSH密钥详细介绍及获取方式,请参见SSH密钥。 git-crypt加密传输与存储 git-crypt是一款第三方开源软件,可以用于对Git仓库中的文件进行透明化的加密和解密。 其可对指定文件、指定文件类型等进行加密存储,开发者可以将加密文件(如机密信息或敏感数据)与可共享的代码存储在同一个仓库中,并如同普通仓库一样被拉取和推送,只有持有对应文件密钥的人才能查看到加密文件的内容,但并不会限制参与者对非加密文件读写。关于git-crypt加密传输与存储详细介绍及获取方式,请参见git-crypt加密。 敏感数据匿名和高价值数据加密 CodeArts Repo在利用统一、准确的数据支撑应用程序和服务的同时充分保障了数据安全性和隐私性。 日志和数据库中无可避免有一些敏感数据,包含但不限于密钥,账号信息等等。为防止敏感数据泄露造成安全问题,我们会把这些数据进行匿名或者加密处理,其原理是哈希函数,是对一段信息产生信息摘要,以防止被篡改。 防DDOS工具 DDoS高防(Anti-DDoS)是防护DDoS攻击的工具。当您的互联网服务器遭受大流量的DDos攻击时,DDoS高防可以保护其应用服务持续可用。 DDoS高防支持通过DNS解析和IP直接指向两种引流方式,实现网站域名和业务端口的接入防护。根据您在DDoS高防中为业务配置的转发规则,DDoS高防将业务的DNS域名解析或业务IP指向DDoS高防实例IP或CNAME地址进行引流。 来自公网的访问流量都将优先经过高防机房,恶意攻击流量将在高防流量清洗中心进行清洗过滤,正常的访问流量通过端口协议转发的方式返回给源站服务器,从而保障源站服务器的稳定访问。 流量限制 流量限制可以用来限制用户在给定时间内HTTP请求的数量,流量限制用来保护上游应用服务器不被同时太多用户请求所压垮。 CodeArts Repo的主要使用Nginx流控和APIGW流控。Nginx的流量限制使用漏桶算法,该算法在通讯和分组交换计算机网络中广泛使用,用以处理带宽有限时的突发情况。APIGW流控可限制单位时间内API的被调用次数,保护后端服务,提供持续稳定的服务。 容灾备份 容灾备份不仅保证数据不丢失,还要保证在服务器宕机后接管服务器的业务,保证业务连续性。保障用户可以不间断的使用应用服务,让用户的服务请求能够持续运行,保证信息系统提供的服务完整、可靠、一致。 - Hash分片存储 Hash分片存储,即通过数据分片提高隐私性和私密性,就是按照一定的规则,将数据集划分成相互独立正交的数据子集。然后数据被随机分散到多个节点中,没有任何一个节点可以访问完整的数据,它们只包含数据的某一部分。 - 水印 为防止未经授权拍照、截图或其他手段随意传播公司核心资产,可以开启水印设置。 关于水印的详细设置方法,请参见设置水印。 备份 仓库备份操作保障代码安全,防止他人误删除,分为两种备份形式。 将仓库备份到华为云的其它区域。 将仓库备份到您本地计算机。 关于备份仓库的详细操作方法,请参见备份仓库。 父主题: 安全
  • 注意事项 不支持Redis集群。 请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例请参考《分布式缓存服务用户指南》。 该场景作业需要运行在DLI的独享队列上,因此要与DCS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
  • 示例 Redis表用于与输入流连接。 CREATE TABLE table_a (attr1 string, attr2 string, attr3 string) WITH ( type = "dcs_redis", value_type = "hash", key_column = "attr1", hash_key_column = "attr2", cluster_address = "192.168.1.238:6379", password = "xxxxxxxx" );
  • 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dcs_redis表示输出到分布式缓存服务的Redis存储系统中。 cluster_address 是 Redis实例连接地址。 password 否 Redis实例连接密码,当设置为免密访问时,省略该配置项。 value_type 是 指定数据类型。支持的数据类型包括:string, list, hash, set, zset。 key_column 是 指定代表Redis key属性的列名。 hash_key_column 否 当value_type设置为hash时,需要指定本字段作为第二级key属性的列名。 cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。
  • 语法格式 1 2 3 4 5 6 CREATE TABLE table_id (key_attr_name STRING(, hash_key_attr_name STRING)?, value_attr_name STRING) WITH ( type = "dcs_redis", cluster_address = ""(,password = "")?, value_type= "", key_column= ""(,hash_key_column="")?);
  • 示例 将流audi_cheaper_than_30w的数据输出到数据库test的audi_cheaper_than_30w表下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 CREATE SINK STREAM audi_cheaper_than_30w ( car_id STRING, car_owner STRING, car_brand STRING, car_price INT ) WITH ( type = "rds", username = "root", password = "xxxxxx", db_url = "postgresql://192.168.1.1:8000/test", table_name = "audi_cheaper_than_30w" ); insert into audi_cheaper_than_30w select "1","2","3",4;
  • 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。
  • 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。 如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
  • 语法格式 1 2 3 4 5 6 7 8 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH ( type = "rds", username = "", password = "", db_url = "", table_name = "" );
  • 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,rds表示输出到关系型数据库或者数据仓库服务中。 username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址格式为:postgresql://ip:port/database。 table_name 是 要插入数据的数据库表名。数据库表需事先创建好。 db_columns 否 支持配置输出流属性和数据库表属性的对应关系,需严格按照输出流的属性顺序配置。 示例: 1 2 3 4 5 6 7 8 9 create sink stream a3(student_name string, student_age int) with ( type = "rds", username = "root", password = "xxxxxxxx", db_url = "postgresql://192.168.0.102:8000/test1", db_columns = "name,age", table_name = "t1" ); student_name对应数据库里的name属性,student_age对应数据库里的age属性。 说明: 当不配置db_columns时,若输出流属性个数小于数据库表属性个数,并且数据库多出的属性都是nullable或者有默认值时,这种情况也允许。 primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: 1 2 3 4 5 6 7 8 9 CREATE SINK STREAM test(c_timeminute LONG, c_cnt LONG) WITH ( type = "rds", username = "root", password = "xxxxxxxx", db_url = "postgresql://192.168.0.12:8000/test", table_name = "test", primary_key = "c_timeminute" );
  • 语法格式 1 SHOW [USER|SYSTEM|ALL] FUNCTIONS ([LIKE] regex | [db_name.] function_name); 其中regex为正则表达式,可以参考如下表1参数样例。 表1 regex参数举例说明 regex表达式 匹配含义 'xpath*' 表示匹配所有xpath开头的函数名。 例如:SHOW FUNCTIONS LIKE 'xpath*' ; 表示可以匹配到:xpath、xpath_int、xpath_string等等xpath开头的函数。 'x[a-z]+' 表示匹配以x开头,后面是a到z范围的一个到多个字符的函数名。如可以匹配到:xpath、xtest等。 'x.*h' 匹配以x开头,h结尾,中间为一个或多个字符的函数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。
  • 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row Formats默认的策略是根据Part文件大小进行滚动,需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动,并且用户也可以添加基于大小或者时间等的其他条件。 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkpoint成功时生成。如果没有开启Checkpoint功能,文件将永远停留在in-progress或者pending的状态,并且下游系统将不能安全读取该文件数据。 sink end算子的接受记录数为checkpoint的个数,非实际的发送数据,实际发送数据量请参考streaming-writer或StreamingFileWriter算子的记录数。
  • 示例二 使用datagen随机生成数据写入obs的bucketName桶下的fileName目录中。文件生成时间与checkpoint有关,达到checkpoint间隔或达到100MB时,生成新文件。 create table orders( name string, num INT ) with ( 'connector' = 'datagen', 'rows-per-second' = '100', 'fields.name.kind' = 'random', 'fields.name.length' = '5' ); CREATE TABLE sink_table ( name string, num INT ) WITH ( 'connector' = 'filesystem', 'path' = 'obs://bucketName/fileName', 'format' = 'csv', 'sink.rolling-policy.file-size'='128m', 'sink.rolling-policy.rollover-interval'='30 min', 'auto-compaction'='true', 'compaction.file-size'='100m' ); INSERT into sink_table SELECT * from orders;
  • 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 固定位filesystem。 path 是 无 String OBS路径。 format 是 无 String 文件格式。 支持csv、parquet格式。 sink.rolling-policy.file-size 否 128MB MemorySize 单个part文件最大大小,超过该数值会滚动产生新文件。 说明: RollingPolicy 定义了何时关闭给定的In-progress Part文件,并将其转换为Pending状态,然后在转换为Finished状态。 Finished状态的文件,可供查看并且可以保证数据的有效性,在出现故障时不会恢复。 在STREAMING模式下,滚动策略结合Checkpoint间隔(到下一个Checkpoint成功时,文件的Pending状态才转换为Finished状态)共同控制Part文件对下游readers是否可见以及这些文件的大小和数量。 sink.rolling-policy.rollover-interval 否 30 min Duration 单个Part文件处于打开状态的最长时间,超过该时间会滚动产生新文件(默认值30分钟,以避免产生大量小文件)。检查频率是通过sink.rolling-policy.check-interval参数控制的。 说明: 该参数数字与单位之间必须要有空格。 支持的时间单位包括: d,h,min,s,ms等。 对于bulk格式的文件(parquet、orc、avro),checkpoint的时间间隔也会控制单个part文件打开的最长时间。 sink.rolling-policy.check-interval 否 1 min Duration 基于时间的滚动策略的检查间隔。 该属性控制了基于sink.rolling-policy.rollover-interval属性检查文件是否该被滚动的检查频率。 auto-compaction 否 false Boolean 在流式 sink 中是否开启自动合并功能。数据首先会被写入临时文件。当checkpoint完成后,该checkpoint产生的临时文件会被合并。 compaction.file-size 否 `sink.rolling-policy.file-size`的大小 MemorySize 合并目标文件大小,默认值为滚动文件大小。 说明: 只有在同个checkpoint内的文件会被合并,因此最终文件的数量至少等于checkpoint的数量。 如果合并时间较长,可能会引起反压,延长checkpoint所需时间。 开启该功能后,checkpoint时会产生最终文件,并打开新的文件接收下个checkpoint产生的数据。
共100000条