华为云用户手册

  • 历史行政处罚 输入参数 用户配置历史行政处罚执行动作,相关参数说明如表4所示。 表4 历史行政处罚输入参数说明 参数 必填 说明 关键字 是 关键字(公司名称、公司ID、注册号或社会统一信用代码)。 当前页数 是 当前页数(默认第1页)。 每页条数 是 每页条数(默认20条,最大20条)。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表5。 表5 历史行政处罚输出参数说明 参数 说明 结果 结果。 -总数 总数。 -详细 详细。 --处罚单位 处罚单位。 --处罚事由/违法行为类型 处罚事由/违法行为类型。 --处罚依据 处罚依据。 --处罚状态 处罚状态。 --备注 备注。 --数据来源 数据来源。 --处罚类别 处罚类别。 --处罚结果/内容 处罚结果/内容。 --处罚日期 处罚日期。 --国家市场监督管理总局时返回数据 国家市场监督管理总局时返回数据。 --处罚名称 处罚名称。 --决定文书号 决定文书号。 --处罚类别2 处罚类别2。 错误信息 错误信息。 错误码 错误码。
  • 查询对应日期黄历 根据输入的公历日期,获取该日期下的黄历具体内容。 输入参数 用户配置查询对应日期黄历执行动作,相关参数说明如表2所示。 表2 查询对应日期黄历输入参数说明 参数 必填 说明 示例值/默认值 请输入查询日期 是 公历日期输入格式为yyyy-MM-dd。 2019-01-13 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 查询对应日期黄历输出参数说明 参数 说明 示例值/默认值 公历日期 输入日期。 2019-01-13 农历日期 公历日期对应农历。 2018-12-8 农历节日 如果有农历节日则显示。 腊八节 公历节日 如果有公历节日则显示。 妇女节 适宜 黄历适宜。 祭祀,求财,签约,嫁娶,订盟 不宜 黄历不宜。 开市,安床,安葬,入宅,破土 神位 黄历神位。 喜神:西北福神:西南财神:正东阳贵:东北阴贵:西南 胎神 黄历胎神。 碓磨莫移动,鸡栖,床栖胎神在外东北停留6天 冲煞 黄历冲煞。 狗日冲(甲辰)龙 岁煞 黄历岁煞。 岁煞北 五行甲子 该日所属五行甲子。 木 五行年 该日所属五行年。 平地木 五行月 该日所属五行月。 海中金 星宿 该日所属星宿。 南方星日马-凶 彭祖 该日所在彭祖。 庚不经络戌不吃犬 见神 该日所属见神。 收 天干地支年 该日所属天干地支年。 戊戌 天干地支月 该日所属天干地支月。 乙丑 天干地支日 该日所属天干地支日。 庚戌 季节 该日所属季节。 季冬 生肖 该日所属生肖。 狗 农历月 该日所属农历月。 腊月 农历日 该日所属农历日。 初八 节气 该日所属节气。 立春
  • BMI计算 根据输入的身高体重和性别信息,给出BMI指数和健康风险等信息。 输入参数 用户配置BMI计算执行动作,相关参数说明如表2所示。 表2 BMI计算输入参数说明 参数 必填 说明 示例值/默认值 身高 是 身高,单位厘米(cm)。 172 体重 是 体重,单位千克(kg)。 58 性别 是 0为男性[默认],1为女性。 0 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 BMI计算输出参数说明 参数 说明 示例值/默认值 BMI 体重指数BMI。 19.6 正常BMI指数范围 正常BMI指数范围。 18.5~23.9 标准体重 标准体重。 64.4 正常体重范围 正常体重范围。 57.96~70.80 健康风险 健康风险。 风险一般 身材小贴士 身材小贴士。 哇,标准身材,请注意保持健康作息方式。
  • 企业工商信息查询 输入参数 用户配置企业工商信息查询执行动作,相关参数说明如表2所示。 表2 企业工商信息查询输入参数说明 参数 必填 说明 关键字 是 关键字。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 企业工商信息查询输出参数说明 参数 说明 查询结果 查询结果。 -总数 总数。 -详细 详细。 --公司状态 公司状态。 --开业时间 开业时间。 --注册资金 注册资金。 --公司类型 公司类型。 --匹配类型 匹配类型。 --类型 类型。 --法人 法人。 --工商注册号 工商注册号。 --统一社会信用代码 统一社会信用代码。 --公司名 公司名。 --公司id 公司ID。 --组织机构代码 组织机构代码。 --省份 省份。 错误信息 错误信息。 错误码 错误码。
  • 根据企业ID查询企业税号 输入参数 输入参数说明如表2所示。 表2 根据企业ID查询企业税号输入参数说明 参数 必填 说明 企业ID 是 企业ID。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表3。 表3 根据企业ID查询企业税号输出参数说明 参数 说明 企业名称 企业名称。 企业注册地址 企业注册地址。 统一信用代码 统一信用代码。 工商注册号 工商注册号。 组织机构代码 组织机构代码。 是否三证合一 是否三证合一。 税号 税号。 响应码 响应码。 响应消息 响应消息。
  • 根据名称模糊查询企业信息 输入参数 输入参数说明如表4所示。 表4 根据名称模糊查询企业信息输入参数说明 参数 必填 说明 企业名称 是 要查询的企业名称(关键字)。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表5。 表5 根据名称模糊查询企业信息输出参数说明 参数 说明 状态码 状态码。 响应消息 响应消息。 -企业名称 企业名称。 -法人姓名 法人姓名。 -注册时间 注册时间。 -企业ID 企业ID。
  • 网络流行语 根据输入的网络流行词,输出其来源和使用场景。 输入参数 用户配置网络流行语执行动作,相关参数说明如表2所示。 表2 网络流行语输入参数说明 参数 必填 说明 示例值/默认值 搜索词 是 输入一个网络流行词语。 YYDS 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 网络流行语输出参数说明 参数 说明 示例值/默认值 标题 输入的网络流行词语。 YYDS 内容 该流行语的来源以及使用场景。 YYDS即永远的神的缩写,常被粉丝用来赞赏自己的爱豆。在出圈以后,yyds的应用场景不断扩大,不仅可以用来赞美人物,也可以用来赞美喜欢的美食、事件等等。总之,一切皆可神yyds。
  • 吉凶测试 输入数字号码查询预测吉凶,测试结果仅供娱乐,请勿迷信。 输入参数 用户配置吉凶测试执行动作,相关参数说明如表2所示。 表2 吉凶测试输入参数说明 参数 必填 说明 示例值/默认值 输入待测试号码 是 手机号码、QQ号、门牌号、车牌号等各类数字号码通过周易数理进行吉凶测试。 138001381235 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 吉凶测试输出参数说明 参数 说明 示例值/默认值 测试结论 测试预测结果。 消灭万难,有贵人助,驾驭时机,可得告捷。 数理 测试结果数字。 17 概述 测试结果大概描述。 排除万难且会有贵人帮助... 吉凶结果 是否为吉或凶。 吉 数字评分 对该结果评分。 60
  • 百度PC权重 根据域名返回百度PC数据。 输入参数 输入参数说明如表6所示。 表6 百度PC权重输入参数说明 参数 必填 说明 获取的域名 是 获取的域名。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表7。 表7 百度PC权重输出参数说明 参数 说明 状态码 状态码。 状态说明 状态说明。 Result 返回结果。 -权重 权重。 -关键词数 关键词数。 -预估流量 预估流量。 -更新时间 更新时间。
  • 百度移动权重 根据域名返回百度移动权重。 输入参数 输入参数说明如表8所示。 表8 百度移动权重输入参数说明 参数 必填 说明 获取的域名 是 获取的域名。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表9。 表9 百度移动权重输出参数说明 参数 说明 状态码 状态码。 状态说明 状态说明。 Result 返回结果。 -权重 权重。 -关键词数 关键词数。 -预估流量 预估流量。 -更新时间 更新时间。
  • 综合权重 根据域名返回所有权重值。 输入参数 输入参数说明如表4所示。 表4 综合权重输入参数说明 参数 必填 说明 获取的域名 是 获取的域名。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表5。 表5 综合权重输出参数说明 参数 说明 状态码 状态码。 状态说明 状态说明。 Result 返回结果。 -百度PC权重 百度PC权重。 -百度PC关键词数 百度PC关键词数。 -百度PC预估流量 百度PC预估流量。 -百度移动权重 百度移动权重。 -百度移动关键词数 百度移动关键词数。 -百度移动预估流量 百度移动预估流量。 -360PC权重 360PC权重。 -360PC关键词数 360PC关键词数。 -360PC预估流量 360PC预估流量。 -360移动权重 360移动权重。 -360移动关键词数 360移动关键词数。 -360移动预估流量 360移动预估流量。 -神马权重 神马权重。 -神马关键词数 神马关键词数。 -神马预估流量 神马预估流量。
  • IP查询 根据IP或域名返回IP所属区域和运营商。 输入参数 输入参数说明如表2所示。 表2 IP查询输入参数说明 参数 必填 说明 获取的ip或域名 是 获取的IP或域名。 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参见表3。 表3 IP查询输出参数说明 参数 说明 状态码 状态码。 状态说明 状态说明。 Result 返回结果。 -ip IP地址。 -所在国家 所在国家。 -所在省份、州 所在省份、州。 -所在的城市 所在的城市。 -运营商 运营商。
  • 公共卡片模板界面介绍 公共卡片模板是为用户提供具有业务属性的模板,方便用户基于这些模板快速创建卡片。 公共卡片模板包含我的模板和预置模板。我的模板是用户自定义创建的卡片模板,仅用户自己使用。预置模板为系统预置的卡片模板,所有用户均可以使用。 我的模板界面,展示我的模板信息,可以编辑(或更新)、预览、下载、删除我的模板、查看我的模板详情,也可以通过关键字搜索我的模板,刷新我的私有模板列表,切换我的卡片显示形式。 :以卡片形式展示。默认以卡片形式展示。 :以列表形式展示。 预置模板界面,展示预置模板信息,可以预览预置模板及查看预置模板详情,也可以通过关键字搜索预置模板,刷新预置模板列表,切换预置模板显示形式。 :以卡片形式展示。默认以卡片形式展示。 :以列表形式展示。 父主题: 公共卡片模板
  • 前提条件 已有通过实名认证的华为企业账号或IAM用户。 已开通MSSI服务。 如何开通MSSI服务,请参考开通并购买MSSI服务。 使用API接口创建流指导用户快速将API接口封装为连接器,进行流编排。这里以“通过邮件将IP地址查询结果发送到个人”为例。 用户将IP地址查询能力接口封装为连接器,其余连接器使用系统预置的公共连接器。 操作流程,如图1所示。 图1 操作流程图 父主题: 使用API接口创建流
  • 操作步骤 进入购买性能测试套餐页面。 设置以下信息。 表1 PerfTest套餐参数说明 参数 说明 服务版本 根据需求选择专业版或者企业版。两者的区别请参见服务版本及介绍。 区域 选择“区域”。 不同的区域之间套餐包不互通,每个区域需分别购买。 企业项目 该参数针对企业用户使用。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 计费模式 “专业版”只支持“按需套餐包”。 “企业版”支持“按需套餐包”和“包周期套餐包”。 峰值并发 执行压测任务支持的最大并发用户数。 VUM额度 仅在“计费模式”为“按需套餐包”时涉及。资源包生效期间,优先扣除资源包额度内的资源使用,超出部分以按量付费的方式进行结算。 VUM是PerfTest的计费单位,VUM = VU(虚拟并发用户数)* M(分钟)。 专业版默认为“1万”。企业版默认为“100万”。 有效期 仅在“计费模式”为“按需套餐包”时涉及。 默认为“一年”。 套餐包到期后,未使用的VUM会被清零。 包周期时长 仅在“计费模式”为“包周期套餐包”时涉及。 选择需要包周期的时长。 单击“立即购买”,进入订单确认页面。 确认订单无误后,单击“去支付”,支付订单。
  • 请求消息 请求参数 无。 请求示例 GET https://bss.myhuaweicloud.com/v2/enterprises/multi-accounts/sub-customers?offset=0&limit=10&sub_customer_account_name=d_2035&sub_customer_display_name=m&fuzzy_query=1&org_id=65419 HTTP/1.1 Content-Type: application/json X-Auth-Token:MIIPAgYJKoZIhvcNAQcCo...ggg1BBIINPXsidG9rZ
  • URI GET /v2/enterprises/multi-accounts/sub-customers 参数说明请参见下表。 表1 查询参数 参数 是否必选 参数类型 取值范围 描述 sub_customer_account_name 否 String 最大长度:64 企业子账号的账号名。 根据fuzzy_query取值决定是否按模糊查询。仅支持前缀匹配、后缀匹配、中间匹配;不支持携带空格查询。 此参数不携带或携带值为空时,不作为筛选条件;携带值为空串时,作为筛选条件。 sub_customer_display_name 否 String 最大长度:64 企业子账号的显示名称。 根据fuzzy_query取值决定是否按模糊查询。仅支持前缀匹配、后缀匹配、中间匹配;不支持携带空格查询。 说明: 如果包含中文或者特殊字符,请使用encodeURIComponent进行编码处理。 此参数不携带或携带值为空时,不作为筛选条件;携带值为空串时,作为筛选条件。 fuzzy_query 否 Integer - 企业子账号的显示名称、用户名是否按模糊查询。默认值为“0:不按模糊查询”。 0:不按模糊查询 1:按模糊查询 offset 否 Integer [0-最大整数] 偏移量,从0开始,默认值为0。 说明: offset用于分页处理,如不涉及分页,请使用默认值0。offset表示相对于满足条件的第一个数据的偏移量。如offset = 1,则返回满足条件的第二个数据至最后一个数据。 示例1,满足查询条件的结果共10条数据,limit取值为10,offset取值为1,则返回的数据为2~10,第一条数据不返回。 示例2,查询总数20条,期望每页返回10条数据,则获取第一页数据,入参offset填写0,limit填写10;获取第二页数据,入参offset填写10,limit填写10。 limit 否 Integer [1-100] 每次查询记录数,默认值为10。 org_id 否 String 最大长度:20 子账号归属的组织单元ID。 此参数不携带或携带值为空时,不作为筛选条件。
  • 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL, 结果是 NULL, 否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。 如果所有的参数是整型数字,参数都被解释为长整型。 如果所有的参数是数值且至少一个参数是double,则参数都被解释为double。
  • 示例及说明 GREATEST([expr1, ...])/ LEAST([expr1, ...])函数 GREATEST函数,计算零个或多个表达式,并根据上述比较返回最大值。 LEAST函数,计算零个或多个表达式,并根据上述比较返回最小值。 字段样例 Num: 11785730 查询和分析语句 select Num,GREATEST( "Num"/10,(select count(1)) ),LEAST("Num"/10,(select count(1))) 查询和分析结果 表1 归约函数查询和分析结果 Num EXPR$1 EXPR$2 11785730 1178573 1
  • 示例 有两个表,access表示主机的接入指标包含路径,时延,状态码,host为主机指标包含cpu和内存。通过JOIN可以关联接入和主机指标,查看相同主机的不同维度的指标情况。 LEFT JOIN 查询语句 SELECT "access".__time, "access".host_ip, "access".cost , "host".cpu, "host".memory FROM log "access" LEFT JOIN (select memory,cpu,host_ip from log) host ON "access".host_ip = "host".host_ip 返回结果,总共60条数据。 RIGHT JOIN 查询语句 SELECT "access".__time, "host".host_ip, "access".cost , "host".cpu, "host".memory FROM log "access" RIGHT JOIN (select memory,cpu,host_ip from log) host ON "access".host_ip = "host".host_ip 返回结果,总共60条数据。 INNER JOIN 查询语句 SELECT "access".__time, "host".host_ip, "access".cost , "host".cpu, "host".memory FROM log "access" INNER JOIN (select memory,cpu,host_ip from log) host ON "access".host_ip = "host".host_ip 返回结果,总共45条数据。
  • 语法 select key from t1 LEFT|RIGHT|INNER JOIN t2 on t1.key=t2.key 当前日志服务支持LEFT JOIN、RIGHT JOIN和INNER JOIN三种JOIN子句方式。具体功能如下: 表1 JOIN方式 说明 LEFT JOIN 以左表(t1)的结果为基础,关联右表(t2)数据。 说明: 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。 说明: 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 INNER JOIN 两个表的结果(elb1,elb2)交集数据
  • 数据湖准备 在本示例中,选择数据仓库服务(DWS)服务作为数据湖。 创建DWS集群的具体操作请参见创建集群。为确保DWS集群与DataArts Studio实例网络互通,DWS集群需满足如下要求: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保DWS集群与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 创建DWS集群后,您需要在管理中心创建DWS连接,然后通过数据开发组件新建数据库、数据库模式,再执行SQL来创建DWS表。操作步骤如下: 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 图1 选择管理中心 在“数据连接”页面,单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中,配置数据连接参数,完成配置后,单击“确定”完成数据连接的创建。参数配置如图3所示。 数据连接类型:数据仓库服务(DWS) 数据连接名称:dws_link 手动:关闭“手动”,“IP”和“端口”不需要手动填写。 集群名:选择所创建的DWS集群。 用户名:数据库的用户名,创建DWS集群时指定的用户名,默认为dbadmin。 密码:数据库的访问密码,创建DWS集群时指定的密码。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥,请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent:需选择一个数据集成集群作为连接代理,该集群和DWS集群必须网络互通。本示例可选择创建DataArts Studio实例时自动创建的数据集成集群。 图3 DWS连接配置参数 DWS连接创建完成后,跳转到数据开发页面。 图4 跳转到数据开发页面 创建DWS数据库和数据库模式。 在数据开发界面,在DWS连接上右键单击,选择“新建数据库”,创建一个数据库用于存放数据表,数据库名称为“demo”。 图5 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级,然后再右键单击,选择“新建模式”,创建数据库模式用于存放数据表,数据库模式名称为“dgc”。 图6 创建数据库模式 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图7 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,并点击“运行”来创建数据表。其中,movies_item、ratings_item为原始数据表,具体数据将在之后通过CDM由OBS迁移到表中;top_rating_movie和top_active_movie为结果表,用于存放分析结果。 SET SEARCH_PATH TO dgc; CREATE TABLE IF NOT EXISTS movies_item( movieId INT, movieTitle VARCHAR, videoReleaseDate VARCHAR, IMDbURL VARCHAR, unknown INT, Action INT, Adventure INT, Animation INT, Childrens INT, Comedy INT, Crime INT, Documentary INT, Drama INT, Fantasy INT, FilmNoir INT, Horror INT, Musical INT, Mystery INT, Romance INT, SciFi INT, Thriller INT, War INT, Western INT ); CREATE TABLE IF NOT EXISTS ratings_item( userId INT, movieId INT, rating INT, timestamp VARCHAR ); CREATE TABLE IF NOT EXISTS top_rating_movie( movieTitle VARCHAR, avg_rating float, rating_user_number int ); CREATE TABLE IF NOT EXISTS top_active_movie( movieTitle VARCHAR, avg_rating float, rating_user_number int ); 图8 创建数据表 关键参数说明: 数据连接:步骤3中创建的DWS数据连接。 数据库:步骤5中创建的数据库。 脚本运行成功后,可以通过如下脚本检查数据表是否创建成功。确认数据表创建成功后,该脚本后续无需使用,可直接关闭。 SELECT * FROM pg_tables;
  • 作业开发 在DataArts Studio数据开发控制台的左侧导航栏中,单击“作业开发”,然后右键单击“作业”选择菜单“新建目录”,在目录树下根据需要创建作业目录,例如“transport”。 右键单击作业目录,在弹出菜单中单击“新建作业”。 图6 作业 在弹出弹框中输入“作业名称”如demo_taxi_trip_data,“作业类型”选择“批处理”,其他参数保留默认值,单击“确定”完成批作业创建。 图7 新建批处理作业 如下图所示,编排批作业。 图8 编排作业 每个节点配置如下: source_sdi节点:为CDM Job节点,通过CDM节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3:数据集成中的集群和迁移作业(图中仅为示例,以实际集群名和迁移作业名为准)。 图9 source_sdi节点属性 demo_etl_sdi_dwi节点:为MRS Hive SQL节点,用于清洗过滤SDI贴源层上原始表中的数据,将合法数据写入数据架构中DWI层标准出行数据表dwi_taxi_trip_data中。其中,“SQL脚本”请选择在脚本开发中创建的脚本demo_etl_sdi_dwi。 图10 demo_etl_sdi_dwi节点属性 dwi数据监控节点:为Data Quality Monitor节点,用于监控DWI层的标准出行数据的质量。其中,“数据质量规则名称”请选择发布DWI层标准出行数据表时自动生成的质量规则“标准出行数据”。 图11 dwi数据监控节点 demo_etl_dwi_dwr_fact节点:为MRS Hive SQL节点,用于将DWI上的原始数据写入DWR层的事实表fact_stroke_order中。其中,“SQL脚本”请选择在脚本开发中创建的脚本demo_etl_dwi_dwr_fact。 图12 demo_etl_dwi_dwr_fact节点属性 码表维度数据填充节点:为MRS Hive SQL节点,用于将付款方式、费率代码和供应商的集成数据写入DWR层相应的维度表中。其中,“SQL脚本”请选择在脚本开发中创建的脚本demo_taxi_dim_data。 图13 码表维度数据填充节点属性 等待节点:不做任何事情,等待前面的节点运行结束。 图14 等待节点 按付款方式汇总统计节点:为MRS Hive SQL节点,按付款方式维度统计汇总截止到当前日期的收入。该节点是从发布汇总表“付款方式统计汇总”时自动生成的数据开发作业(作业名称以demo_dm_db_dws_payment_type_开头,命名规则为“数据库名称_汇总表编码”)中拷贝的,拷贝节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图15 按付款方式汇总统计节点属性 按费率汇总统计节点:为MRS Hive SQL节点,按费率代码维度统计汇总截止到当前日期的收入。该节点是从发布汇总表“费率统计汇总”时自动生成的数据开发作业(作业名称以demo_dm_db_dws_rate_code_开头,命名规则为“数据库名称_汇总表编码”)中拷贝的,拷贝节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 图16 按费率汇总统计节点属性 按供应商汇总统计节点:为MRS Hive SQL节点,按供应商维度统计汇总截止到当前日期各时间维度的收入。该节点是从发布汇总表“供应商统计汇总”时自动生成的数据开发作业(作业名称以demo_dm_db_dws_vendor_开头,命名规则为“数据库名称_汇总表编码”)中拷贝的,拷贝节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 图17 按供应商汇总统计节点属性 Dummy_finish节点:不做任何事情,作为作业结束的标记。 图18 Dummy_finish节点 作业编排好之后,您可以通过测试运行来测试作业编排是否正确。 您可以根据需要,配置作业的调度方式。单击右侧“调度配置”页签,展开配置页面。当前支持单次调度、周期调度和事件驱动调度作业。 图19 配置作业的调度方式 调度配置完成后,您需要单击“保存”按钮保存作业并单击“提交”按钮提交作业版本。然后单击“执行调度”来启动作业的调度。 图20 保存并提交作业与执行调度
  • 示例 Redis表用于与输入流连接。 CREATE TABLE table_a (attr1 string, attr2 string, attr3 string) WITH ( type = "dcs_redis", value_type = "hash", key_column = "attr1", hash_key_column = "attr2", cluster_address = "192.168.1.238:6379", password = "xxxxxxxx" );
  • 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dcs_redis表示输出到分布式缓存服务的Redis存储系统中。 cluster_address 是 Redis实例连接地址。 password 否 Redis实例连接密码,当设置为免密访问时,省略该配置项。 value_type 是 指定数据类型。支持的数据类型包括:string, list, hash, set, zset。 key_column 是 指定代表Redis key属性的列名。 hash_key_column 否 当value_type设置为hash时,需要指定本字段作为第二级key属性的列名。 cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。
  • 注意事项 不支持Redis集群。 请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例请参考《分布式缓存服务用户指南》。 该场景作业需要运行在DLI的独享队列上,因此要与DCS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
  • 语法格式 1 2 3 4 5 6 CREATE TABLE table_id (key_attr_name STRING(, hash_key_attr_name STRING)?, value_attr_name STRING) WITH ( type = "dcs_redis", cluster_address = ""(,password = "")?, value_type= "", key_column= ""(,hash_key_column="")?);
  • 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,es表示输出到云搜索服务中。 region 是 数据所在的云搜索服务所在区域。 cluster_address 是 云搜索服务集群的内网访问地址,例如:x.x.x.x:x,多个地址时以逗号分隔。 es_index 是 待插入数据的索引,支持参数化。对应CSS服务中的index。 具体请参考《云搜索服务产品介绍》。 es_type 是 待插入数据的文档类型,支持参数化。对应CSS服务中的type。 具体请参考《云搜索服务产品介绍》。 若使用的es版本为6.x,则该值不能以"_"开头。 若使用的es版本为7.x,如果提前预置CSS服务中的type,则es_type需为"_doc",否则可为符合CSS规范的值。 es_fields 是 待插入数据字段的key,具体形式如:"id,f1,f2,f3,f4",并且保证与sink中数据列一一对应;如果不使用key,而是采用随机的属性字段,则无需使用id关键字,具体形式如:"f1,f2,f3,f4,f5"。对应CSS服务中的filed。 具体请参考《云搜索服务产品介绍》。 batch_insert_data_num 是 表示一次性批量写入的数据量,值必须为正整数,单位为:条。上限为65536,默认值为10。 action 否 当值为add时,表示遇到相同id时,数据被强制覆盖,当值为upsert时,表示遇到相同id时,更新数据(选择upsert时,es_fields字段中必须指定id),默认值为add。 enable_output_null 否 使用该参数来配置是否输出空字段。当该参数为true表示输出空字段(值为null),若为false表示不输出空字段。默认为false。 max_record_num_cache 否 记录最大缓存数。 es_certificate_name 否 跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。
  • 示例 将流qualified_cars的数据输出到云搜索服务的集群。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATE SINK STREAM qualified_cars ( car_id STRING, car_owner STRING, car_age INT, average_speed INT, total_miles INT ) WITH ( type = "es", region = "xxx", cluster_address = "192.168.0.212:9200", es_index = "car", es_type = "information", es_fields = "id,owner,age,speed,miles", batch_insert_data_num = "10" );
  • 语法格式 1 2 3 4 5 6 7 8 9 10 CREATE SINK STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* ) WITH ( type = "es", region = "", cluster_address = "", es_index = "", es_type= "", es_fields= "", batch_insert_data_num= "" );
共100000条