华为云用户手册

  • 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 在“数据管理”页签找到待发布的数据名称,单击“发布”,弹出发布数据集选择框。 图3 发布数据 在发布数据集选择框中选择需要发布的合作方,单击“发布”,数据就会被同步到对应合作方作业管理的数据集中。数据集创建者默认拥有数据集权限。 图4 发布数据集 如果需要取消合作方的访问权限,需要重新发布数据集,单击“发布”并去勾选该合作方,单击“确认”。 图5 取消数据集权限
  • 查看空间详情 空间发起人登录TICS控制台。 进入TICS控制台后,单击页面左侧“空间管理”,进入空间管理页面。 在“空间管理”页打开“我参与的空间”页签,单击“空间名称”进入详情页。 查看空间统计信息 在详情页下方单击“空间概览”页签查看空间统计信息,该统计信息不是实时的,当前只显示统计到前一天的数据。 图1 空间统计信息 查看空间的合作方列表 在详情页下方单击“合作方管理”页签查看空间的合作方列表。 图2 合作方列表 查看空间的合作方数据 在详情页下方单击“合作方数据”页签查看注册到空间的合作方数据列表。 图3 合作方数据 查看可信计算环境 在详情页下方单击“可信计算环境”页签查看注册到空间的可信节点列表。 图4 可信计算环境
  • 修改空间配置 支持用户在空间详情页修改“空间描述信息”、“隐私保护等级”开关、“结果差分隐私”开关。其中“作业联合审批”开关、“隐私保护等级”开关、“结果差分隐私”开关只有空间创建者可以修改。 隐私保护等级:高级别时,默认启用高安全性的隐私计算的算法保障计算过程的安全,例如秘密分享加密、PSI等,但可能会影响性能以及部分作业正常执行。低级别时,使用国际标准的对称和非对称加密结合方式,在安全沙箱内进行解密计算。性能和灵活度较高。 结果差分隐私:开启时,使用差分隐私算法对多方安全计算作业的执行结果添加隐私保护,避免历史差分攻击。使用该功能会在计算节点发布数据集时将数据集信息的取值范围、频度进行统计,并同步到TICS中心节点。若需要已发布数据集支持差分隐私功能,需要通知所有合作方重新发布数据集。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“空间管理”,进入空间管理页面。 在“空间管理”页打开“我创建的空间”页签,单击“空间名称”进入详情页,查看详情并修改空间配置。 图5 修改描述信息
  • 查看空间操作记录 TICS提供透明的空间操作记录。空间的创建、部署、删除、升级回滚操作都会被详细记录。 在详情中,操作进程以可视化的方式展示,清晰展示空间的部署、升级、回滚、删除步骤,在出现问题时便于分析排查。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“空间管理”,进入空间管理页面。 单击页面右上角的“操作记录”按钮,查看操作记录。 图8 入口 单击“查看详情”,可查看空间操作的具体信息。 图9 查看详情 操作详情以可视化的形式展示,使操作进程更直观、更清晰。 图10 可视化页面
  • 在计算节点侧查看作业计算过程和作业报告 用户登录进入计算节点页面。 在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图6 在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果。 查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图2 空间侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图3 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 创建文件 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 进入计算节点管理界面后,选择左侧“文件管理”,单击“创建”。 图3 创建文件 在弹出的页面上,选择要上传的文件类型,填写文件相关信息,添加文件并上传,单击“确定”。 部署计算节点时“存储挂载方式”选择“主机挂载”,那么文件将放置在“主机路径/uploadfiles”文件夹下; 部署计算节点时“存储挂载方式”选择“OBS挂载”,那么文件将放置在对应OBS桶“/uploadfiles”文件夹下。 单次上传文件时默认限制最大50MB,“/uploadfiles”文件夹大小默认限制最大500MB。如需修改请参考修改上传文件和文件夹大小限制。 图4 上传文件
  • 删除文件 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图5 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图6 前往计算节点 进入计算节点管理界面后,选择左侧“文件管理”,勾选需要删除的文件,单击“批量删除”。 图7 删除文件 删除操作无法撤销,请谨慎操作。 单击“确定”。
  • 前提条件 计算节点处于运行中,且所在空间信息的“认证状态”为“已认证”。 建议使用者提前了解MapReduce服务(MRS Hive)集群。 “连接器类型”选择MapReduce服务(MRS Hive)时,选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名,需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。
  • 创建连接器 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 登录成功后,进入到计算节点界面,选择左侧导航栏中“连接器管理”,单击“创建”,在弹出的界面配置创建连接器的参数,配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器(以RDS服务为例) 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连接时,需要选择Hive版本,当前仅支持MRS2.x和MRS3.x版本,选择的MRS集群需与当前计算节点部署CCE或IEF(非云上IEF节点不支持接入Hive)在同一VPC。“用户名”为MRS集群中拥有Hive权限的集群用户,“用户认证凭据”需要上传对应用户的认证凭据,MRS2.x版本请在MapReduce服务的下载用户认证文件中获取,MRS3.x版本请在导出认证凭据文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。驱动类名com.mysql.cj.jdbc.Driver,仅支持mysql-connector-java-5.x以后的版本,驱动文件请在Mysql驱动下载地址中获取。 “连接器类型” 选择DWS连接时,填写的用户名,需具有数据库的读写权限(参考权限管理)。“密码”为该用户登录DWS实例的密码。 “连接器类型” 选择ORACLE连接时,需保证计算节点与数据库的连通性,当前仅支持ORACLE 12c和19c版本。驱动文件需与目标ORACLE数据库版本一致,请在ORACLE驱动下载地址中获取。 “连接器类型” 选择API连接时,需保证计算节点与api接口的连通性,当前仅支持基础认证方式。 连接器名称 根据实际情况设置即可。 数据库版本 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置即可。 数据库名称 “连接器类型”选择ORACLE时,呈现此参数。根据实际情况设置即可。 数据库服务器 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 端口 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 实例名称 “连接器类型”选择RDS或DWS服务时,呈现此参数。下拉选择实例即可。 数据库 “连接器类型”选择DWS服务时,呈现此参数。可手动输入DWS服务里面购买的数据库名称。 用户名 用户根据实际情况设置。 密码 用户根据实际情况设置。 驱动类名 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置,注意驱动类名com.mysql.cj.jdbc.Driver仅支持mysql-connector-java-5.x以后的版本。 JDBC URL “连接器类型”选择MySql时,呈现此参数。JDBC访问端口。取值样例:198.0.0.1:3306。 驱动文件 “连接器类型”选择MySql和ORACLE时,呈现此参数。JDBC驱动。 其他属性 “连接器类型”选择MySql时,呈现此参数。用户根据实际情况设置任务所需的Key和Value。
  • 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果。 查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图2 空间侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图3 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 在计算节点侧查看作业计算过程和作业报告 用户登录进入计算节点页面。 在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图6 在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 删除计算节点 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在计算节点管理界面查找需要删除的计算节点,单击“删除”。 删除操作无法撤销,请谨慎操作。 计算节点的状态长时间为“启动中”,建议删除计算节点,重新部署。部署时请仔细检查参数配置,包括导入的空间信息、AK、SK、计算节点密钥、CA证书。 请避免在CCE侧执行直接删除负载和节点的操作。 图10 删除计算节点
  • 切换计算节点状态 用户需要计算节点短暂脱离空间,一段时间内不想被其他参与方使用自己的数据时,可以手动触发计算节点下线。即“计算节点状态”为“在线”时,触发单击下线,计算节点会切换成离线状态,180秒后空间其他参与方无法使用该计算节点已发布的数据集运行作业。 用户想要加入空间,想被其他参与方使用自己的数据时,可以手动触发计算节点上线。即“计算节点状态”为“离线”时,触发单击上线,计算节点会切换成上线状态,90秒后,空间其他参与方可以使用该计算节点已发布的数据集运行作业。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图5 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图6 前往计算节点 在左侧导航树上单击“基本信息”,在“基本信息”页面找到“计算节点状态”部分,触发计算节点状态切换操作。 图7 单击切换状态
  • 退购计算节点 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在计算节点管理界面查找需要退购的计算节点,单击“更多”下拉找到“退购”。 退购操作在资源退订确认之前可以撤销,请谨慎操作。 单击退购按钮之后,会跳出弹窗,显示计算节点新建的依赖资源,用户可以选择删除,删除前,请查看对应的提示信息,确保删除的成功。 在删除依赖资源确认之后,会跳转删除资源确认页面,删除操作无法撤销,请谨慎操作。 直接在CCE侧退购负载和节点,会影响系统运行,请避免此类操作。 图11 退购计算节点 图12 退购计算节点资源确认页面 图13 删除依赖资源确认弹窗
  • 查看计算节点操作记录 用户可在操作记录页面查看计算节点版本创建、升级、删除及回滚操作详情。在详情中,操作进程以可视化的方式展示,清晰展示计算节点的部署、升级、回滚、删除步骤,在出现问题时便于分析排查。 用户登录TICS控制台。 进入TICS控制台。单击页面左侧“计算节点管理”,进入“计算节点管理”页面。 单击页面右上角的“操作记录”按钮,查看操作记录。 图14 入口 单击“查看详情”,查看计算节点操作的具体信息。 图15 查看详情 操作详情以可视化的形式展示,使操作进程更直观、更清晰。 图16 操作可视化显示
  • 计算节点升级 用户可在空间特性升级后,对已有的计算节点进行版本升级,体验最新功能特性与安全保障。 用户登录TICS控制台。 在计算节点管理界面查找需要升级的计算节点,单击“升级”。查看升级版本介绍,并在弹出框勾选“确认已经与空间其他参与方达成共识”,单击“确定”,开始计算节点升级。 空间进行特性版本升级后,计算节点才可升级至最新特性版本。 更新计算节点期间会导致服务不可用,如果有其他参与方正在使用该计算节点的数据集,请联系达成共识后再操作。 “计算节点升级”默认升级到空间版本兼容的最新计算节点版本,无中间版本选择。 图1 升级
  • 约束限制 只有空间有新版本或者空间升级失败时,才能再次进行空间升级。 删除中的空间无法进行空间升级。 空间升级过程中会导致空间的不可用。 升级过程的相关操作记录将会保存。 由于1.20.0版本架构变化,如果需要跨1.20.0版本升级,则需要联系客服或技术支持人员,先刷新后台数据库,再通过TICS控制台进行空间升级。 如果未刷新数据库,直接通过TICS控制台将TICS 1.20.0之前版本升级到1.20.0及后续版本,则会导致升级后业务功能故障、且无法回滚。
  • 在空间侧查看作业计算过程和作业报告 用户登录TICS控制台。 在左侧导航树上单击“空间作业”,打开“空间作业”页面。 在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果。 查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图2 空间侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图3 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 在计算节点侧查看作业计算过程和作业报告 用户登录进入计算节点页面。 在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击“下载结果”。若作业提示已过期,则表明权限已过期,无法下载结果,需重新提交审批。 弹窗中输入自定义属性,没有则不填,单击确定即可通过浏览器下载文件。 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图6 在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准)
  • 创建非结构化数据集 创建数据集前需存在已创建好的连接器,参考创建连接器。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图3 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图4 前往计算节点 选择界面左侧“数据管理”,单击“创建”,在弹出的界面选择本地连接器(localConnector),选择“非结构化”任务类型,配置创建数据的参数,配置完成后单击“确定”。 配置非结构化数据集需注意: 选择数据文件:数据文件仅支持csv文件和数据目录两种形式。选择数据目录时,必须保证目录下至少包含一个csv文件,且所有csv文件的特征数保持一致。 非结构化数据是指数据结构属性不规则、不完整的数据,例如二进制文件、图片等。
  • 创建api数据集 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图5 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图6 前往计算节点 选择界面左侧“数据管理”,单击“创建”,在弹出的界面选择API类型连接器,配置创建数据的参数,配置完成后单击“确定”。 图7 创建数据 API数据集配置的外部数据源需满足如下要求: 请求方式为GET或POST 由查询条件可以查出对应一条或多条数据 当配置隐匿查询作业的外部数据源时,接口需支持模糊查询id经过sha256转换后的值。 类似MySQL中的如下语句,其中x为查询的具体值。 select * from table where SHA2(id,256) like 'x%' ; 返回json格式数组: [{"id":"7748076420210162913","x0":"3232","x1":15,"x2":16}, {"id":"7748076420210162912","x0":"3232","x1":105,"x2":106}, {"id":"3","x0":"3232","x1":115,"x2":116}]
  • 批量删除数据集 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图8 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图9 前往计算节点 选择界面左侧“数据管理”,勾选需要删除的数据集,单击“批量删除”。 图10 批量删除
  • 使用场景 连接器使用场景:参与方的数据信息分布在不同的资源服务上,即可通过连接器管理功能来快速连接到名下的各类资源服务。 数据创建使用场景:参与方加入空间后,需要提供自己的数据集信息,用户即可通过数据创建功能,获取到名下详细的资源列表。同时,有敏感信息的数据,还可以单独设置隐私策略,并在发布到空间侧后对其他参与方生效,限制敏感信息的使用。 数据预处理使用场景:训练机器学习模型前,可通过转换函数将特征数据转换成更加适合算法模型的特征数据。
  • 约束限制 只有空间升级失败或者回滚失败,才能进行回滚。 删除中的空间无法进行空间回滚。 空间回滚的过程中会导致空间的不可用。 回滚过程的相关操作记录将会保存。 由于1.20.0版本架构变化,如果需要跨1.20.0版本回滚,则需要联系客服或技术支持人员,先刷新后台数据库,再通过TICS控制台进行空间回滚。 如果未刷新数据库,直接通过TICS控制台将TICS 1.20.0及后续版本回滚到1.20.0之前版本,则会导致回滚后业务功能故障。
  • 下载计算节点配置信息 下载计算节点配置相关的信息,下载的信息可在部署计算节点的时候导入。“计算节点配置”代表“部署计算节点”属于哪个空间,用户输入的数据就会在哪个空间中参与计算。 配置信息包含证书,用于计算节点之间通信双向认证。证书保证了空间下的用户,部署的计算节点能够数据交互,参与计算。同时,也隔离了不同空间之间的数据访问。 合作方登录TICS控制台。进入TICS控制台后,单击页面左侧“通知管理”,进入通知管理页面。 浏览通知信息,单击“下载计算节点配置”,得到agentConfig.zip文件,解压到本地。 图1 下载计算节点配置
  • 发布数据 空间成员登录TICS控制台。进入TICS控制台后,单击页面左侧“计算节点管理”,进入“计算节点管理”页面。 在“计算节点管理”页,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 登录成功后,进入到计算节点界面,选择左侧导航栏中“连接器管理”,单击“创建”,在弹出的界面配置创建连接器的参数,配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器(以RDS服务为例) 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连接时,需要选择Hive版本,当前仅支持MRS2.x和MRS3.x版本,选择的MRS集群需与当前计算节点部署CCE或IEF(非云上IEF节点不支持接入Hive)在同一VPC。“用户名”为MRS集群中拥有Hive权限的集群用户,“用户认证凭据”需要上传对应用户的认证凭据,MRS2.x版本请在MapReduce服务的下载用户认证文件中获取,MRS3.x版本请在导出认证凭据文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。驱动类名com.mysql.cj.jdbc.Driver,仅支持mysql-connector-java-5.x以后的版本,驱动文件请在Mysql驱动下载地址中获取。 “连接器类型” 选择DWS连接时,填写的用户名,需具有数据库的读写权限(参考权限管理)。“密码”为该用户登录DWS实例的密码。 “连接器类型” 选择ORACLE连接时,需保证计算节点与数据库的连通性,当前仅支持ORACLE 12c和19c版本。驱动文件需与目标ORACLE数据库版本一致,请在ORACLE驱动下载地址中获取。 “连接器类型” 选择API连接时,需保证计算节点与api接口的连通性,当前仅支持基础认证方式。 连接器名称 根据实际情况设置即可。 数据库版本 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置即可。 数据库名称 “连接器类型”选择ORACLE时,呈现此参数。根据实际情况设置即可。 数据库服务器 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 端口 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 实例名称 “连接器类型”选择RDS或DWS服务时,呈现此参数。下拉选择实例即可。 数据库 “连接器类型”选择DWS服务时,呈现此参数。可手动输入DWS服务里面购买的数据库名称。 用户名 用户根据实际情况设置。 密码 用户根据实际情况设置。 驱动类名 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置,注意驱动类名com.mysql.cj.jdbc.Driver仅支持mysql-connector-java-5.x以后的版本。 JDBC URL “连接器类型”选择MySql时,呈现此参数。JDBC访问端口。取值样例:198.0.0.1:3306。 驱动文件 “连接器类型”选择MySql和ORACLE时,呈现此参数。JDBC驱动。 其他属性 “连接器类型”选择MySql时,呈现此参数。用户根据实际情况设置任务所需的Key和Value。 选择界面左侧“数据管理”,单击“创建”,在弹出的界面配置创建数据的参数,配置完成后单击“确定”。 配置数据参数时,若“连接器”为Hive、MySQL、RDS、DWS、ORACLE类型时,可对字段信息进行隐私策略的配置: 字段类别: 唯一标识:指用于标识某个事物实体身份的字段。例如身份证、工号、公司代码等。勾选后,会通过一定的语法限制和运行期校验,保护数据集内的id总集,确保无法被恶意逆推。 敏感:指会参与统计、计算的敏感数据。例如薪水、纳税、用电量。勾选后,其他参与方只能使用敏感数据进行不可逆推的四则运算、聚合计算(sum/avg/variance)、条件过滤(where)。TICS会保护唯一标识和敏感数据不被成对地明文泄露,同时会对敏感数据的求和计算添加差分噪声,以保护敏感数据不被泄露。 非敏感:指不参与数值分析,也和唯一身份无关的数据。例如等级、公司类型。 脱敏:勾选后,会对数据进行脱敏。 在“数据管理”页签找到待发布的数据名称,单击“发布”,数据就会被同步到作业管理的数据集中。 编辑完成后,需再次发布,变更才会生效。
  • 使用TICS的用户角色 根据人员的职能进行划分,使用TICS的用户主要可以分为以下两类。 组织方 面向熟悉业务并具有管理、决策、审核权限的管理人员。组织方具有TICS的所有权限,包括创建空间、邀请空间成员、删除空间等权限。例如,在创建空间模块中,组织方可以对合作方人员发布的数据进行审核,把好质量关。 合作方 合作方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密、水印)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。
  • 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接。 图3 输入信息 建立完成后,连接器显示正常说明连接正常。 图4 连接正常 进入数据管理,进行数据集发布。 图5 新建数据管理 填写参数信息。 图6 填写参数 重复步骤1~7,发布support资助金数据表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
  • 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support,在用户计算节点agent_gov上发布。 能源信息提供方的数据power,在用户计算节点agent_power上发布。 表1 企业税收和资助金情况表tax 列名 含义 字段分类 Id 企业id 唯一标识 tax_bal 税收 敏感 Industry 行业类型 不敏感 表2 企业政府资助金数据表support 列名 含义 字段分类 Id 企业id 唯一标识 supp_bal 资助金的金额 敏感 Industry 行业类型 不敏感 表3 企业水电情况表power 列名 含义 字段分类 Id 企业id 唯一标识 electric_bal 电费 敏感 water_bal 水费 敏感 从业务角度考虑,安排五个阶段,来对TICS系统进行验证和测试。本章重点讲述如何端到端实现一个该场景下的隐私计算作业完整执行流程。
共100000条