华为云用户手册

  • 配置中心 审核人管理 审核人必须是当前工作空间下具有审核权限的成员,需要先在“首页-空间管理”的工作空间内编辑并添加空间成员 图1 审核人管理1 图2 审核人管理2 在控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“规范设计”模块,进入规范设计页面 图3 审核人管理3 在在规范设计控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择“审核人管理”页签。 图4 审核人管理4 在“审核人管理”页面,单击“添加”按钮,在弹出的添加对话框中,选择要添加的审核人即可 图5 审核人管理5 根据需要,可以添加多个审核人。 图6 审核人管理6 功能配置 在功能配置页面,可根据用户具体的功能需求配置参数,然后单击“确定”。如果单击“重置”可恢复默认设置。 图7 功能配置 模型设计业务流程步骤:此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。 创建表:当规范设计中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。 同步技术资产:关系建模或维度建模中的表发布后,同步表到数据资产模块作为技术资产,同时同步标签到对应技术资产。 同步业务资产:同步逻辑模型到数据资产,作为业务资产,同时同步标签到对应业务资产。 资产关联:实现业务资产与技术资产的关联。业务资产与技术资产同步完成后,在数据资产模块中查看对应的业务资产或技术资产详情时,可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。 创建质量作业:当关系建模或维度建模中的表发布并通过审核后,对于关联数据标准(包含数据长度或允许值)或关联质量规则的表,系统将自动在数据质量模块中创建一个质量作业。 创建数据开发作业:汇总表发布后,自动生成端到端的全流程数据开发作业。 发布数据服务API:汇总表发布后,自动生成数据服务API,此功能仅当数据服务支持汇总表的数据连接时生效。 数据落库:码表维度发布后,会自动将码表的数值填入维度表中。 模型下线流程:选择当模型下线时,是否同步删除技术资产、业务资产、质量作业、数据开发作业。 数据表更新方式:当规范设计中的表在发布后进行了修改,是否同时更新数据库中的表。默认为“不更新”,但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新:不更新数据库中的表。 依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在规范设计控制台中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和规范设计中的表是一致的。 重建数据表:先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和规范设计中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 数据表不区分大小写:对于选中的连接类型,在发布相应类型的表时,同步技术资产时名称将不区分大小写,找到相同的即认为已存在。 业务表映射使用新版本:系统默认为新版本映射。新版本映射功能支持join等操作,推荐使用新版本映射。 汇总表自动汇聚:发布衍生指标或复合指标时,系统支持自动生成汇总表,一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。 数据标准是否重名:默认关闭,打开后数据标准可以重名。 信息架构页面表查询时,主题支持并列查询个数:默认为1个,暂不支持设置。 码表数据落库并行行数:码表维度发布后,设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时,会导致落库失败,可以适当调小该参数。 码表生成质量规则:下拉选择即可。当码表的数据量较小时,选择“枚举值校验”即可;否则选择字段一致性校验。 当多人或多个团队在同时使用这个功能时,要协调好功能配置项,否则会造成个别的操作失败。 模型配置 在模型设计过程中,设置维度(维度表)、事实表、汇总表的默认表编码前缀,通过以下页面进行配置。 父主题: 规范设计
  • 维度建模 维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。维度多数具有层级结构,如:时间维度(其中包括年度、季度、月度等级别的内容)。 单击左侧导航栏维度建模,进入维度建模页面,选择右边的新增,进入新增维度编辑页面。 图1 维度建模1 选择所属主题,填入基本信息,包括:维度名称、维度编码、维度类型、资产责任人。填入物化配置,包括:数据库连接类型、选择相应数据连接、数据库、Schema。最后添加的属性配置。单击发布,勾选自助审批。 图2 维度建模2 发布之后会将维度物化到数据库中,在维度表里可以查看。 事实表:归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。 单击“维度建模”,右侧选择事实表切换到事实表管理界面。 图3 事实表1 单击新建,进入事实表新建页面,选择所属主题,填入表名称、表编码、数据连接类型、数据库连接、Schema、资产责任人、存储方式及描述等;配置事实表添加维度字段。最后单击发布,勾选自助审批。 图4 事实表2 布后,在事实表中查看 汇总表的创建必须依赖衍生指标和复合指标,因此需要在技术指标添加完成之后才能进行汇总表的新建,将复合指标计算结果写入汇总表中。 单击规范设计左侧“维度建模”,切换到汇总表页面,单击新建,进入新增汇总表编辑页面。 图5 汇总表1 进入新增汇总表编辑页面。填入所属主题、表名称、表编码、统计维度选择客户类型、数据连接类型、数据源、数据库和、Schema、资产责任人。 图6 汇总表2 指标配置,单击添加,选择之前创建的衍生指标和复合指标。最后单击右下角的发布,勾选自助审批。 图7 汇总表3 查看汇总表,状态为发布状态。 数据集市是面向数据应用为出发点,一个数据集市可以支持多个相关的数据应用。数据集市的作用与指标汇总层类似,但服务的目标系统只是指标汇总层的一部分,因此集市比指标汇总层更面向应用和用户。 集市层与指标汇总层类似,也是采用维度建模方式,常见的有星座模型、雪花模型等,只需要按实际应用需要设计、开发即可。 设计步骤 图8 设计步骤 应用需求分析:这部分主要针对数据应用系统所需要的数据范围及指标来确定,因此是先分析数据应用系统的需求,再提炼数据集市的数据接口需求 目标表设计:即数据集市结果表设计,根据数据应用的需求进行数据表设计 数据源分析:主要分析数据仓库的数据如何满足集市的需要,即确定需要数据仓库的那些表数据,如果数据仓库没有,则需要数据仓库进行数据补充 数据仓库表与目标表字段进行映射,确定加工规则 验证数据并调整加工规则 实施步骤 根据设计好的目标表,创建DM层物理表 基于两张汇总表进行逻辑开发和字段映射 验证数据并配置调度作业,调度作业可以加在已有的作业中,也可以单独创建集市层作业,本次打样单独创建集市层作业。 父主题: 规范设计
  • 脚本开发 数据连接创建成功后,进行脚本开发,按照数仓分层规范和《数据湖开发规范》进行关系建模开发和维度建模开发。 创建spark sql脚本 在“脚本开发”功能下,在对应的脚本文件夹下创建spark sql脚本。 图1 脚本开发1 SQL脚本右上角配置数据连接和数据库 图2 脚本开发2 SQL脚本需要顶部添加作者和日期等脚本备注信息 图3 脚本开发3 脚本测试成功后,保存并提交版本,这样才能在调度作业中生效。 图4 脚本开发4 创建dws sql脚本 在“脚本开发”功能下,在对应的脚本文件夹下创建dws sql脚本。 图5 创建dws sql脚本1 SQL脚本右上角配置数据连接和数据库 图6 创建dws sql脚本2 SQL脚本需要顶部添加作者和日期等脚本备注信息 图7 创建dws sql脚本3 脚本测试成功后,保存并提交版本,这样才能在调度作业中生效。 图8 创建dws sql脚本4 父主题: 数据开发
  • 业务域L1和主题域L2定义 数据架构L1和L2明确了业务对象、逻辑实体、属性等信息的归属,实现各部门数据的归类。 L1为业务域,是描述部门数据管理的高层级分类。目前通常有两种业务域分类方式:基于数据自身特征边界进行分类和基于业务管理边界进行分类。为了强化部门的数据管理责任,更好地推进数据资产梳理、数据治理和数据应用建设,采用业务管理边界划分方式,即将L1业务域与业务职能相匹配。 L2为主题域,是互不重叠的数据分类,管辖一组密切相关的业务对象,通常同一个主题域有相同的数据Owner。 为统一全省数据架构分类,减少编目差异,标准规范《业务域与主题域管理》中已有的L1与L2明细,选取适用于本部门的目录进行后续业务对象L3的关联。 表1 业务域与主题域示例表 业务域 主题域 示例:内部运行管理 事项管理 运行管理 好差评 业务域:L1业务域以国办数据目录所属领域目录为基础,结合安徽省各部门业务实际情况,对业务域范围进行划分; 主题域:L2主题域参考各部门所管辖的业务范围与权责清单,对相同类别内容进行聚合,实现主题域的全省统一,方便后续业务对象的分类管理。 父主题: 数据架构规划设计
  • 属性L5设计和数据分级 属性设计方法 在梳理逻辑实体的过程中充分理解、分析业务规格。在设计属性过程中,业务流程和业务规则说明文档是很有参考价值的材料之一,是业务建模必须参考的主要依据。属性设计要考虑当前业务实际规划和未来业务变化而且要尽量详细,预留充分的时间对设计的属性进行检验(交叉检查,业务检查)。属性名称尽量要具有明确含义,便于理解并避免歧义。 数据分级方法 根据《数据分级管理规范》中的数据敏感级别定义,将数据敏感级别划分为四级,由低至高分别为:L1级、L2级、L3级、L4级;数据分级由各业务处室自主完成,并应细化到数据字段级,法律、法规另有规定的除外;数据资源定级应根据业务定级和字段定级的最高级来定级。 数据分级是依据对不同对象的影响范围和影响程度来定义级别,具体定义如下表所示。 表1 数据分级定义 影响程度 影响范围 影响对象 组织合法权益 个人合法权益 公共利益 国家安全 无影响 / L1 L1 N/A N/A 轻微 较小范围 L2 L2 N/A N/A 较大范围 L2 L3 L3 N/A 超大范围 L3 L3 L3 L4 一般 较小范围 L3 L3 N/A N/A 较大范围 L3 L4 L4 N/A 超大范围 L4 L4 L4 L4 严重 较小范围 L4 L4 N/A N/A 较大范围 L4 L4 L4 N/A 超大范围 L4 L4 L4 L4 如:数据泄露导致个人合法权益受到较大范围的一般影响,则该数据应定义为L4级数据。 数据分级流程 各部门业务专员根据数据分级要求,利用数据分级方法确定数据资源安全等级,并进行相应标识;部门数据专员将审批通过的数据分级清单挂接到一体化数据基础平台相应的数据资产目录下。 属性设计及数据分级模板如下表所示。 表2 业务属性表 业务域 主题域 业务对象 逻辑实体 业务属性 安全等级 - - - - - - 业务域:业务对象所属业务域; 主题域:业务对象所属主题域; 业务对象:是业务领域重要的人、事、物、地,承载了业务运作和管理涉及的重要信息; 逻辑实体:是具有一定逻辑关系的逻辑数据实体合; 业务属性:是描述所属业务对象的性质和特征,反映信息管理最小粒度; 安全等级:描述数据安全等级,参照数据分级。 样例一:企业开办业务属性 对企业开办业务进行分析,结合企业开办业务需求,明确各逻辑数据实体的相关属性,支撑后续数据管理需求,实现数据安全等级清晰明确。 表3 企业开办业务属性示例 业务域 主题域 业务对象 逻辑实体 业务属性 安全等级 市场监管 市场主体准入与退出 企业登记信息 企业基本信息 主体身份代码 L2级数据 市场监管 市场主体准入与退出 企业登记信息 企业基本信息 企业(机构)名称 L2级数据 市场监管 市场主体准入与退出 企业登记信息 企业基本信息 统一社会信用代码 L2级数据 样例二:国内结婚登记业务属性 对婚姻登记业务进行分析,结合婚姻登记业务需求,明确各逻辑数据实体的相关属性,支撑后续数据管理需求,实现数据安全等级清晰明确。 表4 国内结婚登记业务属性示例 业务域 主题域 业务对象 逻辑实体 业务属性 安全等级 生活服务 婚姻登记 国内结婚登记机构工作人员 国内结婚登记机构工作人员信息 机关ID L2级数据 生活服务 婚姻登记 国内结婚登记机构工作人员 国内结婚登记机构工作人员信息 姓名 L2级数据 生活服务 婚姻登记 国内结婚登记机构工作人员 国内结婚登记机构工作人员信息 人员面貌 L2级数据 样例三:好差评业务属性 对政务服务好差评业务进行分析,结合省数据资源局好差评业务需求,明确各逻辑数据实体的相关属性,支撑后续数据管理需求,实现数据安全等级清晰明确。 表5 好差评业务属性示例 业务域 主题域 业务对象 逻辑实体 业务属性 安全等级 内部运行管理 好差评管理 办事评价 人员与办事评价关联信息 记录编码 L2级数据 内部运行管理 好差评管理 办事评价 人员与办事评价关联信息 姓名 L2级数据 内部运行管理 好差评管理 办事评价 人员与办事评价关联信息 评价结果编码 L2级数据 父主题: 数据架构规划设计
  • 首席数据官 为落实数字安徽总体建设方案部署要求,统筹推进数据工程建设各项工作,各部门需要在本单位落实首席数据官制度,成立数据工程推进专班。并完成单位的组织及管理机制建设,构建首席数据官领导的数据治理组织,建设本单位数据工程运作机制。 首席数据官负责部门信息化项目建设规划及管理、数据标准规范体系建设、数据架构统筹管理、数据质量持续提升、数据创新应用规划、数据争议裁决、常态化指导监督等工作,首席数据官一般由单位的分管领导担任。
  • 配置环境变量 配置作业参数,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。 表1 环境变量列表 序号 变量名 变量配置 1 ETL_TODAY #{DateUtil.format(DateUtil.addDays(Job.planTime,0),"yyyy-MM-dd")} 2 ETL_YESTERDAY #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 3 ETL_HOUR #{DateUtil.format(DateUtil.addHours(Job.planTime,0),"HH")} 4 ETL_TODAY_MINUS7 #{DateUtil.format(DateUtil.addDays(Job.planTime,-7),"yyyy-MM-dd")} 5 ETL_TODAY_MINUS8 #{DateUtil.format(DateUtil.addDays(Job.planTime,-8),"yyyy-MM-dd")} 6 ETL_TODAY_MINUS1 #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 7 ETL_TODAY_MINUS2 #{DateUtil.format(DateUtil.addDays(Job.planTime,-2),"yyyy-MM-dd")} 8 ETL_TODAY_MINUS180 #{DateUtil.format(DateUtil.addDays(Job.planTime,-180),"yyyyMMdd")} 9 ETL_CURR_YEAR #{DateUtil.format(DateUtil.addDays(Job.planTime,0),"yyyy")} 10 ETL_YEAR_ONEDAY #{DateUtil.getYear(DateUtil.addYears(Job.planTime,-2))}-01-01 11 ETL_YEAR_ONEDAY_NO_ #{DateUtil.getYear(DateUtil.addYears(Job.planTime,-2))}0101 12 ETL_TODAY_NO_ #{DateUtil.format(DateUtil.addDays(Job.planTime,0),"yyyyMMdd")} 13 ETL_YESTERDAY_NO_ #{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyyMMdd")} 14 ETL_TODAY_MINUS180_YES_ #{DateUtil.format(DateUtil.addDays(Job.planTime,-180),"yyyy-MM-dd")}
  • 关系建模 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。同时,逻辑模型也为构建物理模型提供了有力的参考依据,是最终成功设计数据库过程中必不可少的一个阶段。 以人口逻辑模型为例: 单击逻辑模型下面加号,进入新建页面,输入模型名称为“人口”,单击确定。 图1 关系建模1 单击逻辑模型“人口”,进入逻辑模型“人口”的管理界面。 图2 关系建模2 单击更多,选择“导入”,单击“下载关系建模导入模板” 图3 关系建模3 物理模型是指按照一定规则和方法,将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。物理模型建模通常是由逻辑模型创建之后,统一转换成物理模型。 以人口物理模型为例: 选中“人口”逻辑模型,单击转换为物理模型按钮,进入编写页面。 图4 关系建模4 物理模型名称输入“人口”,更新已有表选择更新,最后选择相应的数据连接类型、数据连接、数据库,最后单击确定即可。 图5 关系建模5 发布物理模型表结构。转换过去的物理模型表结构为草稿状态,勾选之后单击发布,就会将逻辑模型创建好表信息及结构创建到数据库中形成物理模型。 图6 关系建模6 父主题: 规范设计
  • 业务流程活动 为保障业务对象梳理的完整性,基于业务流程图梳理相应的业务步骤,通过对业务步骤的分析,为业务对象梳理提供素材。首先需要填写业务流程中的步骤名称、流程步骤描述、角色、输入、输出等内容。具体梳理模板与填写方法如表6所示。 表1 业务流程说明表 编号 步骤名称 流程步骤描述 角色 输入 输出 示例: 部门审批 根据用户提供的企业登记信息,对企业登记进行审核 市场监督局审批人 企业登记信息,企业人员信息 企业营业执照 业务流程梳理要明确流程步骤名称,并针对各业务步骤进行描述说明,结合业务流程中相关参与角色,明确角色信息以及流程中各步骤中涉及的输入、输出等相关信息。 步骤名称:通过对业务流程梳理、分析,基于业务流程的分析结果及流程图信息,明确业务流程中的各步骤的名称; 流程步骤描述:结合业务现状,针对流程步骤描述各环节的具体工作,重点在于表达出此流程步骤工作的具体内容; 角色:针对业务需求,对此步骤的岗位角色进行明确,对已经明确的岗位说明进行描述,此项工作重点在于将此环节的相关岗位角色表达清晰; 输入:说明此流程步骤中的输入信息,能够清晰的表达出业务流程与数据信息的对应关系。针对识别到的输入数据信息的描述,重点写清楚此业务流程需要哪些表单的相关输入,基于此步骤的角色人处理哪些信息; 输出:说明此流程步骤中的输出信息,能够清晰的表达出业务流程中此步骤办理完毕后可输出哪些数据信息。针对输出数据信息的描述,重点写清楚此业务流程在办理完结后需要输出哪些表单信息。 样例一:企业开办业务流程活动 通过对企业开办业务进行梳理及分析,明确企业开办业务流程中共存在8个业务活动节点,且各活动节点中均存在活动的输入、输出。业务流程活动通过对活动节点中输入、输出数据进行分析,识别相应的业务对象内容。 企业开办流程具体包含涉及前置审批、填报企业名称、名称查重比对、是否重复、填报信息、部门审批、是否邮政寄递、邮政寄递、窗口领取、获取营业执照共计8个活动节点。输入、输出信息如下表所示。 表2 企业开办业务流程说明表 序号 步骤名称 流程步骤描述 角色 输入 输出 1 涉及前置审批 申请人是否需要进行企业名称去重预处理 办件人 企业预登记信息 企业预登记信息 2 填报企业名称 申请人填报申请的企业名称 办件人 企业预登记信息 企业预登记信息 3 名称查重比对 系统根据输入的企业名称,在系统中查询重复的名称 系统 企业预登记信息 企业预登记信息 4 是否重复 用户根据系统反馈的结果判断是否能够使用该名称进行申请 办件人 企业预登记信息 企业预登记信息 5 填报信息 用户在页面填报企业相关信息 办件人 企业预登记信息 企业登记信息 6 部门审批 部门对提交的信息进行评审 审核人员 企业登记信息 企业营业执照 7 是否邮政寄递 判断是否进行邮政寄递 办件人 是否邮政寄递信息 邮政寄递信息 8 获取营业执照 用户获取企业营业执照 办件人 企业营业执照 企业营业执照 样例二:国内结婚登记业务流程活动 通过对婚姻管理的结婚登记(国内)业务流程进行梳理及分析,明确业务流程中共存在5个业务活动节点,且各活动节点中均存在活动的输入、输出。业务流程活动通过对活动节点中输入、输出数据进行分析,识别相应的业务对象内容。 国内结婚登记业务流程具体包含结婚预约登记、初审、业务受理、信息核查、审查共计5个活动节点。输入、输出信息,具体如下表所示。 表3 国内结婚登记业务流程说明表 序号 步骤名称 流程步骤描述 角色 输入 输出 1 结婚登记预约 结婚当事人提交结婚登记预约申请 结婚当事人 双方当事人基础信息 预约申请信息 2 初审 国内结婚登记员审查当事人是否满足结婚登记申请要件 登记机构工作人员 预约申请信息、双方当事人基础信息 当事人基础信息 3 受理 国内结婚登记员受理结婚登记申请,核验当事人的身份 登记机构工作人员 初审后的当事人基础信息 受理的结婚登记申请信息 4 信息核查 查询当事人的国内结婚登记记录信息、法院离婚信息、外交部国内结婚登记记录信息以及死亡信息等,判定是否符合办理条件 登记机构工作人员 受理的结婚登记申请信息、当事人基础信息 核查后的当事人基础信息(包含离婚信息,法院离婚信息,外交部国内结婚登记信息,死亡信息) 5 审查 符合办理条件的当事人确认《结婚登记审查处理表》和结婚证相关信息 登记机构工作人员 核查当事人基础信息 结婚证,结婚登记审查处理表 样例三:好差评业务流程活动 通过对好差评业务进行梳理及分析,明确好差评业务流程中共存在11个业务活动节点,且各活动节点中均存在活动的输入、输出。业务流程活动通过对活动节点中输入、输出数据进行分析,识别相应的业务对象内容。 好差评业务流程具体包含用户评价、下发整改任务、是否申诉、初审复核、复审复核、终审复核、差评整改、整改反馈、查看整改结果、用户追评、整改督办共计11个活动节点。输入、输出信息如下表所示。 表4 好差评业务流程说明表 序号 步骤名称 流程步骤描述 角色 输入 输出 1 用户评价 办件人在办件完成后对办件结果进行评价 用户 / 评价内容信息 2 下发整改任务 根据用户评价类型(好评/差评),好差评事项涉及办件事项和办件人发送整改任务 系统 办件信息、评价信息 整改任务单 3 是否申诉 部门业务办理人员收到整改任务单后判断是否需要申诉 部门业务办理人员 整改任务单 判断结果 4 初审复核 政务服务平台管理人员对业务办理人员的申诉请求进行审核 政务服务平台管理人员 申诉请求 初审意见 5 复审复核 政务服务平台管理人员对业务办理人员的申诉请求进行复核 政务服务平台管理人员 申诉请求 复审意见 6 终审复核 政务服务平台管理人员对业务办理人员的申诉请求进行终审。终审通过,则停止整改,流程结束;终审不通过,则业务办理人员进行整改。 政务服务平台终审人员 申诉请求 终审意见 7 差评整改 接收整改任务单后根据任务书中的内容进行整改。 业务办理人员 整改任务单 整改结果 8 整改反馈 提交整改结果的反馈,并由系统推送给办件人 部门业务办理人员 整改结果 整改结果 9 查看结果 对整改结果满意,则流程结束,否则把反馈意见推送给政务服务平台。 办件人 整改结果 反馈意见 10 用户追评 评价整改是否满意 办件人 整改结果 反馈意见 11 整改督办 对办件人提交的不满意反馈意见进行督办,发送给部门业务人员进行整改。 政务服务平台管理人员 反馈意见 督办通知 父主题: 数据架构规划设计
  • 方案优势 定位明确:华为聚焦做大数据工具,以开放、合作、共赢为原则,融入当地生态;此外华为明确定位为解决方案供应商,承诺永不进行数据变现。使能生态伙伴,按照统一的架构与标准,进行预集成验证,通过华为最严苛的安全测试,整合从应用、业务到平台的完整解决方案。 合规性高:满足政务大数据平台安全合规的需求;数据“三不一可”;进不来,拿不走,看不懂,可追溯。数据全生命周期安全保障,包括数据采集、传输、存储、共享、使用、销毁;数据安全管理,授权、认证、防护、加密、DLP、脱敏、审计、溯源、分析多维度管控;按照管理权、执行权、审计权的分立模式,实现一套数据全生命周期的统一大数据安全体系服务。 高效治理:针对客户多工具、多平台带来页面多入口、账户不统一、管理成本激增等问题,DataArk服务提供符合华为云规范的N统一特性(认证、鉴权、用户、角色、服务目录、工作空间、API网关),为客户的多种数据治理工具提供统一入口,实现数据的统一管控;遵从华为数据之道,更快构建数字化转型体系,提供一站式治理,全流程可视可管,统一入口,统一体验,统一数据源管理,一次接入,全程共享 流程贯通:多厂商数据治理工具会带来数据断点,同一份数据很难在多套工具间同步,DataArk服务提供关键指标、数据、模型、数据标准的全流程贯通能力,保障数据规范端到端一致性;数据一次生成落地后,自动在工具间同步,治理效率大幅提升;数据源、数据湖仓等信息共享,数据打通,减少维护工作,保障正确性; ISV伙伴对接预集成:服务已完成5+伙伴治理工具与华为产品的预对接工作,通过自动化部署本服务,30分钟内即可完成与客户现网ISV工具的对接;ISV伙伴快速对接适配:DataArk服务提供开放框架,规范接口,支持客户指定伙伴30天内快速灵活接入(新模块的具体开发对接时长,根据ISV能力会有浮动; 行业沉淀:用户可通过DataArk数智融合集成平台的行业资产沉淀订阅能力,快速订阅华为在政府行业中沉淀的数据标准、模型、脚本、资产和指标,帮助客户快速获取行业内优秀数据资产,并且更专注于自身业务本质的治理;自动分析局点资产,分级脱敏,确保资产分享过程数据安全;订阅资产一键部署到本地工作空间,高效完成数据治理。
  • 应用场景 2022年9月13日国务院办公厅印发《全国一体化政务大数据体系建设指南》,明确建设目标:2023年底前,全国一体化政务大数据体系初步形成,基本具备数据目录管理、数据归集、数据治理、大数据分析、安全防护等能力,数据共享和开放能力显著增强,政务数据管理服务水平明显提升。到2025年,全国一体化政务大数据体系更加完备,政务数据管理更加高效,政务数据资源全部纳入目录管理。并明确统筹管理一体化、数据目录一体化、数据资源一体化、共享交换一体化、数据服务一体化、算力设施一体化、标准规范一体化、安全保障一体化八大建设任务。但当前政务大数据普遍存在如下问题: 体制机制缺失:尚未建立政务数据治理体质机制,各级数据资源管理部门和业务部门职责分工不明确,无法持续性开展数据治理工作。 业务目标不清晰:政务数据治理工作仅围绕数据开展,并未以业务目标为导向,围绕相应的业务目标开展数据治理实施工作,导致数据治理价值无法体现 缺乏统一数据标准:政务信息化建设存在“各自为政、条块分割、烟囱林立、信息孤岛”等问题,由此导致数据标准管理分散,数据标准执行力度差。 数据资源底数不清:各部门仅针对国办要求进行政务信息资源目录进行梳理,并未对部门全量数据进行盘点,无法做到 “心中有数”。 数据质量亟待提升:虽已建成了统一的数据共享交换平台,但各部门对数据质量的重视程度不高,数据质量把控不严,导致数据错、重、漏现象频现。 通过建设一套包含大数据MRS、数据仓库DWS、数据治理DataArts Studio的数管平台,采用湖仓一体的先进技术架构,兼顾权限管控和资源隔离的能力,构建省市资源中枢和能力底座;同时引入《华为数据之道》,以业务对象为核心,进行数据治理,最终实现: 理清资产:盘清全省(或市本级)政府数据家底,按需归集政务数据与公共数据; 高效共享:持续提升数据质量,完善数据管理,完成国家对数据开放共享的各项要求,实现高质量数据的共享和使用,实现跨区域、跨部门、跨层级的数据融合,完善数据统筹协调的技术基础; 业务创新:支撑政务服务实现“秒批秒办”“全程网办”“跨省通办”“一件事一次办”等;智能分析跨部门、跨行业、跨地域监管数据,支撑风险预警、决策分析、重点事件跟踪,联合监管等业务。实现舆情洞察,全域感知、情感分析、趋势研判等能力,支撑政府科学决策。
  • 数据调研 数据架构设计的基础是从业务中明确各类数据信息,保证数据治理结果支撑政府业务的开展及应用。调研开始首先要明确调研路径,以各业务处室为单位进行调研,提前对处室业务进行了解包括业务范围、应用系统功能、核心业务流程说明等信息。 编制调研模板 业务调研:基于数据工程的需求,对本部门的业务处室,进行访谈;访谈前准备好相应的访谈提纲,向调研对象阐述访谈背景之后,围绕问题清单开展访谈工作,同时参照资料收集清单,请业务处室提供相关材料。访谈提纲编写要求如表1所示。 表1 访谈提纲模板 访谈提纲模板 访谈主题 通过业务访谈深入了解XXX业务和数据现状,收集业务人员对数据工程项目的诉求 访谈对象 各业务处室领导、骨干业务人员 访谈时间 约1小时 访谈地点 XXXX大楼XX层XXX室 访谈背景 构建一体化政务大数据,摸清数据家底 问题清单 当前业务对数据要求 数据质量存在哪些问题等 收集资料清单 业务系统涉及的哪些方面数据 与周边哪些部门系统交互 在访谈结束,形成访谈纪要。 系统调研:除业务调研外,还需对相关系统进行调研,编制系统模板,重点调研IT系统的基本信息、数据量、数据库信息、数据字典、主键、索引、大字段、码表、数据库表信息等信息。系统调研模板要求如表2和表3所示。 表2 系统表调研模板 系统名称 表名称 表注释 更新周期 数据是否存在物理删除 主键 新增数据时间戳 更新时间戳 总体记录数量(条) 月均增量(条) 数据表所属业务系统 表名称 中文注释 日周月年 从数据库表中彻底删除 主键字段说明 数据新增的时间戳字段 数据同步机制为增量的需填写,提供时间戳字段 总数据记录条数 根据历年数据增量计算平均值 XX业务管理系统 / / / / / / / / / 表3 系统表字段调研模板 表名称 表注释 字段名称 字段注释 字段类型 字段长度 是否非空 是否主键 表名称 中文注释 字段名称 字段中文释义 字段类型(根据数据库区分) 字段长度(根据数据库区分) 是否非空 是否主键 sq_info_n 申请记录表 OAE002 性别 NUMBER(18) 18 是 否 按照项目的整体推进计划,与相关负责人沟通,确定调研计划;双方按照约定时间及计划,有序开展调研工作。 业务处室调研 参考调研访谈计划,与各业务处室及各应用系统建设单位进行调研。 参与成员:业务处室负责人、骨干业务人员; 目的:重点了解各业务处室业务流程、业务指标及收集相应表单,作为数据架构及业务指标梳理的参考,了解处室对数据工程的期望,作为规划设计的重要输入和参考; 建议访谈形式:以面对面调研为主; 资料收集清单:需要收集资料如表4所示。 表4 资料收集清单表 序号 项目 资料说明 作用 1 三定方案 了解职能配置、内设机构和人员编制规定 加深业务理解,便于资产信息目录梳理 2 业务流程 请提供相关业务的处理流程图 通过业务流程图,熟悉业务办理过程,了解数据分布 3 业务流程过程涉及的表单 核心业务表单、下级部门上报的报表等 通过表单搜集,便于资产信息目录梳理 4 部门考核指标 来自上级部门或自己部门制定的考核指标及计算公式 便于指标的设计和提炼 5 部门业务开展过程中的分析指标 为满足业务的开展而设计的对业务场景进行分析的相关指标及计算公式 便于指标的设计和提炼 6 数据共享交互需求 请提供长期与其他业务产生交互的相关数据需求 通过需求梳理,便于后期的数据集成方案的设计 7 部门总结报告、总结报表等 提供部门月度、季度、年度等总结报告和报表相关资料 便于业务理解以及业务指标的设计和提炼 系统调研总结 输出调研总结报告,包括业务现状,系统现状,数据现状,整理总结信息与处室确认。 父主题: 数据架构规划设计
  • 调用API 数据服务提供APP认证方式,API调用者通过APP认证方式调用API。使用APP认证时,需要通过SDK访问。数据服务提供了基于Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言的SDK包。 图1 调用API1 访问服务前,首先需要得到API的ID、请求URL和请求方法,在数据服务的“服务市场”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 对于APP认证的API,必须提供有效的AppKey、AppSecret才能够生成认证签名, 在“应用管理”中生成一个APP,并将APP绑定到API,就可以使用APP对应的AppKey和AppSecert访问该API。 从console页面下载相应语言的SDK。 图2 调用API2 运行sdk获取签名。 图3 调用API3 将sdk获取到值x-authorization、x-sdk-date,填入到postman的header里,然后“send”获取相应的数据。 图4 调用API4 父主题: 数据服务
  • 流程设计 宏观层面:重点是组织架构与流程架构匹配,组织设置必须支撑流程价值实现,组织职责必须清晰具体,不能有重叠、空白、过多、过少; 微观层面:看流程角色职责是否通过岗位职责的设置有效落实,岗位职责与其匹配的流程角色职责相符。 单击左侧导航栏“流程设计”并进入流程设计页面。 图1 流程设计1 单击导入,单击下载流程模板。 图2 流程设计2 下载模板如下 表1 模板 上级流程 *名称 *责任人 描述 - - - - - - - - 模板参数说明如下: 表2 模板参数说明 参数名 说明 上级流程 第一层的流程,其上级流程为空,不用填。 非第一层的流程,其上级流程不能为空。上级流程为多级流程时,流程之间以“/”分隔。 *名称 流程名称。 *责任人 流程的责任人,可以手动输入名字或直接选择已有的责任人。 描述 流程的描述信息。 上传模板,单击添加文件,选择填写后的流程模板,然后上传文件即可。 图3 流程设计3 导入参数配置说明 表3 参数配置说明 参数名 说明 更新已有数据 如果所要导入的流程,在规范设计中已经存在,是否更新已有的流程。支持以下选项: 不更新:当流程已存在时,将直接跳过,不处理。 更新:当流程已存在时,更新已有的流程信息。 在导入流程时,只有创建或更新操作,不会删除已有的流程。 上传模板 选择所需导入的流程设计文件。 导入完成。 父主题: 规范设计
  • 数据集成前探查 数据探查是指用适当的统计、分析等方法对原始数据进行分析,对其特征加以汇总和理解,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程,以求在数据入湖前最大化地了解数据现状,为数据集成方案的设计提供数据依据。 数据探查分析流程 依据数据集成入湖清单展开数据探查,重点探查与分析表与字段注释、数据类型、数据长度、数据量、数据主键、时间戳字段以及数据空值及分布情况等内容。在获取数据接入授权与数据源端连接信息后,确定数据探查方法并实施探查,参照数据标准与数据集成需求对探查结果进行分析,最终输出数据探查分析结果,形成问题清单,指导数据集成方案设计。 数据探查实施 数据探查接入采用CDM工具将业务源端数据迁移至DWS数据库的数据接入方式,开展数据的探查与分析活动,该方法具备安全稳定与灵活复用的特性。 数据探查实施采用平台采集与手动分析相结合的方式,首先在数管平台的“数据资产”模块中,创建元数据采集作业,勾选“数据概要”配置,对数据概要信息进行采集,可以基于不同的探查目的进行单表探查、多表探查、全量探查、采样探查,同时支持手动单次采集与周期调度采集。采集完成后可在资产管理界面进行查看与刷新。 数据探查结果分析 针对数据探查结果,对待入湖的数据进行数据量、主键以及时间戳等内容的分析,判断数据质量问题,制定数据集成方案。 父主题: 数据集成
  • 逻辑实体L4设计和数据来源 逻辑实体是数据架构的L4级,是描述业务对象某种业务特征的属性集合,具有一定逻辑关系。 逻辑实体设计 逻辑实体是具有一定逻辑关系的属性集合,逻辑实体设计需遵循强制性设计规范与建议性设计规范,结合设计方法,明确单位各业务域的逻辑实体。 强制性规范: 逻辑实体不能脱离业务对象独立存在,不能归属于多个业务对象,业务对象与逻辑实体的关系是1:1或1:N,不允许N:1的情况出现; 提供数据服务或跨业务领域使用的基础数据,要单独设计逻辑实体; 两个业务对象间的关系逻辑实体,归属于业务发生时间先后顺序中后出现的业务对象; 逻辑实体设计时不考虑水平(横向)拆分,水平拆分在物理表设计中考虑。 建议性规范: 描述业务对象不同业务特征的属性集合,可以单独设计为逻辑实体; 逻辑实体中,在某特定场景下使用的属性,可以垂直(纵向)拆分成另一个逻辑实体; 数据源设计 数据源是指业务上首次正式发布某项数据的应用系统,经过认证,作为唯一数据源头被周边系统调用。 数据源管理原则: 部门所有系统需要经过业务专员与数据专员的认证,所有关键数据必须认证数据源; 关键数据仅能在数据源录入、修改,全流程共享,其它调用系统不能修改,下游环节发现的数据源质量问题,应当在数据源进行修正; 所有系统必须从数据源获取关键数据; 数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。 数据源认证参照《数据源管理规范》,特殊业务数据源需要对属性数据源进行确认。 数据分类设计方法 数据分类是针对不同特性的数据采取不同的管理策略,以实现最大的治理成效。不同分类的数据,采取不同的治理方法,投入不同的资源。具体数据分类包括主数据、基础数据、事务数据、观测数据、时空数据、规则数据、统计数据等。 主数据:部门核心业务对象数据。实例:人口、法人、车辆、房屋、事项。 基础数据:可枚举的、基本确定不变数据。实例:行政区划、组织划分、经济分类。 事务数据:业务办理过程数据。实例:执法监管、行政审批。 观测数据:传感器信息、物联网数据。实例:视频监控、气象观测、水文监测、环境监测。 时空数据:北斗码数据。实例:轨迹数据、位置数据、空间数据。 规则数据:描述业务规则的数据。实例:审批规则、执法规则数据。 统计数据:依据某种规则进行计算、统计。实例:GDP指标、财政收入指标等。 结合上述所梳理的业务域、主题域、业务对象,结合业务流程的输入、输出,参考应用系统数据库表,明确各逻辑实体的数据分类。 逻辑实体ER图设计方法 逻辑实体ER图体现逻辑实体之间的关系,从概念模型转换而来,将实体与关系映射到关系数据模型,进行细化,包括了逻辑实体之间的关系、属性、定义、描述和范例。逻辑实体ER图将作为应用系统建设的规范,作为应用系统物理数据模型的输入。 样例一:企业开办业务逻辑实体 基于企业开办业务梳理的相关业务对象,集合企业开办业务流程之间的数据关系,设计企业开办业务的逻辑数据实体为名称基本信息、拟设企业基本信息、企业基本信息、隶属企业信息、法定代表人信息、负责人信息、投资人及出资信息、财务负责人信息、纸质营业证照基础信息、电子营业执照基础信息共计10个逻辑实体。 表1 企业开办L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 市场监管 市场主体准入与退出 企业预登记信息 登记注册局 XX 名称基本信息 企业登记网上注册申报服务系统 事务数据 市场监管 市场主体准入与退出 企业登记信息 登记注册局 XX 拟设企业基本信息 企业登记网上注册申报服务系统 事务数据 市场监管 市场主体准入与退出 企业人员信息 登记注册局 XX 企业基本信息 综合业务系统 主数据 图1 企业开办逻辑实体ER图 样例二:国内结婚登记逻辑实体 基于结婚登记业务梳理的相关业务对象,集合结婚登记业务流程之间的数据关系整理逻辑实体。内容如表所示。 表2 结婚登记L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 生活服务 婚姻登记 婚姻预约信息 社会事务处 XX 婚姻预约信息表 婚姻在线登记系统 事务数据 生活服务 婚姻登记 结婚当事人 社会事务处 XX 结婚当事人信息表 婚姻在线登记系统 主数据 生活服务 婚姻登记 登记机构 社会事务处 XX 登记机构信息 婚姻在线登记系统 事务数据 生活服务 婚姻登记 结婚登记机构工作人员 社会事务处 XX 结婚登记机构工作人员信息 婚姻在线登记系统 主数据 图2 国内结婚登记逻辑实体ER图 样例三:好差评业务逻辑实体 基于好差评业务梳理的相关业务对象,集合好差评业务流程之间的数据关系,设计好差评业务包含人员与办事评价关联信息、评价打分项信息、评价基本信息、评价详细信息、评价模板信息、评价来源-热线信息、差评处理信息、参与办件的政务人员信息、评价来源-办件信息、评价来源-调研问卷信息、评价模板与评价选项对应关系等逻辑实体。 表3 好差评L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 内部运行管理 好差评业务 办事评价 电子政务与应用处 XX 人员与办事评价关联信息 好差评系统 事务数据 内部运行管理 好差评业务 办事评价 电子政务与应用处 XX 评价打分项信息 好差评系统 事务数据 内部运行管理 好差评业务 办事评价 电子政务与应用处 XX 评价基本信息 好差评系统 事务数据 图3 好差评逻辑实体ER图 父主题: 数据架构规划设计
  • 数据指标设计 数据指标设计方法 指标是衡量目标总体特征的统计数值,是表征某一业务活动中业务状况的数值指示器。指标由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标的设计,技术指标是对业务指标的具体实现。 通过与业务处室(通常为指标解释部门的业务人员)、系统厂商沟通,从业务角度梳理当前业务流程和应用系统,确定业务关注点,梳理并确定能够反应业务状况变化的数据指标,包括指标编码、业务域、主题域、指标名称、指标定义、指标Owner等维度内容。业务指标样例模板如表30所示。 表1 业务指标模板 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner - - - - - - - 指标编码:对数据指标进行归类编码,ZB +六位行政区划+中央业务指导部门编码(2位)+流水号(4位);示例:340000为安徽省,11为民政部,安徽省民政厅指标为ZB340000110001,数据资源局使用编码89; 业务域:指标所属的业务域; 主题域:主表所属的主题域; 指标名称:指标的名称; 指标定义:指标的业务定义,需要明确计算方式; 指标Owner:是数据指标的责任主体,对指标的质量、定义、计算逻辑等具有解释权和决定权,通常为个人或者部门。 样例一:企业开办数据指标 表2 企业开办数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000310001 市场监管 市场主体准入与退出 企业名称总数 目前名称库中名称的总数 登记注册局 2 ZB340000310002 市场监管 市场主体准入与退出 预登记企业成功率 预登记企业审批成功率,为企业登记审批成功数/预登记企业总数 登记注册局 3 ZB340000310003 市场监管 市场主体准入与退出 企业总数 目前完成企业登记的总数 登记注册局 样例二:婚姻管理数据指标 表3 婚姻登记数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000110001 生活服务 婚姻登记 年度结婚人数总数 本年度结婚的人数总数 社会事务处 2 ZB340000110002 生活服务 婚姻登记 结婚人数月同比增长数 结婚人数对比上月同比增长 社会事务处 3 ZB340000110003 生活服务 婚姻登记 结婚人数月同比增长率 本月结婚人数/上月结婚人数 社会事务处 样例三:好差评数据指标 表4 好差评数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000990001 内部运行管理 好差评业务 评价人数 是指对服务进行评价的人数量。 电子政务与应用处 2 ZB340000990002 内部运行管理 好差评业务 评价次数 是指服务客户对服务进行评价的总次数。 电子政务与应用处 3 ZB340000990003 内部运行管理 好差评业务 差评次数 是指服务客户评价为差评评价的总次数且经核实为有效差评。 电子政务与应用处 父主题: 数据架构规划设计
  • 技术指标 技术指标是为了支撑业务指标的具体实现。 原子指标 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、开发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要重复开发,从而提升了开发效率,也保证了统计结果的一致性。 衍生指标 衍生指标是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标中的属性。 衍生指标=原子指标+统计维度+时间限定+通用限定。 复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表,因此一个时间限定可能归属于多个数据域。以时间限定“当前年”为例。 在规范设计控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签,单击“新建”按钮。 图1 时间限定1 在新建时间限定页面,配置参数,然后单击“发布”并勾选自助审核。 图2 时间限定2 表1 参数说明 参数名称 说明 *限定名称 只能包含中文、英文字母、数字和下划线,且必须以中文或英文字母开头。 *限定英文名称 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。 描述 描述信息。支持的长度0~490字符。 查看当前年,状态为发布。 图3 时间限定3 父主题: 规范设计
  • 业务对象L3梳理和数据owner确定 数据架构业务对象识别方法 基于业务流程梳理,以及对相关业务的了解,梳理出业务流程开展过程中的主要信息项即输入输出信息,并结合业务对象的识别原则,识别出此流程开展过程中的相应业务对象。 业务对象识别要遵循以下四项原则: 运行和管理中重要的人、事、物、地:如果缺少了某个业务对象,业务运作和管理将会出现严重问题,甚至业务都将无法存在; 具有唯一身份标识信息:可以通过唯一标识区分、准确检索和支持跨领域分布式共享业务对象; 相对独立:业务对象之间是关联关系,不是所属关系,拥有自己的唯一编码; 可实例化:业务对象有相应的属性,可以被记录到数据库表中,每出现一个这样的人、物,或发生一次这样的事,就会在数据库表中有相应的记录。 具体业务对象的梳理模板与填写方法如表10所示。 表1 业务对象识别表 序号 步骤名称 主要信息项 业务对象 示例 用户评价 办件人信息、办件事项信 办事评价 步骤名称:结合业务流程的各流程步骤,填写具体的活动节点; 主要信息项:针对此活动节点的主要输入、输出信息,明确此活动节点的主要信息项。此环节填写过程中重点涉及到此活动节点的表单信息填写清晰,保证填写完整性; 业务对象:用于定义业务领域重要的人、事、物、地。数据架构建设和治理主要围绕业务对象开展。 数据owner确定方法 结合业务现状以及各部门的数据管理现状,针对识别出的相关业务对象,明确各业务对象的管理责任方,即数据owner。数据owner明确了数据的归属责任方,为数据管理提高了数据管理能力,增强数据的准确性及应用性。 数据owner针对业务对象进行设计,数据owner确定过程中需要明确业务域、主题域、业务对象等信息,保障数据的全面性。填写方法如下表所示。 表2 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 示例:内部运行管理 好差评 办事评价 电子政务与应用处 XXX / / / 业务域:业务对象所属业务域; 主题域:业务对象所属主题域; 业务对象:将数据架构中业务对象的具体内容,填写到模板中的业务对象栏中; 数据owner部门:基于业务对象明确各业务对象的管理责任部门; 数据owner人员:基于业务对象明确各业务对象的管理责任人员; 逻辑实体:结合上述规范设计的逻辑实体; 数据分类:结合业务现状以及数据需求现状,结合单位数据分类内容,明确各逻辑实体的分类; 数据来源:结合数据产生来源,录入产生系统名称。 样例一:企业开办业务对象与数据owner 企业开办业务对象案例 通过对企业开办业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括企业预登记信息、企业登记信息、企业人员信息三个业务对象。 表3 企业开办业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 涉及前置审批 / / 2 填报企业名称 主体身份代码、企业名称、名称区划、企业字号、名称行业、组织形式。 企业预登记信息 3 名称查重比对 / / 4 是否重复 / / 5 填报信息 主体身份代码、企业名称、住所所在行政区划、住所、邮政编码、联系电话、姓名、国别、职务、职务产生方式、证件类型、证件号码、移动电话 企业登记信息 企业人员信息 6 部门审批 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 7 是否邮政寄递 / / 8 邮政寄递 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 9 窗口领取 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 10 获取企业营业执照 / / 企业开办数据owner案例 通过对业务对象的梳理,并结合市场监督管理局组织现状,明确企业预登记信息、企业登记信息、企业人员信息、企业营业执照四个业务对象的数据owner为省市场监督管理局登记注册局。 表4 企业开办L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 市场监管 市场主体准入与退出 企业预登记信息 登记注册局 XX / / / 市场监管 市场主体准入与退出 企业登记信息 登记注册局 XX / / / 市场监管 市场主体准入与退出 企业人员信息 登记注册局 XX / / / 样例二:国内结婚登记业务对象与数据owner 结婚(国内)登记业务对象案例 通过对结婚登记业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括婚姻预约信息、结婚登记机构、结婚登记机构工作人员、当事人、国内结婚登记信息、结婚证信息业务对象。 表5 结婚登记业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 结婚登记预约 双方当事人基础信息,预约申请信息 结婚当事人, 婚姻预约信息,登记机构,结婚登记机构工作人员 2 初审 预约申请信息、双方当事人基础信息,初审后的当事人基础信息 结婚当事人 婚姻预约信息 3 受理 初审后的当事人基础信息,受理的国内结婚登记申请信息 结婚当事人 结婚登记信息 4 信息核查 受理的国内结婚登记申请信息、当事人基础信息,核查后的当事人基础信息 结婚当事人 结婚登记信息 5 审查 核查当事人基础信息,发证机关,结婚证,结婚登记审查处理表 结婚当事人 结婚登记信息 结婚证信息 国内结婚登记数据owner案例 通过对业务对象的梳理,并结合省民政厅组织现状,明确业务对象数据owner为社会事务处。 表6 国内结婚登记数L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 生活服务 婚姻登记 婚姻预约信息 社会事务处 XX / / / 生活服务 婚姻登记 结婚登记机构工作人员 社会事务处 XX / / / 生活服务 婚姻登记 国内结婚登记信息 社会事务处 XX / / / 样例三:好差评业务对象与数据owner 好差评业务对象案例 通过对好差评业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括办事评价、整改任务、评价申诉三个业务对象。 表7 好差评业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 用户评价 办件人信息、办理结果信息(办理结果、办理开始时间、结束时间等)、评价内容信息(评价分类:好评/差评;评价内容;建议、诉求等) 办事评价 2 下发整改任务 整改单编号、时间、业务部门、业务人员、办件事项信息、办理结果信息、评价内容信息、整改要求、要求完成时间等。 整改任务 3 是否申诉 申诉单编号、整改单编号、办件事项编号、申诉原因、申诉内容等 评价申诉 4 整改反馈 整改单编号、办件事项编号、整改结果、完成时间等。 整改任务 5 查看整改结果 整改结果信息、办件人反馈信息(反馈时间、反馈内容、建议、诉求等)。 办事评价 6 用户追评 办件人信息、办理结果信息(办理结果、办理开始时间、结束时间等)、评价内容信息(评价分类:好评/差评;评价内容;建议、诉求等) 办事评价 7 整改督办 整改单编号、整改反馈信息、要求完成时间、优先级等。 整改任务 好差评数据owner案例 通过对业务对象的梳理,并结合省数据资源局组织现状,明确办事评价、整改任务、评价申诉业务对象数据owner为电子政务与应用处。 表8 好差评L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 内部运行管理 好差评 办事评价 电子政务与应用处 XX / / / 内部运行管理 好差评 评价申诉 电子政务与应用处 XX / / / 内部运行管理 好差评 整改任务 电子政务与应用处 / / / / 父主题: 数据架构规划设计
  • 数据标准设计 数据标准设计方法 针对属性字段设计数据标准,数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解,这些理解一旦确定下来,就应作为标准被共同遵守。数据标准设计遵从以下原则: 以业务为导向,必须满足各标准各方的迫切需求,并根据业务需求分阶段推进制定工作; 明确无歧义,标准的定义必须反映实际业务情况,在部门范围内有一致的理解; 权威性,标准的定义必须充分参考各类成熟的外部标准(国家标准、行业标准、地方标准),将遵循的外部标准出处、内容进行明确的标注和解释; 可落地性,数据标准在定义时必须考虑技术层面的实现难度,在各相关系统可以落地。数据标准设计模板如下表所示。 表1 参考规范示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 是否非空 允许值范围 参照的标准 值域标准 示例:办事评价 人员与办事评价关联信息 记录编码 记录唯一标识 IT主键 字符型 32 Y / / / 业务对象:是业务领域重要的人、事、物、地,承载了业务运作和管理涉及的重要信息; 逻辑实体:是具有一定逻辑关系的逻辑数据实体合; 业务属性:是描述所属业务对象的性质和特征,反映信息管理最小粒度; 业务定义及用途:属性的具体业务含义,表达业务的内容,以及属性对业务的反馈的业务用途; 业务规则:对属性进行规范的内容,如对办事人员的姓名要求必须与实际的办事人员一一对应; 数据类型:数据的保存类型,如字符型、日期型等; 数据长度:是指这个对象在内存中要占的空间,也决定了一个对象能存储数据的大小; 是否非空:判断该属性是否为必填属性,是否允许不填内容导致的空值,对于重要的属性多为必填属性,如身份证号等信息; 是否有允许值列表:如是,则列出可选的允许值,例如性别属性中,除了性别的信息外,不允许出现其他信息; 允许值范围:定义如果存在允许值,对允许值得范围做出规定,如性别属性中,允许值为男和女或使用代码形式代表男和女; 参照的标准:该标准参考的行业外部或者内部公开发布的标准规范,如GB/T 39046-2020 政务服务平台基础数据规范; 值域标准:与码表编码对应。 样例一:企业开办参考标准 表2 企业开办参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 企业登记信息 企业基本信息 企业名称 登记企业的名称 登记企业的名称 字符型 32 是 无 / / / 企业登记信息 企业基本信息 统一社会信用代码 登记企业的唯一标识 登记企业的唯一标准 字符型 18 是 无 / GB 32100-2015《法人和其他组织统一社会信用代码编码规则》 / 样例二:国内结婚登记参考标准 表3 国内结婚登记参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 结婚预约登记 婚姻预约信息 男方姓名 在户籍管理部门正式登记注册的姓氏名称 男方当事人姓名 字符型 50 是 / 否 否 / 结婚预约登记 婚姻预约信息 男方证件类型 颁发的可以证明个人身份的证件名称 男方证件类型 数值型 2 是 0、1、2、4、5 否 否 JMGC/XX 204 5.1.15 C0015 身份证件类型代码 样例三:好差评参考标准 表4 好差评参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 办事评价 关联信息 记录编码 记录唯一标识 / 字符型 32 是 无 / / / 办事评价 关联信息 UAAC 登录名 办事人员的UAAC账号 登录系统时的UAAC账号 字符型 32 是 无 / GB/T 39046-2020 政务服务平台基础数据规范 / 父主题: 数据架构规划设计
  • rocketmq部署 上传rocketmq包 表1 上传rocketmq包 安装服务器 slaver1 节点,slaver2 节点 程序名称 rocketmq-all-4.3.2-bin-release.zip 上传路径 /opt/ 程序安装路径 /usr/local/rocketmq 安装步骤 首先将rocketmq安装包上传到服务器/opt目录,并解压,slaver1 节点,slaver2 节点操作;命令行界面输入: unzip rocketmq-all-4.3.2-bin-release.zip 将解压后的文件移动至/usr/local目录下,slaver1 节点,slaver2 节点操作;命令行界面输入: mv rocketmq-all-4.3.2-bin-release /usr/local/rocketmq 上传修改broker-a.conf配置文件,slaver1节点 图1 节点1 Slaver2节点: 图2 节点2 配置rocketmq 的环境变量,slaver1 节点,slaver2 节点操作 vim /etc/profile 在后面添加 #设置rocketmq的环境变量 export ROCKETMQ_HOME=/usr/local/rocketmq export PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$PATH 按esc+!wq保存 使rocketmq的配置生效 source /etc/profile rocketmq停止 命令行界面输入: nohup sh mqshutdown namesrv nohup sh mqshutdown broker rocketmq启动 到你的安装路径下启动两台机器的NameServer:先启动两台机器的NameServer,再启动两台机器的Borker,关机的时候顺序相反,先关闭两台机器的Broker,再关闭两台机器的Nameserver。 命令行输入: cd /usr/local/rocketmq/ 启动name server,执行 nohup sh bin/mqnamesrv & 日志打印: tail -f nohup.out 图3 rocketmq启动 启动broker-a.properties 执行: nohup sh /usr/local/rocketmq/bin/mqbroker –c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties & 启动broker-b.properties 执行: nohup sh /usr/local/rocketmq/bin/mqbroker –c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties & 父主题: 实施步骤
  • 方案优势 产品体系完备且优势明显 自主研发共享交换、数据集成、数据治理、组织关联和态势感知等完善的系列数据产品,组织关联产品在行业内拥有先发优势。 行业方案成熟度高 长期专注于政务数据全景建设并深耕十年。曾经承接九个省部级政务大数据平台建设以及服务三个省级以上大型项目数据业务,政务领域实践经验丰富。 政务服务处于领导地位 参与了数据开放、政务大数据以及城市数据平台等多项国家(行业)标准的制定。与多所高校和研究机构成立研究中心和联合实验室。
  • 应用场景 业务挑战 通常政府各部门数据及业务现状不清楚,跨部门、跨区域、跨业务数据难共享,存在数据烟囱、信息孤岛问题,数据缺少科学分类和统一管理。 系统建设中需要完成各类数据资源的接入,实现分散的业务数据归集,但跨平台、跨业务缺少能支撑多种采集方式的数据采集工具,实现多源异构数据的归集。 通常政务数据呈现不完整、不规范、不准确等数据质量问题,整合海量数据,如何快速支撑各类应用调用,如何形成数据资产,保证数据服务泄密等安全问题。 关键KPI指标完成情况无法落实到人、随时跟踪、及时发现问题。业务难以围绕区域、行业、业务、时间等多维度深度分析,发现变化趋势,深度剖析问题,领导决策难以做到看图说话、读数决策。 解决方案 云基华海电子政务大数据平台,主要以各政府部门业务信息资源为核心基础,依托国家电子政务网,借助现有的各级政府数据共享交换平台,运用大数据、云计算、人工智能等高新技术手段,建设电子政务“数据资源集成+数据仓库构建+数据资源治理+大数据分析应用”的面向政务流域的全流程、全级次、全方位的大数据平台,为构建集约化、高效化、透明化的政府治理与运行模式提供支撑。 方案价值 整合各类数据资源,打通各个业务系统单独建设形成的数据孤岛,建成覆盖各部门系统“全业务”的信息系统以及各类数据的集中、共享与交换,更好地满足公众服务和行业管理需要; 积极推进政府各项业务工作跨部门、跨地区、跨层级协同,实现横向、纵向可通过信息化方式进行高效的业务协同、监管协同,从而提高整体工作效能。 构建形成公共基础数据库和各类主题数据库为基础,推动政务数据迁移集聚,发挥政务大数据协同服务的作用,简化办事流程,打造公共服务和社会治理的新模式,带动地方经济发展,支撑政府管理研判和决策机制。
  • 方案架构 方案主要由“政务数据集成共享+数仓构建+数据治理服务+数据智能化产品体系”形成面向政务领域全流程、全级次、全方位的政务大数据解决方案: 通过数据集成平台,实现对政务数据的统一汇聚; 通过数据共享交换子平台,实现政务数据内部共享和对外开放; 提供政务元数据管理、数据标准管理、数据规范建模、数据质量管理、政务数据开发和数据资产管理等政务数据治理服务; 利用组织关联和知识图谱技术,为政务部门提供业务画像、时序图谱等智能化应用场景分析; 凭借人工智能和数据可视化技术,对政务数据进行智能化挖掘和分析,提供运行监测、产业大脑、应急预警和分析研判等智慧化决策支撑。 图1 云基华海政务大数据解决方案整体架构 图2 云基华海政务大数据解决方案部署架构 部署架构说明: 云基础设施:基于华为云基础设施底座承载。主要涉及的云服务有弹性云主机、虚拟私有云、弹性负载均衡以及安全服务Anti-DDos等; 云PaaS服务:数据主要采用数据湖服务MRS、数据仓库服务DWS、云数据库服务【存储】RDB进行存储和计算,采用分布式缓存服务DCS应对平台数据访问; 应用软件层:应用层软件基于弹性云服务器部署,单独划分虚拟私有云;
  • activemq安装 上传activemq安装包 表1 上传activemq安装包 安装服务器 gx01节点 程序名称 activemq 上传路径 /opt/ 程序安装路径 usr/local/activemq 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行下列步骤。 进入opt目录,命令行界面输入: cd /opt/ 解压apache-activemq-5.15.8-bin.tar.gz安装包 tar -zxvf apache-activemq-5.15.8-bin.tar.gz 移动至/usr/local/activemq mv apache-activemq-5.15.8 /usr/local/activemq 图1 移动 activemq启动 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin 图2 进入 ./activemq start 图3 启动 activemq状态查看 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin ./activemq status activemq关闭 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin ./activemq stop 父主题: 实施步骤
  • Redis的部署 redis服务安装: 上传redis安装包 将安装包上传至服务器:如/opt下 服务名称:redis 程序安装路径:/usr/local/redis 安装步骤 进入/opt/(上传安装包路径) 命令行界面输入: cd /opt/ 图1 进入 解压redis安装包 命令行界面输入: tar -zxvf redis-5.0.0.tar.gz 图2 解压 移动至/usr/local/redis(程序安装路径) 命令行界面输入: mv redis-5.0.0 /usr/local/redis 图3 移动 进入redis目录 命令行界面输入: cd /usr/local/redis 图4 进入redis目录 编译安装redis 命令行界面输入: make && make install 图5 编译 打开redis配置文件 命令行界面输入: vim /usr/local/redis/redis.conf 图6 打开 修改配置文件 注销掉bind 127.0.0.1此行! 图7 修改1 修改protected-mode yes为protected-mode no 图8 修改2 修改timeout 0为timeout 5000 图9 修改3 修改daemonize no为daemonize yes 图10 修改4 保存退出! redis启动 命令行界面输入: 首先进入到cd /usr/local/redis 在执行: /usr/local/redis/src/redis-server redis.conf 另一种启动: ./redis-server ../redis.conf 图11 redis启动 父主题: 实施步骤
  • Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行第一步至第六步的步骤。 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入: cd /opt/ 图1 进入 解压confluent-5.0.0.tar安装包;命令行界面输入: tar -xvf confluent-5.0.0.tar 图2 解压 将解压后的文件移动至/usr/local/confluent目录下;命令行界面输入: mv confluent-5.0.0 /usr/local/confluent 图3 移动 进入/usr/local/confluent目录下;命令行界面输入: cd /usr/local/confluent/ 图4 进入 zookeeper集群配置,编辑zookeeper.properties配置文件;命令行界面输入: cd etc/kafka/ vim zookeeper.properties 图5 配置文件1 图6 配置文件2 更改zookeeper.properties配置文件的参数;命令行界面输入: server.1=IP1:2888:3888 server.2=IP2:2888:3888 server.3=IP3:2888:3888 此处配置的IP1、IP2、IP3分别为gx01、gx02、gx03三个节点的服务器地址。 图7 配置文件参数 kafka集群配置,编辑server.properties配置文件;命令行界面输入: vim server.properties 图8 编辑 更改server.properties配置文件的参数 1# 集群中各节点broker.id必须唯一 broker.id=0 图9 更改1 2# host.name和 advertised.listeners为各节点的主机IP host.name=【本机IP】 advertised.listeners=PLAINTEXT://【本机IP】:9092 图10 修改2 图11 修改3 图12 修改4 3# 修改zookeeper.connect为zookeeper集群配置地址,三个节点修改的一致 zookeeper.connect=IP1:2181,IP2:2181,IP3:2181 图13 修改5 :wq保存退出! schema-registry 集群配置;命令行界面输入: cd ../../etc/schema-registry/ vim schema-registry.properties 图14 配置 更改schema-registry.properties配置文件 1# 修改listeners为各节点主机IP listeners=http://【本机IP】:8086 图15 更改1 2# 修改kafkastore.connection.url为三个节点的主机IP,三个节点修改的一致 kafkastore.connection.url=IP1:2181,IP2:2181,IP3:2181 图16 更改2 :wq保存退出! kafka connect集群配置;命令行界面输入: vim connect-avro-distributed.properties 图17 更改3 更改connect-avro-distributed.properties配置文件 1# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致 bootstrap.servers=IP1:9092,IP2:9092,IP3:9092 图18 主机IP1 2# 修改key.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致 key.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图19 主机IP2 3# 修改value.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致 value.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图20 主机IP3 4# 修改rest.host.name为各节点的主机IP rest.host.name=【本机IP】 图21 主机IP4 :wq保存退出! kafka rest 配置 命令行界面输入: cd ../kafka-rest/ vim kafka-rest.properties 图22 配置 更改kafka-rest.properties配置文件 1# 修改host.name为各节点主机IP host.name=【本机IP】 图23 更改主机IP1 2# 修改schema.registry.url为三个节点的主机IP,三个节点修改的一致 schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图24 更改主机IP2 3# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致 bootstrap.servers=IP1:9092,IP2:9092,IP3:9092 图25 更改主机IP3 :wq保存退出! 创建myid文件 在三个节点/home/confluent/confluent.data/zookeeper/data目录下,创建myid文件并写入对应编号;命令行界面输入: --没有路径创建路径;mkdir -p /home/confluent/confluent.data/zookeeper/data cd /home/confluent/confluent.data/zookeeper/data/ 执行:touch myid vim myid 图26 创建myid文件 Confluent启动 分别进入三个节点主机的 cd /usr/local/confluent/bin/目录下;命令行界面输入: ./confluent start schema-registry 图27 Confluent启动 Confluent状态查看 分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入: ./confluent status 启动命令 ./confluent start schema-registry 5.5 版本启动 ./confluent local start schema-registry Confluent关闭 分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入: ./confluent stop schema-registry 父主题: 实施步骤
  • nginx的部署 Nginx的服务安装: 安装步骤 上传包到/opt/下 第一步:安装依赖 yum install -y gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 下载nginx安装包:http://nginx.org/download/ 将下载的nignx源码包上传到linux服务器上,解压 图1 下载 Nginx配置 cd nginx-1.9.9 ./configure --prefix=/usr/local/nginx configure完成之后,会有如下信息,诸如日志文件,配置文件啥的 图2 Nginx配置 编译安装 make && make install nginx安装成功 图3 编译安装 启动nginx 先检测nginx的配置是否正确 ./nginx/sbin/nginx -t 图4 启动nginx 如果出现上面两句话,说明nginx配置ok, 可以启动。 父主题: 实施步骤
  • mysql的部署 mysql服务安装: 上传mysql安装包 表1 上传mysql安装包 安装服务器 gx01节点 程序名称 Mysql 上传路径 /opt 程序安装路径 /usr/local/mysql 安装步骤 进入/opt/(上传安装包路径) 命令行界面输入: cd /opt/ 图1 进入 解压mysql安装包 命令行界面输入: tar -zxvf mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz 图2 解压 移动至/usr/local/mysql(程序安装路径) 命令行界面输入: mv mysql-5.6.42-linux-glibc2.12-x86_64 /usr/local/mysql 图3 移动 创建mysql用户 命令行界面输入: useradd -s /sbin/nologin mysql 图4 创建 进入mysql目录 命令行界面输入: cd /usr/local/mysql 图5 进入mysql目录 建立mysql储存路径并增加mysql用户使用权限 命令行界面输入: mkdir -p /data/mysql ; chown -R mysql:mysql /data/mysql 图6 建立 初始化数据库 yum install libaio* -y yum -y install numactl.x86_64 yum -y install perl yum -y install perl-devel yum -y install perl-Data-Dumper 命令行界面输入: ./scripts/mysql_install_db --user=mysql --datadir=/data/mysql 图7 初始化数据库 复制mysql配置文件 命令行界面输入: cp support-files/my-default.cnf /etc/my.cnf 图8 复制 修改mysql配置文件 命令行界面输入: vim /etc/my.cnf 将下面代码加入mysql配置文件的[mysqld]下并保存! basedir=/usr/local/mysql datadir=/data/mysql socket=/tmp/mysql.sock user=mysql character-set-server=utf8 lower_case_table_names=1 图9 修改 复制mysql启动配置文件 命令行界面输入: cp support-files/mysql.server /etc/init.d/mysqld 图10 复制 修改mysql启动配置文件 命令行界面输入: vim /etc/init.d/mysqld 图11 修改 将启动配置文件中代码basedir和datadir修改为以下内容并保存! basedir=/usr/local/mysql datadir=/data/mysql 图12 保存 mysql启动 命令行界面输入: service mysqld start 图13 mysql启动 配置环境变量 打开环境变量配置文件 命令行界面输入: vim /etc/profile 图14 打开 添加配置文件 在配置末尾处加入下列代码并保存! 代码如下: PATH=$PATH:/usr/local/mysql/bin 图15 添加配置文件 刷新配置文件,使其配置文件生效 命令行界面输入: source /etc/profile 图16 刷新配置文件 mysql密码修改和远程访问开启 登录mysql 命令行界面输入: mysql -uroot -p(mysql5.6初始密码为空,输入后直接回车) 图17 登录 修改mysql密码(下方括号内为所设置的密码) 命令行界面输入: use mysql; UPDATE user SET Password=PASSWORD('Qwer6666') where USER='root'; 图18 修改mysql密码 开启远程访问 命令行界面输入: GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Qwer6666' WITH GRANT OPTION; FLUSH PRIVILEGES; 图19 开启远程访问 设置mysql开机启动 设置mysql开机启动 命令行界面输入: chkconfig mysqld on 验证开机启动是否设置成功 命令行界面输入: chkconfig --list | grep mysqld(如2,3,4,5为开则表示设置成功) 图20 验证 父主题: 实施步骤
  • MongoDB安装 上传MongoDB安装包 表1 上传MongoDB安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 MongoDB 上传路径 /opt/ 程序安装路径 /usr/local/mongo 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行下列步骤。 进入opt目录,命令行界面输入: cd /opt/ 图1 进入opt目录 解压mongodb-linux-x86_64-4.0.8.tgz安装包;命令行界面输入: tar -zxvf mongodb-linux-x86_64-4.0.8.tgz 图2 解压 移动至/usr/local/mongodb(程序安装路径);命令行界面输入: mv mongodb-linux-x86_64-4.0.8 /usr/local/mongodb 图3 移动 创建data目录和logs目录;命令行界面输入: mkdir -p /usr/local/mongodb/{data,logs} 图4 创建 配置confige server 在/usr/local/mongodb目录下新建config实例的启动参数文件,并启动实例;命令行界面输入: cd /usr/local/mongodb 图5 配置1 命令行界面输入: vim mongodb.config 图6 配置2 将下面代码分别加入3个mongodb配置文件下并保存 dbpath=/usr/local/mongodb/data logpath=/usr/local/mongodb/logs/mongodb.log port=27017 fork=true replSet=configRS configsvr=true bind_ip=0.0.0.0 启动实例 命令行界面输入: cd /usr/local/mongodb/bin ./mongod -f ../mongodb.config MongoDB启动 命令行界面输入: cd /usr/local/mongodb/bin ./mongod -f ../mongodb.config MongoDB状态查看 查看MongoDB服务运行状态 ps -ef |grep mongo MongoDB关闭 ps -ef | grep mongo | grep -v grep | awk '{print $2}' | xargs kill -9 父主题: 实施步骤
共100000条