数据质量基本功能介绍

数据质量:可控可检验

数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。

业务指标监控

  1. 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则和业务场景,实时、周期性进行调度,满足业务的数据质量监控需求。

数据质量监控

  1. 数据质量监控是对数据库里的数据质量进行质量管理的工具,您可以配置数据质量检查规则,在线监控数据准确性。
  2. 数据质量可以从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析,也支持数据的标准化,能够根据数据标准自动生成标准化的质量规则,支持周期性的监控。

业务指标监控概述

业务指标监控模块是对业务指标进行质量管理的工具。

  1. 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,您可以判断业务指标是否满足质量规则。

业务指标监控主界面包括以下功能模块。

功能
说明

总览

默认首页是总览页面,显示了业务场景实例的运行状态和告警状态。

主要包括以下几部分内容:

快速入门,介绍业务指标监控的业务流。

最近7天内的业务场景实例运行分布情况、实例告警运行分布情况。

可选周期内的告警趋势图、业务场景看板图、指标看板图。

指标管理

指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。

规则管理

规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。

业务场景管理

业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。

运维管理

运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。

数据质量监控概述

数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。

另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。

数据质量监控主界面包括以下功能模块。

功能
说明

总览

默认首页是总览页面,显示了数据表的报警和阻塞情况。

主要包括以下几部分内容:

所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。

当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。

规则模板

质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。

质量作业

质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。

对账作业

对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。

运维管理

运维管理用于查看规则运行状态,处理运维问题。

质量报告

系统根据作业的结果,会自动生成质量报告。

数据治理中心-数据质量-功能展示


/

数据质量常见问题

常见问题

  • 质量作业和对账作业有什么区别?

    质量作业可将创建的规则应用到建好的表中进行质量监控。

    对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。

    数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。

  • 如何确认质量作业或对账作业已经阻塞?

    作业运行状态长时间处于运行中时,选择“运维管理”,点击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。

  • 如何手工重启阻塞的质量作业或对账作业?

    阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。

    手工重启需要选择“运维管理”,先点击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后点击操作栏中的“重跑”即可完成作业重启。

  • 怎样查看质量规则模板关联的作业?

    查看规则模板操作列的“发布历史”,点击历史版本最右侧的“下线”按钮。则可以查看该规则模板对应的关联作业。

  • 用户在执行质量作业时提示无MRS权限怎么办?

    此类问题一般是由于用户不具备MRS集群操作权限导致的。

    对于租户下新增的用户,需要在MRS集群列表的界面找到对应的MRS集群实例,手动单击同步。