数据开发管理平台-产品介绍

    数据开发管理平台是双照科技自主研发的大数据解决方案产品。数据开发管理平台以高度组件化方式，为企业提供 数据集 成、数据开发、数据服务、数据管控、数据探索等能力的一站式流水线作业平台，支撑企业快速开展数据交换、 数据迁移 、数据集成应用场景建设。

• 产品特点

    ① 组件化的数据开发架构

    将传统数据开发的脚本程序中的各类操作抽象封转成加工组件，通过组件间灵活组合固化成业务模型，以达到快速产出的目的。同时组件的各种开发支持配置化管理，能灵活满足多元化的业务加工需求

    ② 流程化的数据加工逻辑

    平台使用流水线加工生产的模式，将业务场景固化为开发模型，通过开发模型将数据开发流程中各个组件进行组合实现，降低数据处理过程的耦合程度，提升开发效率

    ③ 可视化的数据开发模式

    平台以工厂流水线的加工过程为设计理念，以源数据作为生产原料，各开发组件作为生产工具，通过可视化页面实现流程化、标准化开发

    ④ 标准化的开发过程管控

    平台可以通过 数据治理 模块管控数据开发规范，在标准化开发的过程中维护字典信息、生命周期信息。同时，对平台内的每一份数据都将配置数据检核、存储周期，并定期自动生成数据报表，确保数据问题及时发现

• 详细功能

    ① 数据资产

    集成包括数据分层规划、 数据库 创建、赋权操作，管理维护对接的源系统信息、系统连接方式及相关配置信息，管理平台Hive表信息、数据结构信息。表信息对接离线数据加工，数据结构对接实时加工任务，管理维护指标主题、合并表、链接表信息，支持指标的维度、标签信息管理，标准码值管理，血缘解析与展示功能，具备完善的数据资产管理能力

    ② 数据集成

    平台采用流程图的界面，基于Web模式的拖拉拽开发、运行监控和维护的界面，直观、友好便于开发人员操作。同时提供了丰富的接口集，兼容支持传统关系型数据库、文件和主流分布式存储的数据集成工作，如：Oracle、Sqlserver、Mysql、MongoDB、HDFS、Hive、Hbase、ES、Kafka等

    ③ 数据加工

    支持离线实时数据加工工作的研发能力，支持Hive SQL、Spark、Python、Shell、Kafka、Java Flink、Flink SQL任务的开发工作，包括管理作业信息、实现作业调度的规划，管理数据开发管理规范，管理流程信息、实现流程执行，支持分钟、小时、天级、周级、月级调度设置，支持任务依赖设置，支持主动触发任务、异常续跑、故障重跑等，流程优先级调整，任务个性化定制规划

    ④ 运维调度

    通过需求单对接，实现代码不落地，实现开发、测试、生产环境分离，代码实现开发环境开发、测试环境验证、生产环境投产运行调度，代码版本、投产包版本，灰度发布版本支持代码级别的隔离，避免加工结果与生产结果相互干扰，灰度发布支持多个版本同时存在，各个版本直接相互隔离避免互相干扰，灰度发布的流程支持一键到生产投产版本的投产

    ⑤ 平台监控

    展示平台服务各个状态，当前资源情况（队列、线程池），异常、超时、数据质量、元数据异常等告警信息的采集及展示，告警信息的消除及归档等，平台操作日志、流程交接记录信息等

    ⑥ 数据治理

    支持不同表类型的数据生命周期规划，统计每天加工产生的数据情况，清理过期数据分区，数据初始化，数据追数，数据分层设计规划、数据加工规范管理、数据存储规范管理、数据资源申请与审批、 数据加密 规范管理、规范校验，维护数据检核规则，供给数据表进行数据检核配置与套用，以表为维度进行数据检核规则设置，支持表级、字段级的设计，展示数据检核结果及数据质量问题

    ⑦ 数据探索

    展示数据资产目录，支持数据的快速检索与查询

    ⑧ 应用商店

    图形化开发工具，直观展示开发任务流程图信息，展示具体开发成果，技术实现组件化封装，通过组件化封装实现对应业务场景功能，通过组件配置信息实现快速开发及更加直观的展示，将特定场景进行模板封装，通过套用模板实现更加快速的批量组件开发，监控图形化，直观的查看任务运行的流程及节点，方便查看各任务的运行状态及日志信息

    ⑨ 系统管理

    规划平台与集群连接队列资源，运行线程池资源，设置资源限制等，规划租户使用的默认存储目录，支持平台版本信息的发布，支持平台系统的定时任务管理，定时任务的调度及时效性调整，平台菜单信息的维护，支持菜单、按钮级别的权限管理，平台数据字典信息的维护，平台系统参数的维护，平台脚本、jar包、配置文件的管理维护，清理平台日志信息，平台用户的管理，支持用户的角色、团队调配，支持用户密码的重置、修改，平台角色的管理维护，角色用于平台功能权限的分配，支持菜单、按钮级别的权限管理，平台组织机构的管理维护