华为云用户手册

样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1 2 3 4 5 6 7 private static void authorizeBucket(DLIClient client) throws DLIException { String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName); GlobalResponse res = client.authorizeBucket(obsBuckets); System.out.println(res); }

取消批处理作业 DLI提供取消批处理作业的接口。您可以使用该接口取消批处理作业。若作业已经执行结束或失败则无法取消。示例代码如下： 1 2 3 4 5 6 7 def del_spark_batch(dli_client, batch_id): try: resp = dli_client.del_spark_batch_job(batch_id) print(resp.msg) except DliException as e: print(e) return

提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name, batch_job_info) except DliException as e: print(e) return print(batch_job.job_id) while True: time.sleep(3) job_status = batch_job.get_job_status() print('Job status: {0}'.format(job_status)) if job_status == 'dead' or job_status == 'success': break logs = batch_job.get_driver_log(500) for log_line in logs: print(log_line)

删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： def del_spark_batch(dli_client, batch_id): try: resp = dli_client.del_spark_batch_job(batch_id) print(resp.msg) except DliException as e: print(e) return

获取默认队列 DLI提供查询默认队列的接口，您可以使用默认队列提交作业。示例代码如下： 1 2 3 4 5 private static void getDefaultQueue(DLIClient client) throws DLIException{ //调用DLIClient对象的getDefaultQueue方法查询默认队列 Queue queue = client.getDefaultQueue(); System.out.println("defaultQueue is:"+ queue.getQueueName()); } 默认队列允许所有用户使用，DLI会限制用户使用默认队列的次数。

删除队列 DLI提供删除队列的接口，您可以使用该接口删除队列。示例代码如下： 1 2 3 4 5 6 7 private static void deleteQueue(DLIClient client) throws DLIException { //调用DLIClient对象的getQueue("queueName")方法获取queueName这个队列 String qName = "queueName"; Queue queue = client.getQueue(qName); //使用deleteQueue()方法删除queueName队列 queue.deleteQueue(); }

创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient client) throws DLIException { //通过调用DLIClient对象的createQueue方法创建队列 String qName = "queueName"; int cu = 16; ChargingMode mode = ChargingMode.CHARGING_MODE_CU; String description = "test for sdk"; Queue queue = client.createQueue(qName, cu, mode, description); System.out.println("---------- createQueue success ---------"); }

删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下： 1 2 3 4 5 6 7 8 //调用Database对象的deleteDatabase接口删除数据库, //其中Database对象通过调用对象DLIClient的getDatabase(String databaseName)接口获得. private static void deletedatabase(Database database) throws DLIException { String dbName = "databasename"; database=client.getDatabase(dbName); database.deleteDatabase(); System.out.println("delete db " + dbName); } 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。

创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库，示例代码如下： 1 2 3 4 5 6 7 private static Database createDatabase(DLIClient client) throws DLIException { //通过调用DLIClient对象的createDatabase方法创建数据库 String dbName = "databasename"; Database database = client.createDatabase(dbName); System.out.println("create database:" + database); return database; } “default”为内置数据库，不能创建名为“default”的数据库。

删除资源包 您可以使用该接口删除已上传的资源包，示例代码如下： private static void deleteResource(DLIClient client) throws DLIException { String resourceName = "xxxxx"; //group:资源包不在分组内，可不传入该参数 String group= "xxxxxx"; // 调用DLIClient对象的deleteResource方法删除资源 client.deleteResource(resourceName,group); System.out.println("---------- deleteResource success ---------"); }

查询指定资源包 您可以使用该接口查询指定的资源包信息，示例代码如下： private static void getResource(DLIClient client) throws DLIException { String resourceName = "xxxxx"; //group:资源包不在分组内，可不传入该参数 String group= "xxxxxx"; // 调用DLIClient对象的getResource方法查询指定资源包 PackageResource packageResource=client.getResource(resourceName,group); System.out.println(packageResource); }

查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 private static void listAllResources(DLIClient client) throws DLIException { System.out.println("list all resources..."); // 通过调用DLIClient对象的listAllResources方法查询队列资源列表 Resources resources = client.listAllResources(); for (PackageResource packageResource : resources.getPackageResources()) { System.out.println("Package resource name:" + packageResource.getResourceName()); } for (ModuleResource moduleResource : resources.getModuleResources()) { System.out.println("Module resource name:" + moduleResource.getModuleName()); } }

日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。 current_date current_date() DATE 返回当前日期，如2016-07-04。 current_timestamp current_timestamp() TIMESTAMP 返回当前时间，如2016-07-04 11:18:11.685。 date_add date_add(string startdate, int days) STRING或DATE 给定时间，在此基础上加上指定的时间段。 dateadd dateadd(string date, bigint delta, string datepart) STRING或DATE dateadd函数用于按照指定的单位datepart和幅度delta修改date的值。 date：必填。日期值，string类型。 使用的时间格式为yyyy-mm-dd hh:mi:ss，例如2021-08-28 00:00:00。 delta：必填。修改幅度，BIGINT类型。 datepart：必填。指定修改的单位，STRING类型常量。 date_sub date_sub(string startdate, int days) STRING 给定时间，在此基础上减去指定的时间段。 date_format date_format(string date, string format) STRING 用于将date按照format指定的格式转换为字符串。 datediff datediff(string date1, string date2) BIGINT datediff函数用于计算两个时间date1、date2的日期差值。 datediff1 datediff1(string date1, string date2, string datepart) BIGINT datediff1函数用于计算两个时间date1、date2的差值，将差值以指定的时间单位datepart表示。 datepart datepart（string date，string datepart） BIGINT 取日期中符合指定时间单位的字段值。 datetrunc datetrunc (string date, string datepart) STRING datetrunc函数用于计算将日期date按照datepart指定的时间单位进行截取后的日期值。 date：必填。格式为yyyy-mm-dd或yyyy-mm-dd hh:mi:ss。 datepart：必填。STRING类型常量。支持扩展的日期格式。 day/dayofmonth day(string date)、 dayofmonth(string date) INT 返回指定时间的日期。 from_unixtime from_unixtime(bigint unixtime) STRING 将时间戳转换为时间格式，格式为“yyyy-MM-dd HH:mm:ss”或“yyyyMMddHHmmss.uuuuuu”。 例如：select FROM_UNIXTIME(1608135036,'yyyy-MM-dd HH:mm:ss') from_utc_timestamp from_utc_timestamp(string timestamp, string timezone) TIMESTAMP 将UTC的时间戳转化为timezone所对应的时间戳。 getdate getdate() STRING 获取当前系统时间。 hour hour(string date) INT 返回指定时间的小时，范围为0到23。 isdate isdate(string date , string format) BOOLEAN date：必填。STRING类型。会隐式转换为STRING类型后参与运算。 format：必填。STRING类型常量，不支持日期扩展格式。如果format中出现多余的格式串，则只取第一个格式串对应的日期数值，其余的会被视为分隔符。例如isdate("1234-yyyy", "yyyy-yyyy")，会返回True。 last_day last_day(string date) DATE 返回date所在月份的最后一天，格式为yyyy-MM-dd，如2015-08-31。 lastday lastday(string date) STRING lastday函数用于返回date所在月的最后一天，返回值STRING类型，格式为yyyy-mm-dd hh:mi:ss。 minute minute(string date) INT 返回指定时间的分钟，范围为0到59。 month month(string date) INT 返回指定时间的月份，范围为1至12月。 months_between months_between(string date1, string date2) DOUBLE 返回date1与date2之间的月份差。 next_day next_day(string start_date, string day_of_week) DATE 返回start_date之后最接近day_of_week的日期，格式为yyyy-MM-dd，day_of_week表示一周内的星期（如Monday、FRIDAY）。 quarter quarter(string date) INT 返回该date/timestamp/string所在的季度，如quarter('2015-04-01')=2。 second second(string date) INT 返回指定时间的秒，范围为0到59。 to_char to_char(string date, string format) STRING 将日期按照指定格式转换为字符串。 to_date to_date(string timestamp) DATE 返回时间中的年月日，例如：to_date("1970-01-01 00:00:00") = "1970-01-01" to_date1 to_date1(string date, string format) STRING 返回STRING类型，格式为yyyy-mm-dd hh:mi:ss。date或format值为NULL时，返回NULL。 将指定格式的字符串转换为日期值。 to_utc_timestamp to_utc_timestamp(string timestamp, string timezone) TIMESTAMP 将timezone所对应的时间戳转换为UTC的时间戳。 trunc trunc(string date, string format) DTAE 将date按照特定的格式进行清零操作，支持格式为MONTH/MON/MM, YEAR/YYYY/YY，如trunc('2015-03-17', 'MM') = 2015-03-01。 unix_timestamp unix_timestamp(string timestamp, string pattern) BIGINT 如果不带参数的调用，返回一个Unix时间戳（从“1970-01-01 00:00:00”到现在的秒数）为无符号整数。 weekday weekday (string date) INT 返回日期值是当前周的第几天。 weekofyear weekofyear(string date) INT 返回指定日期是一年中的第几周，范围为0到53。 year year(string date) INT 返回指定日期中的年份。 父主题： 日期函数

参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING TINYINT SMALLINT INT BIGINT 代表待处理的时间。 DATE或STRING类型的日期值，或TINYINT、SMALLINT、INT或BIGINT类型的时间戳。 格式： yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 timezone 是 STRING 代表需要转换的目标时区。

监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queue_job_succeed_num 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queue_job_failed_num 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queue_job_cancelled_num 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queue_alloc_cu_num 队列CU分配量 展示用户队列的CU分配情况。 ≥0 队列 5分钟 queue_min_cu_num 队列最小CU 展示用户队列中的最小CU。 ≥0 队列 5分钟 queue_max_cu_num 队列最大CU 展示用户队列中的最大CU。 ≥0 队列 5分钟 queue_priority 队列优先级 展示用户队列的优先级。 1~100 队列 5分钟 queue_cpu_usage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queue_disk_usage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queue_disk_used 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queue_mem_usage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queue_mem_used 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flink_read_records_per_second Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_write_records_per_second Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_read_records_total Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_write_records_total Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_read_bytes_per_second Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flink_write_bytes_per_second Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flink_read_bytes_total Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flink_write_bytes_total Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flink_cpu_usage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flink_mem_usage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flink_max_op_latency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。Flink时间模型具体可以参考配置时间模型。 ≥0 Flink作业 10秒钟 flink_max_op_backpressure_level Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟 elastic_resource_pool_cpu_usage 弹性资源池CPU使用率 展示用户弹性资源池的CPU使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_mem_usage 弹性资源池内存使用率 展示用户弹性资源池的内存使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_disk_usage 弹性资源池磁盘使用率 展示用户弹性资源池的磁盘使用率。 0~100 弹性资源池 5分钟 elastic_resource_pool_disk_max_usage 弹性资源池磁盘使用率最大值 展示用户弹性资源池的磁盘使用率最大值。 0~100 弹性资源池 5分钟 elastic_resource_pool_cu_num 弹性资源池CU使用量 展示用户弹性资源池的CU使用量。 ≥0 弹性资源池 5分钟 elastic_resource_pool_alloc_cu_num 弹性资源池CU分配量 展示用户弹性资源池的CU分配情况。 ≥0 弹性资源池 5分钟 elastic_resource_pool_min_cu_num 弹性资源池最小CU 展示用户弹性资源池的最小CU。 ≥0 弹性资源池 5分钟 elastic_resource_pool_max_cu_num 弹性资源池最大CU 展示用户弹性资源池的最大CU。 ≥0 弹性资源池 5分钟

Flink 1.7.2 依赖包 Flink 1.7.2作业程序开发的样例代码可以参考DLI样例代码中的“luxor-demo\dli-flink-demo”。 表6 Flink 1.7.2 依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.1.3.jar httpcore-4.4.4.jar bcprov-jdk15on-1.60.jar flink-cep_2.11-1.7.0.jar httpcore-nio-4.4.4.jar commons-codec-1.9.jar flink-cep-scala_2.11-1.7.0.jar java-xmlbuilder-1.1.jar commons-configuration-1.7.jar flink-dist_2.11-1.7.0.jar jna-4.1.0.jar deeplearning4j-core-0.9.1.jar flink-gelly_2.11-1.7.0.jar libtensorflow-1.12.0.jar deeplearning4j-nlp-0.9.1.jar flink-gelly-scala_2.11-1.7.0.jar log4j-over-slf4j-1.7.21.jar deeplearning4j-nn-0.9.1.jar flink-ml_2.11-1.7.0.jar logback-classic-1.2.3.jar ejml-cdense-0.33.jar flink-python_2.11-1.7.0.jar logback-core-1.2.3.jar ejml-core-0.33.jar flink-queryable-state-runtime_2.11-1.7.0.jar nd4j-api-0.9.1.jar ejml-ddense-0.33.jar flink-shaded-curator-1.7.0.jar nd4j-native-0.9.1.jar ejml-dsparse-0.33.jar flink-shaded-hadoop2-uber-1.7.0.jar nd4j-native-api-0.9.1.jar ejml-experimental-0.33.jar flink-table_2.11-1.7.0.jar nd4j-native-platform-0.9.1.jar ejml-fdense-0.33.jar guava-26.0-jre.jar okhttp-3.14.8.jar ejml-simple-0.33.jar hadoop-3.1.1-41-20201014.085840-4.jar okio-1.14.0.jar ejml-zdense-0.33.jar httpasyncclient-4.1.2.jar slf4j-api-1.7.21.jar elsa-3.0.0-M7.jar httpclient-4.5.12.jar tensorflow-1.12.0.jar log4j-api-2.16.0.jar log4j-core-2.16.0.jar log4j-api-2.8.2.jar log4j-core-2.8.2.jar - -

Flink 1.12依赖包 表4 Flink 1.12依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar flink-json-1.12.2-ei-313001-dli-2022011002.jar libtensorflow-1.12.0.jar bcprov-jdk15on-1.60.jar flink-kubernetes_2.11-1.12.2-ei-313001-dli-2022011002.jar log4j-1.2-api-2.17.1.jar clickhouse-jdbc-0.3.1-ei-313001-SNAPSHOT.jar flink-metrics-prometheus_2.11-1.12.2-ei-313001-dli-2022011002.jar log4j-api-2.17.1.jar commons-codec-1.9.jar flink-obs-hadoop-fs-2.0.0-20220226.034421-73.jar log4j-core-2.17.1.jar commons-configuration-1.7.jar flink-s3-fs-hadoop-1.12.2.jar log4j-slf4j-impl-2.17.1.jar dataflow-fs-obs-2.0.0-20220226.034402-190.jar flink-shaded-zookeeper-3.6.3-ei-313001-SNAPSHOT.jar luxor-encrypt-2.0.0-20220405.072004-199.jar deeplearning4j-core-0.9.1.jar flink-sql-avro-1.12.2-ei-313001-dli-2022011002.jar luxor-fs3-2.0.0-20220405.072025-195.jar deeplearning4j-nlp-0.9.1.jar flink-sql-avro-confluent-registry-1.12.2-ei-313001-dli-2022011002.jar luxor-obs-fs3-2.0.0-20220405.072030-195.jar deeplearning4j-nn-0.9.1.jar flink-table_2.11-1.12.2-ei-313001-dli-2022011002.jar manager-hadoop-security-crypter-8.1.3-313001-SNAPSHOT.jar ejml-cdense-0.33.jar flink-table-blink_2.11-1.12.2-ei-313001-dli-2022011002.jar manager-wc2frm-8.1.3-313001-SNAPSHOT.jar ejml-core-0.33.jar guava-18.0.jar mrs-obs-provider-3.1.1.49.jar ejml-ddense-0.33.jar guava-26.0-jre.jar nd4j-api-0.9.1.jar ejml-dsparse-0.33.jar hadoop-hdfs-client-3.1.1-ei-302002.jar nd4j-native-0.9.1.jar ejml-experimental-0.33.jar hadoop-3.1.1-46.jar nd4j-native-api-0.9.1.jar ejml-fdense-0.33.jar hadoop-plugins-8.1.3-313001-SNAPSHOT.jar nd4j-native-platform-0.9.1.jar ejml-simple-0.33.jar httpasyncclient-4.1.2.jar okhttp-3.14.8.jar ejml-zdense-0.33.jar httpclient-4.5.3.jar okio-1.14.0.jar elsa-3.0.0-M7.jar httpcore-4.4.4.jar ranger-obs-client-0.1.1.jar flink-changelog-json-1.12.2-ei-313001-dli-2022011002.jar httpcore-nio-4.4.4.jar secComponentApi-1.0.5.jar flink-csv-1.12.2-ei-313001-dli-2022011002.jar java-xmlbuilder-1.1.jar slf4j-api-1.7.26.jar flink-dist_2.11-1.12.2-ei-313001-dli-2022011002.jar jna-4.1.0.jar tensorflow-1.12.0.jar

Flink 1.10依赖包 Flink 1.10作业程序开发的样例代码可以参考使用Flink Jar写入数据到OBS开发指南。 2020年12月之后创建的新队列才能使用Flink 1.10依赖包。 表5 Flink 1.10依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.20.6.1.jar java-xmlbuilder-1.1.jar bcprov-jdk15on-1.60.jar flink-cep_2.11-1.10.0.jar jna-4.1.0.jar commons-codec-1.9.jar flink-cep-scala_2.11-1.10.0.jar libtensorflow-1.12.0.jar commons-configuration-1.7.jar flink-dist_2.11-1.10.0.jar log4j-over-slf4j-1.7.26.jar deeplearning4j-core-0.9.1.jar flink-python_2.11-1.10.0.jar logback-classic-1.2.3.jar deeplearning4j-nlp-0.9.1.jar flink-queryable-state-runtime_2.11-1.10.0.jar logback-core-1.2.3.jar deeplearning4j-nn-0.9.1.jar flink-sql-client_2.11-1.10.0.jar nd4j-api-0.9.1.jar ejml-cdense-0.33.jar flink-state-processor-api_2.11-1.10.0.jar nd4j-native-0.9.1.jar ejml-core-0.33.jar flink-table_2.11-1.10.0.jar nd4j-native-api-0.9.1.jar ejml-ddense-0.33.jar flink-table-blink_2.11-1.10.0.jar nd4j-native-platform-0.9.1.jar ejml-dsparse-0.33.jar guava-26.0-jre.jar okhttp-3.14.8.jar ejml-experimental-0.33.jar hadoop-3.1.1-41.jar okio-1.14.0.jar ejml-fdense-0.33.jar httpasyncclient-4.1.2.jar secComponentApi-1.0.5.jar ejml-simple-0.33.jar httpclient-4.5.3.jar slf4j-api-1.7.26.jar ejml-zdense-0.33.jar httpcore-4.4.4.jar tensorflow-1.12.0.jar elsa-3.0.0-M7.jar httpcore-nio-4.4.4.jar -

Spark 2.3.2 依赖包 表3 Spark 2.3.2 依赖包 依赖包名称 accessors-smart-1.2.jar HikariCP-java7-2.4.12.jar logging-interceptor-3.14.4.jar activation-1.1.1.jar hive-common-1.2.1-2.1.0.dli-20201111.064115-91.jar luxor-encrypt-2.1.0-20201106.065437-53.jar aircompressor-0.8.jar hive-exec-1.2.1-2.1.0.dli-20201111.064444-91.jar luxor-fs3-2.1.0-20201106.065612-53.jar alluxio-2.3.1-luxor-SNAPSHOT-client.jar hive-metastore-1.2.1-2.1.0.dli-20201111.064230-91.jar luxor-obs-fs3-2.1.0-20201106.065616-53.jar antlr-2.7.7.jar hk2-api-2.4.0-b34.jar luxor-rpc_2.11-2.1.0-20201106.065541-53.jar antlr4-runtime-4.8-1.jar hk2-locator-2.4.0-b34.jar luxor-rpc-protobuf2-2.1.0-20201106.065551-53.jar antlr-runtime-3.4.jar hk2-utils-2.4.0-b34.jar lz4-java-1.7.1.jar aopalliance-1.0.jar hppc-0.7.2.jar machinist_2.11-0.6.1.jar aopalliance-repackaged-2.4.0-b34.jar htrace-core4-4.2.0-incubating-1.0.0.jar macro-compat_2.11-1.1.1.jar apache-log4j-extras-1.2.17.jar httpclient-4.5.4.jar metrics-core-3.1.5.jar arpack_combined_all-0.1.jar httpcore-4.4.7.jar metrics-graphite-3.1.5.jar arrow-format-0.8.0.jar ivy-2.4.0.jar metrics-jmx-4.1.12.1.jar arrow-memory-0.8.0.jar j2objc-annotations-1.3.jar metrics-json-3.1.5.jar arrow-vector-0.8.0.jar jackson-annotations-2.10.0.jar metrics-jvm-3.1.5.jar asm-5.0.4.jar jackson-core-2.10.0.jar minlog-1.3.0.jar audience-annotations-0.5.0.jar jackson-core-asl-1.9.13-atlassian-4.jar mssql-jdbc-6.2.1.jre7.jar automaton-1.11-8.jar jackson-databind-2.10.0.jar netty-3.10.6.Final.jar avro-1.7.7.jar jackson-dataformat-yaml-2.10.0.jar netty-all-4.1.51.Final.jar avro-ipc-1.7.7.jar jackson-datatype-jsr310-2.10.3.jar nimbus-jose-jwt-8.19.jar avro-ipc-1.7.7-tests.jar jackson-jaxrs-base-2.10.3.jar objenesis-2.1.jar avro-mapred-1.7.7-hadoop2.jar jackson-jaxrs-json-provider-2.10.3.jar okhttp-3.14.4.jar java-sdk-bundle-1.11.271.jar jackson-mapper-asl-1.9.13-atlassian-4.jar okio-1.17.2.jar base64-2.3.8.jar jackson-module-jaxb-annotations-2.10.3.jar opencsv-2.3.jar bcpkix-jdk15on-1.66.jar jackson-module-paranamer-2.10.0.jar opencsv-4.6.jar bcprov-jdk15on-1.66.jar jackson-module-scala_2.11-2.10.0.jar opencv-4.3.0-2.jar bonecp-0.8.0.RELEASE.jar jakarta.activation-api-1.2.1.jar orc-core-1.4.4-nohive.jar breeze_2.11-0.13.2.jar jakarta.xml.bind-api-2.3.2.jar orc-mapreduce-1.4.4-nohive.jar breeze-macros_2.11-0.13.2.jar janino-3.0.8.jar oro-2.0.8.jar calcite-avatica-1.2.0-incubating.jar javacpp-1.5.4.jar osgi-resource-locator-1.0.1.jar calcite-core-1.2.0-incubating.jar javacpp-1.5.4-linux-x86_64.jar paranamer-2.8.jar calcite-linq4j-1.2.0-incubating.jar javacv-1.5.4.jar parquet-column-1.8.3.jar checker-qual-2.11.1.jar JavaEWAH-1.1.7.jar parquet-common-1.8.3.jar chill_2.11-0.8.4.jar javassist-3.18.1-GA.jar parquet-encoding-1.8.3.jar chill-java-0.8.4.jar javax.annotation-api-1.2.jar parquet-format-2.3.1.jar commons-beanutils-1.9.4.jar javax.inject-1.jar parquet-hadoop-1.8.3.jar commons-cli-1.2.jar javax.inject-2.4.0-b34.jar parquet-hadoop-bundle-1.6.0.jar commons-codec-2.0-20130428.202122-59.jar javax.servlet-api-3.1.0.jar parquet-jackson-1.8.3.jar commons-collections-3.2.2.jar javax.ws.rs-api-2.0.1.jar parquet-format-2.3.1.jar commons-collections4-4.2.jar java-xmlbuilder-1.1.jar parquet-hadoop-1.8.3.jar commons-compiler-3.0.8.jar javolution-5.3.1.jar parquet-hadoop-bundle-1.6.0.jar commons-compress-1.4.1.jar jaxb-api-2.2.11.jar parquet-jackson-1.8.3.jar commons-configuration2-2.1.1.jar jcip-annotations-1.0-1.jar postgresql-42.2.14.jar commons-crypto-1.0.0-20191105.jar jcl-over-slf4j-1.7.26.jar protobuf-java-2.5.0.jar commons-daemon-1.0.13.jar jdo-api-3.0.1.jar py4j-0.10.7.jar commons-dbcp-1.4.jar jersey-client-2.23.1.jar pyrolite-4.13.jar commons-dbcp2-2.7.0.jar jersey-common-2.23.1.jar re2j-1.1.jar commons-httpclient-3.1.jar jersey-container-servlet-2.23.1.jar RoaringBitmap-0.5.11.jar commons-io-2.5.jar jersey-container-servlet-core-2.23.1.jar scala-compiler-2.11.12.jar commons-lang-2.6.jar jersey-guava-2.23.1.jar scala-library-2.11.12.jar commons-lang3-3.5.jar jersey-media-jaxb-2.23.1.jar scalap-2.11.0.jar commons-logging-1.2.jar jersey-server-2.23.1.jar scala-parser-combinators_2.11-1.1.0.jar commons-math3-3.4.1.jar jets3t-0.9.4.jar scala-reflect-2.11.12.jar commons-net-2.2.jar jetty-http-9.4.31.v20200723.jar scala-xml_2.11-1.0.5.jar commons-pool-1.5.4.jar jetty-io-9.4.31.v20200723.jar secComponentApi-1.0.5c.jar commons-pool2-2.8.0.jar jetty-security-9.4.31.v20200723.jar shapeless_2.11-2.3.2.jar commons-text-1.3.jar jetty-server-9.4.31.v20200723.jar slf4j-api-1.7.30.jar compress-lzf-1.0.3.jar jetty-servlet-9.4.31.v20200723.jar slf4j-log4j12-1.7.30.jar core-1.1.2.jar jetty-util-9.4.31.v20200723.jar snakeyaml-1.24.jar curator-client-4.2.0.jar jetty-util-ajax-9.4.31.v20200723.jar snappy-java-1.1.7.5.jar curator-framework-4.2.0.jar jetty-webapp-9.4.31.v20200723.jar spark-catalyst_2.11-2.3.2.0101-2.1.0.dli-20201111.073826-143.jar curator-recipes-2.7.1.jar jetty-xml-9.4.31.v20200723.jar spark-core_2.11-2.3.2.0101-.0.dli-20201111.073836-134.jar datanucleus-api-jdo-3.2.6.jar joda-time-2.9.3.jar spark-graphx_2.11-2.3.2.0101-2.1.0.dli-20201111.073847-129.jar datanucleus-core-3.2.10.jar jodd-core-4.2.0.jar spark-hive_2.11-2.3.2.0101-.0.dli-20201111.073854-132.jar datanucleus-rdbms-3.2.9.jar json-20200518.jar spark-kubernetes_2.11-2.3.2.0101-2.1.0.dli-20201111.073916-85.jar derby-10.12.1.1.jar json4s-ast_2.11-3.2.11.jar spark-kvstore_2.11-2.3.2.0101-2.1.0.dli-20201111.073933-127.jar dnsjava-2.1.7.jar json4s-core_2.11-3.2.11.jar spark-launcher_2.11-2.3.2.0101-2.1.0.dli-20201111.073940-127.jar ehcache-3.3.1.jar json4s-jackson_2.11-3.2.11.jar spark-mllib_2.11-2.3.2.0101-2.1.0.dli-20201111.073946-127.jar eigenbase-properties-1.1.5.jar json-sanitizer-1.2.1.jar spark-mllib-local_2.11-2.3.2.0101-2.1.0.dli-20201111.073953-127.jar error_prone_annotations-2.3.4.jar json-smart-2.3.jar spark-network-common_2.11-2.3.2.0101-2.1.0.dli-20201111.073959-127.jar failureaccess-1.0.1.jar jsp-api-2.1.jar spark-network-shuffle_2.11-2.3.2.0101-2.1.0.dli-20201111.074007-127.jar fastutil-8.2.3.jar jsr305-3.0.2.jar spark-om_2.11-2.3.2.0101-.0.dli-20201111.074019-125.jar ffmpeg-4.3.1-1.5.4.jar jta-1.1.jar spark-repl_2.11-2.3.2.0101-2.1.0.dli-20201111.074028-125.jar ffmpeg-4.3.1-1.5.4-linux-x86_64.jar jtransforms-2.4.0.jar spark-sketch_2.11-2.3.2.0101-2.1.0.dli-20201111.074035-125.jar flatbuffers-1.2.0-3f79e055.jar jul-to-slf4j-1.7.26.jar spark-sql_2.11-2.3.2.0101-2.1.0.dli-20201111.074041-126.jar generex-1.0.2.jar junit-4.11.jar spark-streaming_2.11-2.3.2.0101-2.1.0.dli-20201111.074100-123.jar geronimo-jcache_1.0_spec-1.0-alpha-1.jar kerb-admin-1.0.1.jar spark-tags_2.11-2.3.2.0101-2.1.0.dli-20201111.074136-123.jar gson-2.2.4.jar kerb-client-1.0.1.jar spark-tags_2.11-2.3.2.0101-2.1.0.dli-20201111.074141-124-tests.jar guava-29.0-jre.jar kerb-common-1.0.1.jar spark-unsafe_2.11-2.3.2.0101-2.1.0.dli-20201111.074144-123.jar guice-4.0.jar kerb-core-1.0.1.jar spark-uquery_2.11-2.3.2.0101-2.1.0.dli-20201111.074906-210.jar guice-servlet-4.0.jar kerb-crypto-1.0.1.jar spark-yarn_2.11-2.3.2.0101-2.1.0.dli-20201111.074151-123.jar hadoop-annotations-3.1.1-ei-302002.jar kerb-identity-1.0.1.jar spire_2.11-0.13.0.jar hadoop-auth-3.1.1-ei-302002.jar kerb-server-1.0.1.jar spire-macros_2.11-0.13.0.jar hadoop-3.1.1-ei-302002.jar kerb-simplekdc-1.0.1.jar ST4-4.3.1.jar hadoop-client-3.1.1-ei-302002.jar kerb-util-1.0.1.jar stax2-api-3.1.4.jar hadoop-common-3.1.1-ei-302002.jar kerby-asn1-1.0.1.jar stax-api-1.0-2.jar hadoop-hdfs-3.1.1-ei-302002.jar kerby-config-1.0.1.jar stream-2.7.0.jar hadoop-hdfs-client-3.1.1-ei-302002.jar kerby-pkix-1.0.1.jar stringtemplate-3.2.1.jar hadoop-3.1.1-41.jar kerby-util-1.0.1.jar token-provider-1.0.1.jar hadoop-mapreduce-client-common-3.1.1-ei-302002.jar kerby-xdr-1.0.1.jar univocity-parsers-2.5.9.jar hadoop-mapreduce-client-core-3.1.1-ei-302002.jar kryo-shaded-3.0.3.jar validation-api-1.1.0.Final.jar hadoop-mapreduce-client-jobclient-3.1.1-ei-302002.jar kubernetes-client-4.9.2-20200804.jar woodstox-core-5.0.3.jar hadoop-minikdc-3.1.1-ei-302002.jar kubernetes-model-4.9.2-20200804.jar xbean-asm5-shaded-4.4.jar hadoop-yarn-api-3.1.1-ei-302002.jar kubernetes-model-common-4.9.2-20200804.jar xercesImpl-2.12.0.jar hadoop-yarn-client-3.1.1-ei-302002.jar leveldbjni-all-1.8-20191105.jar xml-apis-1.4.01.jar hadoop-yarn-common-3.1.1-ei-302002.jar libfb303-0.9.3.jar xz-1.0.jar hadoop-yarn-registry-3.1.1-ei-302002.jar libthrift-0.12.0.jar zjsonpatch-0.3.0.jar hadoop-yarn-server-common-3.1.1-ei-302002.jar listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar zookeeper-3.5.6-ei-302002.jar hadoop-yarn-server-web-proxy-3.1.1-ei-302002.jar log4j-1.2.17-cloudera1.jar zookeeper-jute-3.5.6-ei-302002.jar hamcrest-core-1.3.jar log4j-rolling-appender-20131024-2017.jar zstd-jni-1.4.4-11.jar

Spark 2.4.5 依赖包 表2 Spark 2.4.5 依赖包 依赖包名称 JavaEWAH-1.1.7.jar httpclient-4.5.6.jar lucene-queryparser-7.7.2.jar RoaringBitmap-0.7.45.jar httpcore-4.4.10.jar lucene-sandbox-7.7.2.jar ST4-4.3.1.jar ivy-2.4.0.jar luxor-encrypt-2.0.0-20220623.010726-213.jar accessors-smart-1.2.jar jackson-annotations-2.11.4.jar luxor-fs3-2.0.0-20220623.010750-209.jar activation-1.1.1.jar jackson-core-2.11.4.jar luxor-obs-fs3-2.0.0-20220623.010756-209.jar aircompressor-0.16.jar jackson-core-asl-1.9.13-atlassian-4.jar luxor-rpc_2.11-2.0.0-20220623.010737-182.jar alluxio-2.3.1-luxor-SNAPSHOT-client.jar jackson-databind-2.11.4.jar luxor-transport-2.0.0-20220623.010744-71.jar annotations-17.0.0.jar jackson-dataformat-yaml-2.11.4.jar lz4-java-1.7.1.jar antlr-2.7.7.jar jackson-datatype-jsr310-2.11.2.jar machinist_2.11-0.6.1.jar antlr-runtime-3.4.jar jackson-jaxrs-base-2.10.3.jar macro-compat_2.11-1.1.1.jar antlr4-runtime-4.8-1.jar jackson-jaxrs-json-provider-2.10.3.jar metrics-core-3.1.5.jar aopalliance-1.0.jar jackson-mapper-asl-1.9.13-atlassian-4.jar metrics-graphite-3.1.5.jar aopalliance-repackaged-2.4.0-b34.jar jackson-module-jaxb-annotations-2.10.3.jar metrics-jmx-4.1.12.1.jar apache-log4j-extras-1.2.17.jar jackson-module-paranamer-2.11.4.jar metrics-json-3.1.5.jar arpack_combined_all-0.1.jar jackson-module-scala_2.11-2.11.4.jar metrics-jvm-3.1.5.jar arrow-format-0.12.0.jar jakarta.activation-api-1.2.1.jar minlog-1.3.0.jar arrow-memory-0.12.0.jar jakarta.xml.bind-api-2.3.2.jar mssql-jdbc-6.2.1.jre7.jar arrow-vector-0.12.0.jar janino-3.0.9.jar netty-all-4.1.51.Final.jar asm-5.0.4.jar java-util-1.9.0.jar nimbus-jose-jwt-8.19.jar audience-annotations-0.5.0.jar java-xmlbuilder-1.1.jar objenesis-2.5.1.jar automaton-1.11-8.jar javassist-3.18.1-GA.jar okhttp-3.14.9.jar avro-1.8.2.jar javax.annotation-api-1.2.jar okio-1.17.2.jar avro-ipc-1.8.2.jar javax.inject-1.jar opencsv-2.3.jar avro-mapred-1.8.2.jar javax.inject-2.4.0-b34.jar opencsv-4.6.jar java-sdk-bundle-1.11.856.jar javax.servlet-api-3.1.0.jar opencv-4.3.0-2.jar base64-2.3.8.jar javax.ws.rs-api-2.0.1.jar orc-core-1.6.8-nohive.jar bcpkix-jdk15on-1.66.jar javolution-5.3.1.jar orc-mapreduce-1.6.8-nohive.jar bcprov-jdk15on-1.67.jar jaxb-api-2.2.11.jar orc-shims-1.6.8.jar bonecp-0.8.0.RELEASE.jar jcip-annotations-1.0-1.jar oro-2.0.8.jar breeze-macros_2.11-0.13.2.jar jcl-over-slf4j-1.7.30.jar osgi-resource-locator-1.0.1.jar breeze_2.11-0.13.2.jar jdo-api-3.0.1.jar paranamer-2.8.jar calcite-avatica-1.2.0-incubating.jar jersey-client-2.23.1.jar parquet-column-1.12.2.jar chill-java-0.9.3.jar jersey-common-2.23.1.jar parquet-common-1.12.2.jar chill_2.11-0.9.3.jar jersey-container-servlet-2.23.1.jar parquet-encoding-1.12.2.jar commons-beanutils-1.9.4.jar jersey-container-servlet-core-2.23.1.jar parquet-format-structures-1.12.2.jar commons-cli-1.2.jar jersey-guava-2.23.1.jar parquet-hadoop-1.12.2.jar commons-codec-1.15.jar jersey-media-jaxb-2.23.1.jar parquet-hadoop-bundle-1.6.0.jar commons-collections-3.2.2.jar jersey-server-2.23.1.jar parquet-jackson-1.12.2.jar commons-collections4-4.2.jar jets3t-0.9.4.jar postgresql-42.2.14.jar commons-compiler-3.0.9.jar jettison-1.1.jar protobuf-java-2.5.0.jar commons-compress-1.4.1.jar jetty-http-9.4.34.v20201102.jar py4j-0.10.7.jar commons-configuration2-2.1.1.jar jetty-io-9.4.34.v20201102.jar pyrolite-4.13.jar commons-crypto-1.0.0-20191105.jar jetty-security-9.4.34.v20201102.jar re2j-1.1.jar commons-daemon-1.0.13.jar jetty-server-9.4.34.v20201102.jar scala-compiler-2.11.12.jar commons-dbcp2-2.7.0.jar jetty-servlet-9.4.34.v20201102.jar scala-library-2.11.12.jar commons-httpclient-3.1.jar jetty-util-9.4.34.v20201102.jar scala-parser-combinators_2.11-1.1.2.jar commons-io-2.5.jar jetty-util-ajax-9.4.34.v20201102.jar scala-reflect-2.11.12.jar commons-lang-2.6.jar jetty-webapp-9.4.34.v20201102.jar scala-xml_2.11-1.0.5.jar commons-lang3-3.5.jar jetty-xml-9.4.34.v20201102.jar secComponentApi-1.0.6.jar commons-logging-1.2.jar joda-time-2.9.3.jar shapeless_2.11-2.3.2.jar commons-math3-3.4.1.jar jodd-core-3.5.2.jar shims-0.7.45.jar commons-net-3.1.jar json-20200518.jar slf4j-api-1.7.30.jar commons-pool2-2.8.0.jar json-io-2.5.1.jar slf4j-log4j12-1.7.30.jar commons-text-1.3.jar json-sanitizer-1.2.1.jar snakeyaml-1.26.jar compress-lzf-1.0.3.jar json-smart-2.3.jar snappy-java-1.1.8.2.jar core-1.1.2.jar json4s-ast_2.11-3.5.3.jar solr-core-7.7.2.jar crypter-0.0.6.jar json4s-core_2.11-3.5.3.jar solr-solrj-7.7.2.jar curator-client-4.2.0.jar json4s-jackson_2.11-3.5.3.jar spark-avro_2.11-2.4.5.0100-2.0.0.dli-20220617.085536-9.jar curator-framework-4.2.0.jar json4s-scalap_2.11-3.5.3.jar spark-avro_2.11-4.0.0.jar curator-recipes-2.7.1.jar jsp-api-2.1.jar spark-catalyst_2.11-2.4.5.0100-2.0.0.dli-20220617.085405-16.jar datanucleus-api-jdo-3.2.6.jar jsr305-1.3.9.jar spark-core_2.11-2.4.5.0100-2.0.0.dli-20220617.085327-16.jar datanucleus-core-3.2.10.jar jta-1.1.jar spark-graphx_2.11-2.4.5.0100-.0.dli-20220617.085336-16.jar datanucleus-rdbms-3.2.9.jar jtransforms-2.4.0.jar spark-hive_2.11-2.4.5.0100-2.0.0.dli-20220617.085423-16.jar derby-10.14.2.0.jar jts-core-1.16.1.jar spark-kubernetes_2.11-2.4.5.0100-2.0.0.dli-20220617.085519-16.jar dnsjava-2.1.7.jar jul-to-slf4j-1.7.30.jar spark-kvstore_2.11-2.4.5.0100-2.0.0.dli-20220617.085249-16.jar ecj-3.21.0.jar junit-4.11.jar spark-launcher_2.11-2.4.5.0100-2.0.0.dli-20220617.085435-16.jar ehcache-3.3.1.jar kerb-admin-1.0.1.jar spark-mllib-local_2.11-2.4.5.0100-2.0.0.dli-20220617.085349-16.jar expiringmap-0.5.9.jar kerb-client-1.0.1.jar spark-mllib_2.11-2.4.5.0100-2.0.0.dli-20220617.085342-16.jar fastutil-8.2.3.jar kerb-common-1.0.1.jar spark-network-common_2.11-2.4.5.0100-2.0.0.dli-20220617.085254-16.jar flatbuffers-java-1.9.0.jar kerb-core-1.0.1.jar spark-network-shuffle_2.11-2.4.5.0100-2.0.0.dli-20220617.085300-16.jar fst-2.50.jar kerb-crypto-1.0.1.jar spark-om_2.11-2.4.5.0100-2.0.0.dli-20220617.085316-16.jar generex-1.0.2.jar kerb-identity-1.0.1.jar spark-repl_2.11-2.4.5.0100-2.0.0.dli-20220617.085430-16.jar geronimo-jcache_1.0_spec-1.0-alpha-1.jar kerb-server-1.0.1.jar spark-sketch_2.11-2.4.5.0100-2.0.0.dli-20220617.085243-16.jar gson-2.2.4.jar kerb-simplekdc-1.0.1.jar spark-sql_2.11-2.4.5.0100-2.0.0.dli-20220617.085414-16.jar guava-14.0.1.jar kerb-util-1.0.1.jar spark-streaming_2.11-2.4.5.0100-.0.dli-20220617.085359-16.jar guice-4.0.jar kerby-asn1-1.0.1.jar spark-tags_2.11-2.4.5.0100-2.0.0.dli-20220617.085322-16.jar guice-servlet-4.0.jar kerby-config-1.0.1.jar spark-unsafe_2.11-2.4.5.0100-2.0.0.dli-20220617.085311-16.jar hadoop-annotations-3.1.1-ei-302002.jar kerby-pkix-1.0.1.jar spark-uquery_2.11-2.4.5.0100-2.0.0.dli-SNAPSHOT.jar hadoop-auth-3.1.1-ei-302002.jar kerby-util-1.0.1.jar spark-yarn_2.11-2.4.5.0100-2.0.0.dli-20220617.085531-16.jar hadoop-3.1.1-ei-302002.jar kerby-xdr-1.0.1.jar spire-macros_2.11-0.13.0.jar hadoop-client-3.1.1-ei-302002.jar kryo-shaded-4.0.2.jar spire_2.11-0.13.0.jar hadoop-common-3.1.1-ei-302002.jar kubernetes-client-5.4.1-20211025.jar stax-api-1.0-2.jar hadoop-hdfs-3.1.1-ei-302002.jar kubernetes-model-admissionregistration-5.4.1-20211025.jar stax2-api-3.1.4.jar hadoop-hdfs-client-3.1.1-ei-302002.jar kubernetes-model-apiextensions-5.4.1-20211025.jar stream-2.7.0.jar hadoop-3.1.1-46.jar kubernetes-model-apps-5.4.1-20211025.jar stringtemplate-3.2.1.jar hadoop-mapreduce-client-common-3.1.1-ei-302002.jar kubernetes-model-autoscaling-5.4.1-20211025.jar threeten-extra-1.5.0.jar hadoop-mapreduce-client-core-3.1.1-ei-302002.jar kubernetes-model-batch-5.4.1-20211025.jar tink-1.6.0.jar hadoop-mapreduce-client-jobclient-3.1.1-ei-302002.jar kubernetes-model-certificates-5.4.1-20211025.jar token-provider-1.0.1.jar hadoop-minikdc-3.1.1-ei-302002.jar kubernetes-model-common-5.4.1-20211025.jar tomcat-api-9.0.39.jar hadoop-yarn-api-3.1.1-ei-302002.jar kubernetes-model-coordination-5.4.1-20211025.jar zookeeper-jute-3.5.6-ei-302002.jar hadoop-yarn-client-3.1.1-ei-302002.jar kubernetes-model-core-5.4.1-20211025.jar tomcat-el-api-9.0.39.jar hadoop-yarn-common-3.1.1-ei-302002.jar kubernetes-model-discovery-5.4.1-20211025.jar tomcat-jasper-9.0.39.jar hadoop-yarn-registry-3.1.1-ei-302002.jar kubernetes-model-events-5.4.1-20211025.jar tomcat-jasper-el-9.0.39.jar hadoop-yarn-server-applicationhistoryservice-3.1.1-ei-302002.jar kubernetes-model-extensions-5.4.1-20211025.jar tomcat-jsp-api-9.0.39.jar hadoop-yarn-server-common-3.1.1-ei-302002.jar kubernetes-model-flowcontrol-5.4.1-20211025.jar tomcat-juli-9.0.39.jar hadoop-yarn-server-resourcemanager-3.1.1-ei-302002.jar kubernetes-model-metrics-5.4.1-20211025.jar tomcat-servlet-api-9.0.39.jar hadoop-yarn-server-web-proxy-3.1.1-ei-302002.jar kubernetes-model-networking-5.4.1-20211025.jar tomcat-util-9.0.39.jar hamcrest-core-1.3.jar kubernetes-model-node-5.4.1-20211025.jar tomcat-util-scan-9.0.39.jar hive-common-1.2.1-2.0.0.dli-20220528.090500-402.jar kubernetes-model-policy-5.4.1-20211025.jar univocity-parsers-2.7.3.jar hive-exec-1.2.1-2.0.0.dli-20220528.090521-401.jar kubernetes-model-rbac-5.4.1-20211025.jar zstd-jni-1.4.9-1.jar hive-metastore-1.2.1-2.0.0.dli-20220528.090509-402.jar kubernetes-model-scheduling-5.4.1-20211025.jar validation-api-1.1.0.Final.jar hive-shims-0.23-1.2.1-2.0.0.dli-20220528.090445-403.jar kubernetes-model-storageclass-5.4.1-20211025.jar velocity-1.7.jar hive-shims-1.2.1-2.0.0.dli-20220528.090455-403.jar leveldbjni-all-1.8-20191105.jar woodstox-core-5.0.3.jar hive-shims-common-1.2.1-2.0.0.dli-20220528.090441-404.jar libfb303-0.9.3.jar xbean-asm6-shaded-4.8.jar hive-shims-scheduler-1.2.1-2.0.0.dli-20220528.090450-403.jar libthrift-0.12.0.jar xercesImpl-2.12.0.jar hk2-api-2.4.0-b34.jar log4j-1.2.17-cloudera1.jar xml-apis-1.4.01.jar hk2-locator-2.4.0-b34.jar log4j-rolling-appender-20131024-2017.jar xz-1.0.jar hk2-utils-2.4.0-b34.jar logging-interceptor-3.14.9.jar zjsonpatch-0.3.0.jar hppc-0.7.2.jar lucene-analyzers-common-7.7.2.jar zookeeper-3.5.6-ei-302002.jar htrace-core4-4.2.0-incubating-1.0.0.jar lucene-core-7.7.2.jar -

Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1.2.jar hive-shims-scheduler-3.1.0-h0.cbu.mrs.321.r10.jar metrics-graphite-4.1.1.jar activation-1.1.1.jar hive-spark-client-3.1.0-h0.cbu.mrs.321.r10.jar metrics-jmx-4.1.1.jar aggdesigner-algorithm-6.0.jar hive-standalone-metastore-3.1.0-h0.cbu.mrs.321.r10.jar metrics-json-4.1.1.jar aircompressor-0.16.jar hive-storage-api-2.7.2.jar metrics-jvm-4.1.1.jar algebra_2.12-2.0.0-M2.jar hive-vector-code-gen-3.1.0-h0.cbu.mrs.321.r10.jar minlog-1.3.0.jar annotations-17.0.0.jar hk2-api-2.6.1.jar netty-3.10.6.Final.jar ant-1.10.9.jar hk2-locator-2.6.1.jar netty-all-4.1.86.Final.jar ant-launcher-1.10.9.jar hk2-utils-2.6.1.jar netty-buffer-4.1.86.Final.jar antlr4-runtime-4.8-1.jar hppc-0.7.2.jar netty-codec-4.1.86.Final.jar antlr-runtime-3.5.2.jar httpclient-4.5.6.jar netty-codec-dns-4.1.86.Final.jar aopalliance-1.0.jar httpcore-4.4.10.jar netty-codec-haproxy-4.1.86.Final.jar aopalliance-repackaged-2.6.1.jar istack-commons-runtime-3.0.8.jar netty-codec-http2-4.1.86.Final.jar apiguardian-api-1.1.0.jar ivy-2.5.0.jar netty-codec-http-4.1.86.Final.jar arpack_combined_all-0.1.jar jackson-annotations-2.13.2.jar netty-codec-memcache-4.1.86.Final.jar arrow-format-2.0.0.jar jackson-core-2.13.2.jar netty-codec-mqtt-4.1.86.Final.jar arrow-memory-core-2.0.0.jar jackson-core-asl-1.9.13-atlassian-4.jar netty-codec-redis-4.1.86.Final.jar arrow-memory-netty-2.0.0.jar jackson-databind-2.13.2.2.jar netty-codec-smtp-4.1.86.Final.jar arrow-vector-2.0.0.jar jackson-dataformat-yaml-2.13.2.jar netty-codec-socks-4.1.86.Final.jar asm-5.0.4.jar jackson-datatype-jsr310-2.11.2.jar netty-codec-stomp-4.1.86.Final.jar audience-annotations-0.5.0.jar jackson-mapper-asl-1.9.13-atlassian-4.jar netty-codec-xml-4.1.86.Final.jar automaton-1.11-8.jar jackson-module-jaxb-annotations-2.13.2.jar netty-common-4.1.86.Final.jar avatica-1.22.0.jar jackson-module-scala_2.12-2.13.2.jar netty-handler-4.1.86.Final.jar avatica-core-1.16.0.jar jaeger-client-1.6.0.jar netty-handler-proxy-4.1.86.Final.jar avatica-metrics-1.16.0.jar jaeger-core-1.6.0.jar netty-handler-ssl-ocsp-4.1.86.Final.jar avatica-server-1.16.0.jar jaeger-thrift-1.6.0.jar netty-resolver-4.1.86.Final.jar avro-1.8.2.jar jaeger-tracerresolver-1.6.0.jar netty-resolver-dns-4.1.86.Final.jar avro-ipc-1.8.2.jar jakarta.activation-api-1.2.1.jar netty-resolver-dns-classes-macos-4.1.86.Final.jar avro-mapred-1.8.2.jar jakarta.annotation-api-1.3.5.jar netty-resolver-dns-native-macos-4.1.86.Final-osx-aarch_64.jar aws-java-sdk-bundle-1.11.856.jar jakarta.el-3.0.3.jar netty-resolver-dns-native-macos-4.1.86.Final-osx-x86_64.jar base64-2.3.8.jar jakarta.el-api-3.0.3.jar netty-transport-4.1.86.Final.jar bcpkix-jdk15on-1.69.jar jakarta.inject-2.6.1.jar netty-transport-classes-epoll-4.1.86.Final.jar bcprov-jdk15on-1.69.jar jakarta.servlet-api-4.0.3.jar netty-transport-classes-kqueue-4.1.86.Final.jar bcutil-jdk15on-1.69.jar jakarta.validation-api-2.0.2.jar netty-transport-native-epoll-4.1.86.Final-linux-aarch_64.jar bonecp-0.8.0.RELEASE.jar jakarta.ws.rs-api-2.1.6.jar netty-transport-native-epoll-4.1.86.Final-linux-x86_64.jar breeze_2.12-1.0.jar jakarta.xml.bind-api-2.3.2.jar netty-transport-native-kqueue-4.1.86.Final-osx-aarch_64.jar breeze-macros_2.12-1.0.jar jamon-runtime-2.4.1.jar netty-transport-native-kqueue-4.1.86.Final-osx-x86_64.jar caffeine-2.8.1.jar janino-3.0.16.jar netty-transport-native-unix-common-4.1.86.Final.jar calcite-core-1.22.0.jar JavaEWAH-0.3.2.jar netty-transport-rxtx-4.1.86.Final.jar calcite-druid-1.19.0.jar java-sdk-core-3.0.12.jar netty-transport-sctp-4.1.86.Final.jar calcite-linq4j-1.22.0.jar javassist-3.25.0-GA.jar netty-transport-udt-4.1.86.Final.jar cats-kernel_2.12-2.0.0-M4.jar javax.activation-api-1.2.0.jar nimbus-jose-jwt-8.19.jar checker-qual-3.5.0.jar javax.annotation-api-1.3.2.jar objenesis-2.5.1.jar chill_2.12-0.9.5.jar javax.inject-1.jar okhttp-3.14.9.jar chill-java-0.9.5.jar javax.jdo-3.2.0-m3.jar okio-1.17.2.jar classmate-1.5.1.jar java-xmlbuilder-1.1.jar opencsv-2.3.jar commons-beanutils-1.9.4.jar javax.servlet-api-3.1.0.jar opentelemetry-api-1.16.0.jar commons-cli-1.2.jar javax.transaction-api-1.3.jar opentelemetry-context-1.16.0.jar commons-codec-1.15.jar javax.ws.rs-api-2.1.1.jar opentelemetry-semconv-1.16.0-alpha.jar commons-collections-3.2.2.jar javolution-5.5.1.jar opentracing-api-0.33.0.jar commons-compiler-3.0.16.jar jaxb-api-2.2.11.jar opentracing-noop-0.33.0.jar commons-compress-1.21.jar jaxb-runtime-2.3.2.jar opentracing-tracerresolver-0.1.8.jar commons-configuration2-2.1.1.jar jboss-logging-3.4.1.Final.jar opentracing-util-0.33.0.jar commons-crypto-1.0.0-20191105.jar jboss-threads-2.3.3.Final.jar orc-core-1.6.8.jar commons-daemon-1.0.13.jar jcip-annotations-1.0-1.jar orc-mapreduce-1.6.8.jar commons-dbcp-1.4.jar jcl-over-slf4j-1.7.36.jar orc-shims-1.6.8.jar commons-dbcp2-2.6.0.jar jcodings-1.0.57.jar orc-tools-1.6.7-h0.cbu.mrs.321.r10.jar commons-digester-2.1.jar jdo-api-3.2.jar oro-2.0.8.jar commons-httpclient-3.1.jar jersey-client-2.34.jar osgi-resource-locator-1.0.3.jar commons-io-2.8.0.jar jersey-common-2.34.jar paranamer-2.8.jar commons-lang-2.4.jar jersey-container-servlet-2.34.jar parquet-column-1.12.2.jar commons-lang-2.6.jar jersey-container-servlet-core-2.34.jar parquet-common-1.12.2.jar commons-lang3-3.10.jar jersey-hk2-2.34.jar parquet-encoding-1.12.2.jar commons-logging-1.2.jar jersey-server-2.34.jar parquet-format-structures-1.12.2.jar commons-math3-3.4.1.jar jets3t-0.9.4-1.0.0.jar parquet-hadoop-1.12.2.jar commons-net-3.1.jar jettison-1.1.jar parquet-hadoop-bundle-1.12.0-ei-2.0.jar commons-pool2-2.6.1.jar jetty-http-9.4.41.v20210516.jar parquet-jackson-1.12.2.jar commons-text-1.10.0.jar jetty-io-9.4.41.v20210516.jar postgresql-42.3.5.jar commons-validator-1.7.jar jetty-rewrite-9.4.43.v20210629.jar protobuf-java-2.5.0.jar compress-lzf-1.0.3.jar jetty-security-9.4.41.v20210516.jar py4j-0.10.9.jar core-1.1.2.jar jetty-server-9.4.41.v20210516.jar pyrolite-4.30.jar curator-client-2.13.0.jar jetty-servlet-9.4.41.v20210516.jar re2j-1.1.jar curator-framework-2.13.0.jar jetty-util-9.4.41.v20210516.jar RoaringBitmap-0.9.0.jar curator-recipes-2.13.0.jar jetty-util-ajax-9.4.41.v20210516.jar scala-collection-compat_2.12-2.1.1.jar datanucleus-api-jdo-4.2.4.jar jetty-webapp-9.4.41.v20210516.jar scala-compiler-2.12.16.jar datanucleus-core-4.1.17.jar jetty-xml-9.4.41.v20210516.jar scala-library-2.12.16.jar datanucleus-rdbms-fi-4.1.19-302022.jar JLargeArrays-1.5.jar scala-parser-combinators_2.12-1.1.2.jar derby-10.14.2.0.jar jline-3.21.0.jar scala-reflect-2.12.16.jar disruptor-3.4.2.jar joda-time-2.10.5.jar scala-xml_2.12-1.2.0.jar dli-catalog-client-2.3.7-20240108.090504-101.jar jodd-core-3.5.2.jar secComponentApi-1.1.8.jar dli-catalog-hive3-client-2.3.7-20240108.090513-100.jar jodd-util-6.0.0.jar serializer-2.7.2.jar dli-catalog-hive-extension-2.3.7-20240108.090517-100.jar joni-2.1.43.jar shapeless_2.12-2.3.3.jar dnsjava-2.1.7.jar jpam-1.1.jar shims-0.9.0.jar dropwizard-metrics-hadoop-metrics2-reporter-0.1.2.jar jsch-0.1.72.jar sketches-core-0.9.0.jar error_prone_annotations-2.18.0.jar json-20210307.jar slf4j-api-1.7.30.jar esdk-obs-java-optimised-3.22.10.2.jar json4s-ast_2.12-3.7.0-M5.jar slf4j-log4j12-1.7.25.jar esri-geometry-api-2.2.0.jar json4s-core_2.12-3.7.0-M5.jar snakeyaml-1.30.jar fastutil-6.5.6.jar json4s-jackson_2.12-3.7.0-M5.jar snappy-java-1.1.8.2.jar flatbuffers-java-1.9.0.jar json4s-scalap_2.12-3.7.0-M5.jar spark-avro_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar generex-1.0.2.jar json-path-2.4.0.jar spark-catalyst_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar glassfish-corba-omgapi-4.2.2.jar json-smart-2.3.jar spark-core_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar gson-2.8.9.jar jsr305-3.0.0.jar spark-graphx_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar gson-fire-1.8.5.jar JTransforms-3.1.jar spark-hive_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guava-14.0.1.jar jul-to-slf4j-1.7.36.jar spark-kubernetes_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-3.0.jar kafka-clients-2.8.0.jar spark-kvstore_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-assistedinject-3.0.jar kerb-admin-2.0.2.jar spark-launcher_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar guice-servlet-4.0.jar kerb-client-2.0.2.jar spark-mllib_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-annotations-3.1.1-h0.cbu.mrs.313.r9.jar kerb-common-2.0.2.jar spark-mllib-local_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-archives-3.3.1-h0.cbu.mrs.321.r10.jar kerb-core-2.0.2.jar spark-network-common_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-auth-3.3.1-h0.cbu.mrs.321.r16.jar kerb-crypto-2.0.2.jar spark-network-shuffle_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-aws-3.3.1-h0.cbu.mrs.321.r16.jar kerb-identity-2.0.2.jar spark-quota-manager_2.12-3.1.1-2.3.7.dli-SNAPSHOT.jar hadoop-client-3.1.1-h0.cbu.mrs.313.r9.jar kerb-server-2.0.2.jar spark-repl_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-common-3.3.1-h0.cbu.mrs.321.r10.jar kerb-simplekdc-2.0.2.jar spark-sketch_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-distcp-3.3.1-h0.cbu.mrs.321.r10.jar kerb-util-2.0.2.jar spark-sql_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-hdfs-3.3.1-h0.cbu.mrs.321.r16.jar kerby-asn1-2.0.2.jar spark-streaming_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-hdfs-client-3.3.1-h0.cbu.mrs.321.r10.jar kerby-config-2.0.2.jar spark-tags_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-3.1.1-52.1.jar kerby-pkix-2.0.2.jar spark-unsafe_2.12-3.1.1-h1.cbu.dli.20230607.r1.jar hadoop-mapreduce-client-common-3.1.1-h0.cbu.mrs.313.r9.jar kerby-util-2.0.2.jar spark-uquery_2.12-3.1.1-2.3.7.dli-SNAPSHOT.jar hadoop-mapreduce-client-core-3.1.1-h0.cbu.mrs.313.r9.jar kerby-xdr-2.0.2.jar spire_2.12-0.17.0-M1.jar hadoop-mapreduce-client-jobclient-3.1.1-h0.cbu.mrs.313.r9.jar kotlin-stdlib-1.4.21.jar spire-macros_2.12-0.17.0-M1.jar hadoop-mapreduce-client-nativetask-3.3.1-h0.cbu.mrs.321.r10.jar kotlin-stdlib-common-1.4.21.jar spire-platform_2.12-0.17.0-M1.jar hadoop-registry-3.3.1-h0.cbu.mrs.321.r10.jar kryo-shaded-4.0.2.jar spire-util_2.12-0.17.0-M1.jar hadoop-shaded-guava-1.1.1.jar kubernetes-client-5.4.1-20211025.jar sqlline-1.3.0.jar hadoop-shaded-protobuf_3_7-1.1.1.jar kubernetes-model-admissionregistration-5.4.1-20211025.jar ST4-4.0.4.jar hadoop-yarn-api-3.1.1-h0.cbu.mrs.313.r9.jar kubernetes-model-apiextensions-5.4.1-20211025.jar stax2-api-4.2.1.jar hadoop-yarn-client-3.1.1-h0.cbu.mrs.313.r9.jar kubernetes-model-apps-5.4.1-20211025.jar stax-api-1.0.1.jar hadoop-yarn-registry-3.3.1-h0.cbu.mrs.321.r10.jar kubernetes-model-autoscaling-5.4.1-20211025.jar stream-2.9.6.jar hbase-asyncfs-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-batch-5.4.1-20211025.jar streamingClient hbase-client-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-certificates-5.4.1-20211025.jar streamingClient010 hbase-common-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-common-5.4.1-20211025.jar swagger-annotations-2.2.8.jar hbase-hadoop2-compat-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-coordination-5.4.1-20211025.jar tephra-api-0.6.0.jar hbase-hadoop-compat-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-core-5.4.1-20211025.jar tephra-core-0.6.0.jar hbase-http-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-discovery-5.4.1-20211025.jar tephra-hbase-compat-1.0-0.6.0.jar hbase-logging-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-events-5.4.1-20211025.jar threetenbp-1.3.5.jar hbase-metrics-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-extensions-5.4.1-20211025.jar threeten-extra-1.5.0.jar hbase-metrics-api-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-flowcontrol-5.4.1-20211025.jar tink-1.6.0.jar hbase-procedure-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-metrics-5.4.1-20211025.jar token-provider-2.0.2.jar hbase-protocol-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-networking-5.4.1-20211025.jar tomcat-servlet-api-8.5.61.jar hbase-protocol-shaded-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-node-5.4.1-20211025.jar transaction-api-1.1.jar hbase-replication-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-policy-5.4.1-20211025.jar twill-api-0.6.0-incubating.jar hbase-server-2.4.14-h0.cbu.mrs.321.r10.jar kubernetes-model-rbac-5.4.1-20211025.jar twill-common-0.6.0-incubating.jar hbase-shaded-gson-4.1.4.jar kubernetes-model-scheduling-5.4.1-20211025.jar twill-core-0.6.0-incubating.jar hbase-shaded-jersey-4.1.4.jar kubernetes-model-storageclass-5.4.1-20211025.jar twill-discovery-api-0.6.0-incubating.jar hbase-shaded-jetty-4.1.4.jar leveldbjni-all-1.8-20191105.jar twill-discovery-core-0.6.0-incubating.jar hbase-shaded-miscellaneous-4.1.4.jar libfb303-0.9.3.jar twill-zookeeper-0.6.0-incubating.jar hbase-shaded-netty-4.1.4.jar libthrift-0.14.1-ei-311001.jar univocity-parsers-2.9.1.jar hbase-shaded-protobuf-4.1.4.jar log4j-1.2.17-cloudera1.jar us-common-1.0.66.jar hbase-unsafe-4.1.4.jar log4j-api-2.17.1.jar velocity-1.7.jar hbase-zookeeper-2.4.14-h0.cbu.mrs.321.r10.jar log4j-rolling-appender-20131024-2017.jar velocity-engine-core-2.3.jar hibernate-validator-6.2.5.Final.jar logging-interceptor-3.14.9.jar wildfly-client-config-1.0.1.Final.jar HikariCP-2.6.1.jar luxor-cluster-quota-manager-transport_2.12-2.3.7-20231226.034700-559.jar wildfly-common-1.5.2.Final.jar hive-classification-3.1.0-h0.cbu.mrs.321.r10.jar luxor-encrypt-2.3.7-20231226.034423-1046.jar woodstox-core-5.4.0.jar hive-common-3.1.0-h0.cbu.mrs.321.r10.jar luxor-fs3-2.3.7-20231226.034438-1039.jar xalan-2.7.2.jar hive-exec-3.1.0-h0.cbu.mrs.321.r10-core.jar luxor-obs-fs3-2.3.7-20231226.034443-1038.jar xbean-asm7-shaded-4.15.jar hive-llap-client-2.3.3-ei-12-20210120.005053-2.jar luxor-rpc_2.12-2.3.7-20231226.034653-560.jar xercesImpl-2.12.2.jar hive-llap-common-3.1.0-h0.cbu.mrs.321.r10.jar luxor-scc-adapter-2.3.7-20231226.034418-1045.jar xml-apis-1.4.01.jar hive-llap-tez-3.1.0-h0.cbu.mrs.321.r10.jar luxor-transport-2.3.7-20231226.034433-1038.jar xnio-api-3.8.4.Final.jar hive-metastore-3.1.0-h0.cbu.mrs.321.r10.jar lz4-java-1.7.1.jar xz-1.5.jar hive-serde-3.1.0-h0.cbu.mrs.321.r10.jar machinist_2.12-0.6.8.jar zjsonpatch-0.3.0.jar hive-service-rpc-3.1.0-h0.cbu.mrs.321.r10.jar macro-compat_2.12-1.1.1.jar zookeeper-3.5.6-ei-302002.jar hive-shims-0.23-3.1.0-h0.cbu.mrs.321.r10.jar memarts-ccsdk-1.0.jar zookeeper-jute-3.5.6-ei-302002.jar hive-shims-3.1.0-h0.cbu.mrs.321.r10.jar memory-0.9.0.jar zstd-jni-1.4.9-1.jar hive-shims-common-3.1.0-h0.cbu.mrs.321.r10.jar metrics-core-4.1.1.jar -

计费示例 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。 样例1：包年/包月队列场景 假设您在2023/03/08 15:50:04购买了包年/包月队列（类型：SQL队列，规格：16CUs，单AZ部署），购买时长为一个月，并在到期前手动续费1个月，则： 第一个计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为：2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费，计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 计算资源 规格单价 * 购买时长 请参见数据湖探索价格详情价格。 包年/包月队列费用计算示例： 队列单价：2400元/月 加上续费的周期共计时长2个月。 费用合计：4800元。 样例2：按需专属队列场景 假设您在2023/04/18 9:59:30购买了一个按需专属队列资源（类型：SQL队列，规格：16CUs，单AZ部署），然后在2023/04/18 10:45:46将其删除则： 第一个计费周期为9:00:00 ~ 10:00:00，不足一小时按一小时计费，该计费周期内的计费时长为1小时。 第二个计费周期为10:00:00 ~ 11:00:00，不足一小时按一小时计费，该计费周期内的计费时长为1小时。 您需要为每个计费周期付费，计费公式如表3所示。产品价格详情中标出了资源的每小时价格。 表3 计费公式 资源类型 计费公式 资源单价 计算资源 计算费用=单价*CU数*小时数 请参见数据湖探索价格详情价格。 按需计费队列费用计算示例： 队列单价：0.35元/小时，实际CUs：16CUs，累计计费时长：2小时。 费用合计：11.2元。 样例3：按需非专属队列场景 假设您在2023/04/18 9:59:30购买了一个按需非专属队列资源（类型：SQL队列，规格：16CUs，单AZ部署），在10:05:00提交了作业在队列上运行，在11:15:00作业执行完毕，后在2023/04/18 11:45:46将其删除则： 第一个计费周期为10:05:00 ~ 11:00:00，不足一小时按一小时计费，该计费周期内的计费时长为1小时。 第二个计费周期为11:00:00 ~ 11:15:00，不足一小时按一小时计费，该计费周期内的计费时长为1小时。 您需要为每个计费周期付费，计费公式如表4所示。产品价格详情中标出了资源的每小时价格。 表4 计费公式 资源类型 计费公式 资源单价 计算资源 计算费用=单价*CU数*小时数 请参见数据湖探索价格详情价格。 按需计费队列费用计算示例： 队列单价：0.35元/小时，队列规格：16CUs，累计计费时长：2小时。 费用合计：11.2元。 样例4：包年/包月队列+扩缩容场景 假设您在2023/03/08 15:50:04购买了包年/包月队列（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现每天0点~9点为高负荷时段，计划设置一个定时扩缩容任务（假设设置扩容后的CUs为128CUs，超出规格64CUs。）。队列资源计费详情请参见数据湖探索价格详情。 该示例计费公式如表5所示。 表5 包年/包月队列+扩缩容场景计费示例 计费模式 计算规则 付费周期 费用计算 包年/包月 队列64CUs包周期 1个月 费用：9600元 按需计费 - 超出规格部分的按需计费： 计算费用=单价*CU数*小时数 9*30天=270小时 费用：0.35 x 64 x 270（小时数）= 6048 元 - - 合计：15648 元

计费规则 队列资源根据计费模式的不同计费规则各不相同。 表1 队列计费规则 计费模式 资源 说明 包年/包月 队列 包年包月的队列在使用过程中规格内按包周期计费，超出规格部分按需计费。 按需计费 队列 计算费用=单价*CU数*小时数 按需计费的DLI队列（非专属资源）仅在队列运行作业时计费，按队列的实际CUs计费，请注意是队列的实际CUs，非作业运行CUs。可参考常见问题购买了16CUs的按需计费的DLI队列，执行作业使用了2CUs怎么计费？ 按需计费的DLI队列（专属资源），无论是否运行作业，自创建起按自然小时收费。 假设您选择购买队列资源，在购买页面底部，您将看到所需费用的明细，如图1所示。 图1 配置费用示例 包年/包月：根据所选配置，包括队列类型、队列规格和购买时长计算配置费用。 按需计费：根据所选配置，包括队列类型、队列规格计算的配置费用。

到期后影响（适用于包年/包月计费模式） 图2描述了包年/包月DLI资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；资源到期而未续费时，将陆续进入宽限期和保留期。 图2 包年/包月DLI资源生命周期 到期预警 包年/包月DLI资源在到期前第7天内，系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云帐号的创建者。 到期后影响 当您的包年/包月DLI资源到期未续费，首先会进入宽限期，资源状态变为“已过期”。 如果您在宽限期内仍未续费包年/包月资源，那么就会进入保留期，资源状态变为“已冻结”，您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后，若包年/包月资源仍未续费，那么资源将被释放，数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见帐户充值。

计费周期 包年包月： 包年/包月DLI资源的计费周期是根据您购买的时长来确定的（以UTC+8时间为准）。一个计费周期的起点是您开通或续费资源的时间（精确到秒），终点则是到期日的23:59:59。 例如，如果您在2023/03/08 15:50:04购买了时长为一个月的队列资源，那么其计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59。 按需计费： 按需计费DLI队列资源，以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算（以UTC+8时间为准），结算完毕后进入新的计费周期。 计费的起点根据队列是否专属存在差异： 按需专属队列：按需专属队列自创建起按自然小时收费，终点以资源删除时间为准。 按需非专属队列：按需非专属队列仅在队列运行作业时计费，终点以作业执行完成、队列空闲时间为准。（队列空闲是指该队列上没有正在运行的作业。） 资源从创建到启动需要一定时长，按需专属队列计费的起点是创建成功的时间点，而非创建的时间。您可以通过执行select语句测试队列资源是否拉起。 例如： 您在8:45:30购买了一个按需专属队列资源，然后在8:55:00将其删除，计费周期为8:00:00 ~ 9:00:00，不足一小时按一小时计费，即该队列计费时长1小时。 您在8:45:30购买了一个按需非专属队列资源，在9:05:00分开始在该队列执行作业，然后在9:55:00作业执行完毕，队列空闲，在10:05:00将资源删除，计费周期为9:00:00 ~ 10:00:00，在9:05:00 ~ 9:55:00间产生费用，不足一小时按一小时计费，即该队列计费时长1小时。

适用场景 包年/包月：该计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。 按需计费：该计费模式适用于测试项目场景，资源消耗不高，使用频率较低，按需计费成本更低，无需任何预付款。 包年/包月+按需计费：当业务对资源的需求呈现周期变化时，例如在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。 基于以上场景，可以使用队列弹性扩缩容定时任务功能，根据自己的业务周期或者使用情况，创建弹性扩缩容定时任务。详细操作指导请参考弹性扩缩容定时任务。 按需计费+套餐包：当业务对资源的需求呈现周期变化时，例如在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。该场景可以购买队列CU时套餐包和按需计费模式结合使用。使用过程中优先抵扣弹性资源池CU时套餐包的规格额度，超过额度的使用量按照按需计费。

队列资源的计费模式 队列为DLI作业运行提供计算资源。队列支持以下计费模式： 包年/包月：预付费模式，按订单的购买周期计费，计算资源专属，空闲（无作业运行）时不会释放，使用体验更佳，且相较于按需队列费用更低。适用于队列使用频率高，例如已完成开发进入生产阶段的项目，推荐使用包年包月计费模式预留业务所需资源。 按需计费：按需计费是一种后付费模式，DLI支持使用按需计费模式购买队列资源，分为按需专属资源和按需非专属资源： 按需专属：购买时勾选“专属资源模式”即创建的是按需专属资源，按需专属资源模式可以保障资源专属，使用期间资源不被释放。计费方式自创建起按自然小时收费。 按需非专属：购买时未勾选“专属资源模式”即为按需非专属资源。仅在队列运行作业时计费，按队列的实际CU计费。 按需计费的计算费用=单价*实际CU数*小时数。以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。 套餐包：建议购买队列CU时套餐包和按需计费模式结合使用，购买了队列CU时套餐包时，按需使用过程中优先抵扣队列CU时套餐包的规格额度，超过额度的使用量按需计费。队列CU时套餐包的额度会按订购周期重置。更多套餐包计费信息请参考套餐包计费。 按扫描量计费：仅default 队列支持按扫描量计费。扫描数据量套餐包适用于default 队列。更多扫描量计费信息请参考扫描量计费。 本文将介绍按需计费的DLI队列资源的计费规则。

约束限制 按需非专属队列仅在队列运行作业时计费。 按需专属队列自创建起按自然小时收费。 以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。 按需队列的计费按实际CUs计费，非作业运行CUs。即按照实际物理资源占用来计费。 按需计费模式支持与CU时套餐包组合使用，按需使用过程中优先抵扣队列CU时套餐包的规格额度，超过额度的使用量按需计费。队列的CU时套餐包的额度每个月会重置。 DLI不支持变更计费模式。 购买包年/包月的队列资源时，AZ策略选择多AZ则采用双倍计费标准。

DLI核心引擎：Spark+Flink+Trino Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。 Flink是一款分布式的计算引擎，可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果。DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。 Trino（原PrestoSQL）是提供交互式查询分析能力的开源分布式SQL查询引擎，具备高性能、低延迟的查询处理能力，支持在大规模数据存储中进行数据查询和分析。

功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析，数据格式兼容CSV、JSON、Parquet和ORC主流数据格式。 三大基本功能 SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》。 Flink作业支持Flink SQL在线分析功能：支持Window、Join等聚合函数、地理函数、CEP函数等，用SQL表达业务逻辑，简便快捷实现业务。具体内容请参考《数据湖探索SQL语法参考》。 Spark作业提供全托管式Spark计算特性：用户可通过交互式会话(session)和批处理(batch)方式提交计算任务，在全托管Spark队列上进行数据分析。具体内容请参考《数据湖探索API参考》。 多数据源分析： Spark跨源连接：可通过DLI访问CloudTable，DWS，RDS和CSS等数据源。具体内容请参考《数据湖探索用户指南》。 Flink跨源支持与多种云服务连通，形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态： 云服务生态：数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据。如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态：通过增强型跨源连接建立与其他VPC的网络连接后，用户可以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 具体内容请参见《数据湖探索开发指南》。 存算分离 用户将数据存储到OBS后，DLI可以直接和OBS对接进行数据分析。存算分离的架构下，使得存储资源和计算资源可以分开申请和计费，降低了成本并提高了资源利用率。 存算分离场景下，DLI支持OBS在创建桶时数据冗余策略选择单AZ或者多AZ存储，两种存储策略区别如下： 选择多AZ存储，数据将冗余存储至多个AZ中，可靠性更高。选择多AZ存储的桶，数据将存储在同一区域的多个不同AZ。当某个AZ不可用时，仍然能够从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。建议优选使用多AZ存储的策略。 选择单AZ存储，数据仅存储在单个AZ中，但相比多AZ更加便宜。收费详情请参见OBS产品价格详情。 弹性资源池 弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。详细内容可以参考用户指南的弹性资源池。 图1 弹性资源池架构图 弹性资源池的优势主要体现在以下几个方面： 统一资源管理 统一管理内部多集群和调度作业，规模可以到百万核级别。 多AZ部署，支持跨AZ高可用。 租户资源隔离 不同队列之间资源隔离，减少队列之间的相互影响。 分时按需弹性 分钟级别扩缩容，从容应对流量洪峰和资源诉求。 支持分时设置队列优先级和配额，提高资源利用率。 作业级资源隔离（暂未实现，后续版本支持） 支持独立Spark实例运行SQL作业，减少作业间相互影响。 自动弹性（暂未实现，后续版本支持） 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。 维度 原有队列，无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长，扩容时长在分钟级别 不需要手工干预，秒级动态扩容。 资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。 BI工具 对接永洪BI：与永洪BI对接实现数据分析。具体内容请参考《数据湖探索开发指南》。