华为云用户手册

删除数据库及其所属的用户 如果您执行了（可选）新建用户及数据库并授予外表权限中的步骤，请参照以下步骤删除数据库及其所属的用户。 删除自定义数据库。 通过GaussDB(DWS)提供的数据库客户端连接默认数据库gaussdb。 如果已经登录了gsql客户端，可以直接执行如下命令进行切换： 先切换到默认数据库： 1 \c gaussdb 根据界面提示输入密码。 执行以下命令，删除自定义数据库： 1 DROP DATABASE mydatabase; 返回以下信息表示删除成功： 1 DROP DATABASE 使用管理员用户，删除本示例中创建的普通用户。 使用数据库管理员用户通过GaussDB(DWS)提供的数据库客户端连接数据库。 如果已经登录了gsgl客户端，可以直接执行如下命令进行切换： 1 \c gaussdb dbadmin 执行以下命令回收创建外部服务器的权限： 1 REVOKE ALL ON FOREIGN DATA WRAPPER dfs_fdw FROM dbuser; 其中FOREIGN DATA WRAPPER的名字只能是dfs_fdw，dbuser为创建SERVER的用户名。 执行以下命令删除用户： 1 DROP USER dbuser; 可使用“\du”命令查询用户，确认用户是否已经删除。

多表并发导出操作步骤 通过创建的两个外表，将数据库中的两个表分别导出至OBS的桶中。 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/input-data1”“/input-data2”，并创建每个桶下面的data目录“/input-data1/data”“/input-data2/data”。 在GaussDB(DWS)数据库上，创建外表tpcds.customer_address_ext1和tpcds.customer_address_ext2分别用于OBS服务器接收导出的数据。 规划OBS与集群处于同一区域，需要导出的表为已存在的表tpcds.customer_address和tpcds.customer_demographics。 其中设置的导出信息如下所示： 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/ ”和/input-data2/data/ ，所以设置tpcds.customer_address_ext1参数“location”为“obs://input-data1/data/ ”，设置tpcds.customer_address_ext2参数“location”为“ obs://input-data2/data/”。 设置的数据格式信息是根据表从GaussDB(DWS)中导出时需要的详细数据格式参数信息指定的，参数设置如下所示： 数据源文件格式（format）为“CSV”。 编码格式（encoding）为“UTF-8”。 字段分隔符（delimiter）为“E'\x08'”。 是否使用加密（encrypt），默认为“off”。 （必选）用户获取OBS访问协议对应的AK值（access_key ）。 （必选）用户获取OBS访问协议对应的SK值（secret_access_key）。 用户在创建用户是已经获取了access_key和secret_access_key的密钥，请根据实际密钥替换示例中的内容。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 CREATE FOREIGN TABLE tpcds.customer_address_ext1 ( ca_address_sk integer , ca_address_id char(16) , ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type char(20) ) SERVER gsmpp_server OPTIONS(LOCATION 'obs://input-data1/data/', FORMAT 'CSV', ENCODING 'utf8', DELIMITER E'\x08', ENCRYPT 'off', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' )Write Only; 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 CREATE FOREIGN TABLE tpcds.customer_address_ext2 ( ca_address_sk integer , ca_address_id char(16) , ca_address_name varchar(20) , ca_address_code integer , ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) ) SERVER gsmpp_server OPTIONS(LOCATION 'obs://input_data2/data/', FORMAT 'CSV', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', ENCRYPT 'off', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' )Write Only; 在GaussDB(DWS)数据库上，将数据表 tpcds.customer_address和 tpcds.warehouse并发导出到外表tpcds.customer_address_ext1和tpcds.customer_address_ext2中。 1 INSERT INTO tpcds.customer_address_ext1 SELECT * FROM tpcds.customer_address; 1 INSERT INTO tpcds.customer_address_ext2 SELECT * FROM tpcds.warehouse;

单表导出操作步骤 通过创建外表，将数据库中的单表导出至OBS的两个桶中。 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/input-data1”“/input-data2”，并创建每个桶下面的data目录“/input-data1/data”“/input-data2/data”。 在GaussDB(DWS)数据库上，创建外表tpcds.customer_address_ext1和tpcds.customer_address_ext2用于OBS数据服务器接收数据库导出数据。 OBS与集群处于同一区域，需要导出的表为GaussDB(DWS)示例表tpcds.customer_address。 其中设置的导出信息如下所示： 由于OBS数据服务器上的数据源文件存放目录为“/input-data1/data/ ”和/input-data2/data/ ，所以设置tpcds.customer_address_ext1参数“location”为“obs://input-data1/data/ ”，设置tpcds.customer_address_ext2参数“location”为“ obs://input-data2/data/”。 设置的数据格式信息是根据表从数据库导出时需要的详细数据格式参数信息指定的，参数设置如下所示： 数据源文件格式（format）为“CSV”。 编码格式（encoding）为“UTF-8”。 字段分隔符（delimiter）为“E'\x08'”。 是否使用加密（encrypt），默认为“off”。 （必选）用户获取OBS访问协议对应的AK值（access_key ）。 （必选）用户获取OBS访问协议对应的SK值（secret_access_key）。 用户在创建用户时已经获取了access_key和secret_access_key的密钥，请根据实际密钥替换示例中的内容。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 CREATE FOREIGN TABLE tpcds.customer_address_ext1 ( ca_address_sk integer , ca_address_id char(16) , ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type char(20) ) SERVER gsmpp_server OPTIONS(LOCATION 'obs://input-data1/data/', FORMAT 'CSV', ENCODING 'utf8', DELIMITER E'\x08', ENCRYPT 'off', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' )Write Only; 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 CREATE FOREIGN TABLE tpcds.customer_address_ext2 ( ca_address_sk integer , ca_address_id char(16) , ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type char(20) ) SERVER gsmpp_server OPTIONS(LOCATION 'obs://input-data2/data/', FORMAT 'CSV', ENCODING 'utf8', DELIMITER E'\x08', ENCRYPT 'off', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' )Write Only; 在GaussDB(DWS)数据库上，将数据表tpcds.customer_address并发导出到外表tpcds.customer_address_ext1和tpcds.customer_address_ext2中。 1 INSERT INTO tpcds.customer_address_ext1 SELECT * FROM tpcds.customer_address; 1 INSERT INTO tpcds.customer_address_ext2 SELECT * FROM tpcds.customer_address; OBS外表在设计上禁止往非空的路径下导出文件，但是在并发场景下会出现同一路径导出文件的情况，此时会发生异常。 异常场景：假如用户使用同一张表的数据并发导出到同一个OBS的外表，在一条SQL语句执行在OBS服务器上没有生成文件时，另一条SQL语句也执行导出，最终执行结果为两条SQL语句均执行成功，产生数据覆盖现象，建议用户在执行OBS外表导出任务时，不要往同一OBS外表并发导出。

示例 示例：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，待导出的数据文件格式为CSV，选择并行导出模式为Remote模式。 假定启动GDS时，规划导出的数据文件存放目录为“/output_data/”，GDS监听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/”。 设置导出的数据格式信息，参数设置如下所示： 导出数据文件格式（format）为CSV。 编码格式（encoding）为UTF-8。 字段分隔符（delimiter）为E'\x08'。 引号字符（quote）为E'\x1b'。 数据文件中空值（null）为没有引号的空字符串。 逃逸字符（escape）默认和quote相同。 数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。 导出数据文件换行符样式（EOL）为0X0A。 创建的外表如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV', DELIMITER E'\x08', QUOTE E'\x1b', NULL '', EOL '0x0a' ) WRITE ONLY;

操作步骤 根据规划导出数据中规划的路径确定外表参数location的值。 Remote模式 请通过URL方式设置参数“location”，用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时，若导出数据源数少于路径数时，多余的路径会只生成文件不写入数据。 示例： GDS数据服务器IP为192.168.0.90，假定启动GDS时设置的监听端口为5000，设置的导出后文件存放目录为“/output_data/”。 根据以上情况，在创建外表时，指定参数“location”为“gsfs://192.168.0.90:5000/”。 location可以指定子目录如“gsfs://192.168.0.90:5000/2019/11/”实现同一张表根据日期导出到不同目录下。 现有版本在执行导出任务的时候会判断“/output_data/2019/11”目录是否存在，不存在则创建。导出时会将文件写入此目录下， 这样用户在创建或修改外表后就不需要再去手动执行“mkdir -p /output_data/2019/11”。 梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。 根据前面步骤确定的参数，创建GDS外表。

导入数据后查询数据 也可以将MRS数据导入GaussDB(DWS)后，再查询数据。 在GaussDB(DWS)数据库中，创建导入数据的目标表，用于存储导入的数据。 该表的表结构必须与创建外表中创建的外表的表结构保持一致，即字段个数、字段类型要完全一致。 例如，创建一个名为product_info的表，示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 DROP TABLE IF EXISTS product_info; CREATE TABLE product_info ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) with ( orientation = column, compression=middle ) DISTRIBUTE BY HASH (product_id); 执行“INSERT INTO .. SELECT ..”命令从外表导入数据到目标表。 示例： 1 INSERT INTO product_info SELECT * FROM foreign_product_info; 若出现以下类似信息，说明数据导入成功。 INSERT 0 20 执行SELECT命令，查看从MRS导入到GaussDB(DWS)中的数据。 1 SELECT * FROM product_info; 查询结果显示如数据文件中所示的数据，表示导入成功。查询结果的结尾将显示以下信息： (20 rows)

数据文件 假设有数据文件product_info.txt，示例数据如下所示： 100,XHDK-A-1293-#fJ3,2017-09-01,A,2017 Autumn New Shirt Women,red,M,328,2017-09-04,715,good 205,KDKE-B-9947-#kL5,2017-09-01,A,2017 Autumn New Knitwear Women,pink,L,584,2017-09-05,406,very good! 300,JODL-X-1937-#pV7,2017-09-01,A,2017 autumn new T-shirt men,red,XL,1245,2017-09-03,502,Bad. 310,QQPX-R-3956-#aD8,2017-09-02,B,2017 autumn new jacket women,red,L,411,2017-09-05,436,It's really super nice 150,ABEF-C-1820-#mC6,2017-09-03,B,2017 Autumn New Jeans Women,blue,M,1223,2017-09-06,1200,The seller's packaging is exquisite 200,BCQP-E-2365-#qE4,2017-09-04,B,2017 autumn new casual pants men,black,L,997,2017-09-10,301,The clothes are of good quality. 250,EABE-D-1476-#oB1,2017-09-10,A,2017 autumn new dress women,black,S,841,2017-09-15,299,Follow the store for a long time. 108,CDXK-F-1527-#pL2,2017-09-11,A,2017 autumn new dress women,red,M,85,2017-09-14,22,It's really amazing to buy 450,MMCE-H-4728-#nP9,2017-09-11,A,2017 autumn new jacket women,white,M,114,2017-09-14,22,Open the package and the clothes have no odor 260,OCDA-G-2817-#bD3,2017-09-12,B,2017 autumn new woolen coat women,red,L,2004,2017-09-15,826,Very favorite clothes 980,ZKDS-J-5490-#cW4,2017-09-13,B,2017 Autumn New Women's Cotton Clothing,red,M,112,2017-09-16,219,The clothes are small 98,FKQB-I-2564-#dA5,2017-09-15,B,2017 autumn new shoes men,green,M,4345,2017-09-18,5473,The clothes are thick and it's better this winter. 150,DMQY-K-6579-#eS6,2017-09-21,A,2017 autumn new underwear men,yellow,37,2840,2017-09-25,5831,This price is very cost effective 200,GKLW-l-2897-#wQ7,2017-09-22,A,2017 Autumn New Jeans Men,blue,39,5879,2017-09-25,7200,The clothes are very comfortable to wear 300,HWEC-L-2531-#xP8,2017-09-23,A,2017 autumn new shoes women,brown,M,403,2017-09-26,607,good 100,IQPD-M-3214-#yQ1,2017-09-24,B,2017 Autumn New Wide Leg Pants Women,black,M,3045,2017-09-27,5021,very good. 350,LPEC-N-4572-#zX2,2017-09-25,B,2017 Autumn New Underwear Women,red,M,239,2017-09-28,407,The seller's service is very good 110,NQAB-O-3768-#sM3,2017-09-26,B,2017 autumn new underwear women,red,S,6089,2017-09-29,7021,The color is very good 210,HWNB-P-7879-#tN4,2017-09-27,B,2017 autumn new underwear women,red,L,3201,2017-09-30,4059,I like it very much and the quality is good. 230,JKHU-Q-8865-#uO5,2017-09-29,C,2017 Autumn New Clothes with Chiffon Shirt,black,M,2056,2017-10-02,3842,very good

背景信息 GDS的版本需与集群版本保持一致（如：GDS V100R008C00版本与DWS 1.3.X版本配套），否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后，请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时，GaussDB(DWS)也会进行两端的版本一致性检测，不一致时会在屏幕上显示报错信息并终止对应操作。 GDS的版本号的查看办法为：在GDS工具的解压目录下执行如下命令。 gds -V 数据库版本的查看办法为：连接数据库后，执行如下SQL命令查看。 1 SELECT version();

gds.conf参数说明 表1 gds.conf配置说明 属性 说明 取值范围 name 标识名。 - ip 监听ip地址。 IP需为合法IP地址。 IP的默认值：127.0.0.1 port 监听端口号。 取值范围：1024~65535，正整数。 默认值：8098。 data_dir 数据文件目录。 - err_dir 错误日志文件目录。 默认值：数据文件目录 log_file 日志文件路径。 - host 设置允许连接到GDS的主机IP地址（参数为CIDR格式，仅支持linux系统）。 - recursive 是否递归数据文件目录。 取值范围： true：递归 。 false：不递归。 默认值：false。 daemon 是否以DAEMON（后台）模式运行。 取值范围： true：以DAEMON模式运行。 false：不以DAEMON模式运行。 默认值：false。 parallel 导入工作线程并发数目。 取值范围：0~200，正整数。 默认值：8。

创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中，将使用（可选）新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase 。用户需要通过GaussDB(DWS)提供的数据库客户端连接数据库。 例如，使用gsql客户端的用户可以通过以下两种方法中的一种进行连接： 如果已经登录了gsql客户端，可以执行以下命令切换数据库和用户： 1 \c mydatabase dbuser; 根据提示输入密码。 如果尚未登录gsql客户端，或者已经登录了gsql客户端执行“\q”退出gsql后，执行以下命令重新进行连接： 1 gsql -d mydatabase -h 192.168.2.30 -U dbuser -p 8000 -r 根据提示输入密码。 创建外部服务器。 例如，执行以下命令创建外部服务器“obs_server”： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 CREATE SERVER obs_server FOREIGN DATA WRAPPER dfs_fdw OPTIONS ( address 'obs.cn-north-1.myhuaweicloud.com' , ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced', encrypt 'on', type 'obs' ); 以下为必选参数的说明： 外部服务器名称 允许用户自定义名字。 在本例中指定为“obs_server” 。 FOREIGN DATA WRAPPER fdw_name的名字可以是hdfs_fdw或者dfs_fdw，它在数据库中已经存在。 OPTIONS参数 address 指定OBS服务的终端节点。 address的获取方法如下： 先通过OBS上的数据准备中的2获取OBS路径。 在OBS上查看到的OBS路径，为OBS服务终端节点（Endpoint）：obs.xxx.xxx.com。 访问密钥（AK和SK）（必选） GaussDB(DWS)需要通过访问密钥（AK和SK）访问OBS，因此，必须先获取访问密钥。 “access_key”（必选）：表示用户的AK信息。 “secret_access_key”（必选）：表示用户的SK信息。 获取访问密钥的具体步骤，请参见创建访问密钥（AK和SK）。 type 取值为“obs”，表示dfs_fdw连接的是OBS。 查看外部服务器： 1 SELECT * FROM pg_foreign_server WHERE srvname='obs_server'; 返回结果如下所示，表示已经创建成功： 1 2 3 4 5 6 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions ------------+----------+--------+---------+------------+--------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ----------- obs_server | 24661 | 13686 | | | | {address=xxx.xxx.x.xxx,access_key=xxxxxxxxxxxxxxxxxxxx,type=obs,secret_access_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx} (1 row)

（可选）新建用户及数据库并授予外表权限 如果您将使用普通用户在自定义数据库中创建外部服务器和外表，由于普通用户没有外表权限无法创建，所以，您必须参照以下步骤新建用户和数据库，并授予该用户外表权限。 以下示例，是新建一个普通用户dbuser并创建一个数据库mydatabase，然后使用管理员用户授予dbuser外表权限。 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库gaussdb。 例如，使用gsql客户端的用户执行下面命令连接数据库： 1 gsql -d gaussdb -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 新建一个普通用户，并用它创建一个数据库。 新建一个具有创建数据库权限的用户dbuser： 1 CREATE USER dbuser WITH CREATEDB PASSWORD 'password'; 切换为新建的用户： 1 SET ROLE dbuser PASSWORD 'password'; 执行以下命令创建数据库： 1 CREATE DATABASE mydatabase; 查询数据库： 1 SELECT * FROM pg_database; 返回结果中有mydatabase的信息表示创建成功： 1 2 3 4 5 6 7 8 9 10 datname | datdba | encoding | datcollate | datctype | datistemplate | datallowconn | datconnlimit | datlastsysoid | datfrozenxid | dattablespace | datcompatibility | datacl ------------+--------+----------+------------+----------+---------------+--------------+--------------+---------------+--------------+---------------+------------------+-------------------------------------- -------------- template1 | 10 | 0 | C | C | t | t | -1 | 14146 | 1351 | 1663 | ORA | {=c/Ruby,Ruby=CTc/Ruby} template0 | 10 | 0 | C | C | t | f | -1 | 14146 | 1350 | 1663 | ORA | {=c/Ruby,Ruby=CTc/Ruby} gaussdb | 10 | 0 | C | C | f | t | -1 | 14146 | 1352 | 1663 | ORA | {=Tc/Ruby,Ruby=CTc/Ruby,chaojun=C/Ruby,hu obinru=C/Ruby} mydatabase | 17000 | 0 | C | C | f | t | -1 | 14146 | 1351 | 1663 | ORA | (4 rows) 使用管理员用户给普通用户赋予创建外部服务器的权限和使用外表的权限。 使用数据库管理员用户通过GaussDB(DWS)提供的数据库客户端连接新建的数据库。 例如，使用gsql客户端的用户可以直接使用如下语句切换为管理员用户去连接新建的数据库： 1 \c mydatabase dbadmin; 根据提示输入管理员用户密码。 注意，必须先使用管理员用户连接到将要创建外部服务器和使用外表的数据库，再对普通用户进行授权。 默认只有系统管理员才可以创建外部服务器，普通用户需要授权才可以创建，执行以下命令授权： 1 2 GRANT ALL ON SCHEMA public TO dbuser; GRANT ALL ON FOREIGN DATA WRAPPER dfs_fdw TO dbuser; 其中fdw_name的名字可以是hdfs_fdw或者dfs_fdw，dbuser为创建SERVER的用户名。 执行以下命令赋予用户使用外表的权限。 1 ALTER USER dbuser USEFT; 查看用户： 1 2 3 4 5 6 7 8 9 10 11 12 13 SELECT r.rolname, r.rolsuper, r.rolinherit, r.rolcreaterole, r.rolcreatedb, r.rolcanlogin, r.rolconnlimit, r.rolvalidbegin, r.rolvaliduntil, ARRAY(SELECT b.rolname FROM pg_catalog.pg_auth_members m JOIN pg_catalog.pg_roles b ON (m.roleid = b.oid) WHERE m.member = r.oid) as memberof , r.rolreplication , r.rolauditadmin , r.rolsystemadmin , r.roluseft FROM pg_catalog.pg_roles r ORDER BY 1; 返回结果中dbuser的信息中包含了UseFT权限，表示授权成功： 1 2 3 4 5 rolname | rolsuper | rolinherit | rolcreaterole | rolcreatedb | rolcanlogin | rolconnlimit | rolvalidbegin | rolvaliduntil | memberof | rolreplication | rolauditadmin | rolsystemadmin | roluseft -----------+----------+------------+---------------+-------------+-------------+--------------+---------------+---------------+----------+----------------+---------------+----------------+---------- dbuser | f | t | f | t | t | -1 | | | {} | f | f | f | t lily | f | t | f | f | t | -1 | | | {} | f | f | f | f Ruby | t | t | t | t | t | -1 | | | {} | t | t | t | t

示例 示例一：执行gs_dump，导出hr模式全量信息，并对导出文件进行压缩，导出文件格式为文本格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_backup.sql -p 8000 -h 10.10.10.100 human_resource -n hr -Z 6 -F p gs_dump[port=''][human_resource][2017-07-21 16:05:55]: dump database human_resource successfully gs_dump[port=''][human_resource][2017-07-21 16:05:55]: total time: 2425 ms 示例二：执行gs_dump，仅导出hr模式的数据，导出文件格式为tar归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_data_backup.tar -p 8000 -h 10.10.10.100 human_resource -n hr -a -F t gs_dump[port=''][human_resource][2018-11-14 15:07:16]: dump database human_resource successfully gs_dump[port=''][human_resource][2018-11-14 15:07:16]: total time: 1865 ms 示例三：执行gs_dump，仅导出hr模式的定义，导出文件格式为目录归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_def_backup -p 8000 -h 10.10.10.100 human_resource -n hr -s -F d gs_dump[port=''][human_resource][2018-11-14 15:11:34]: dump database human_resource successfully gs_dump[port=''][human_resource][2018-11-14 15:11:34]: total time: 1652 ms 示例四：执行gs_dump，导出human_resource数据库时，排除hr模式，导出文件格式为自定义归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_backup.dmp -p 8000 -h 10.10.10.100 human_resource -N hr -F c gs_dump[port=''][human_resource][2017-07-21 16:06:31]: dump database human_resource successfully gs_dump[port=''][human_resource][2017-07-21 16:06:31]: total time: 2522 ms 示例五：执行gs_dump，同时导出hr和public模式，且仅导出模式定义，并对导出文件进行加密，导出文件格式为tar归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_backup1.tar -p 8000 -h 10.10.10.100 human_resource -n hr -n public -s --with-encryption AES128 --with-key 1234567812345678 -F t gs_dump[port=''][human_resource][2017-07-21 16:07:16]: dump database human_resource successfully gs_dump[port=''][human_resource][2017-07-21 16:07:16]: total time: 2132 ms 示例六：执行gs_dump，导出human_resource数据库时，排除hr和public模式，导出文件格式为自定义归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_schema_backup2.dmp -p 8000 -h 10.10.10.100 human_resource -N hr -N public -F c gs_dump[port=''][human_resource][2017-07-21 16:07:55]: dump database human_resource successfully gs_dump[port=''][human_resource][2017-07-21 16:07:55]: total time: 2296 ms 示例七：执行gs_dump，导出public模式下所有表（视图、序列和外表）和hr模式中staffs表，包含数据和表定义，导出文件格式为自定义归档格式。 gs_dump -W password -U jack -f /home//backup/MPPDB_backup3.dmp -p 8000 -h 10.10.10.100 human_resource -t public.* -t hr.staffs -F c gs_dump[port=''][human_resource][2018-12-13 09:40:24]: dump database human_resource successfully gs_dump[port=''][human_resource][2018-12-13 09:40:24]: total time: 896 ms

安装dws-kettle-plugin自定义插件 下载dws-client相关插件。 dws-kettle-plugin.jar：访问下载地址，获取最新版本使用。 dws-client.jar：访问下载地址，获取最新版本使用。 caffeine.jar：访问下载地址，选择与dws-client对应依赖的版本，例如dws-client为1.0.10，则获取1.0.10下对应的caffeine.jar。 必须选择dws-client对应依赖的版本，使用其他版可能会出现不兼容问题。 huaweicloud-dws-jdbc.jar：访问下载地址，选择与dws-client对应依赖的版本，例如dws-client为1.0.10，则获取1.0.10下对应的huaweicloud-dws-jdbc.jar。 在kettle的安装目录data-integration\plugins下新建目录，如dws-plugin。 将dws-kettle-plugin.jar放在data-integration\plugins\dws-plugin目录下。 将dws-client.jar、caffeine.jar放在data-integration\plugins\dws-plugin\lib目录下。 将huaweicloud-dws-jdbc.jar放在data-integration\lib目录下。

下载DSC SQL语法迁移工具 登录GaussDB(DWS) 管理控制台。 在左侧导航栏中，单击“连接管理”。 在“下载客户端和驱动”区域，单击“这里”即可下载DSC迁移工具。 如果同时拥有不同版本的集群，系统会弹出对话框，提示您选择“集群版本”然后下载与集群版本相对应的客户端。在“集群管理”页面的集群列表中，单击指定集群的名称，再选择“基本信息”页签，可查看集群版本。 图1 下载工具 下载客户端软件。 表1 DSC下载地址 适用操作系统 下载地址 校验文件 请参见DSC SQL语法迁移工具操作指导 DSC.zip DSC.zip.sha256 下载到本机后，使用WinSCP工具，将DSC工具上传到一个需安装工具的Linux主机上。 执行上传操作的用户需要对Linux主机的目标存放目录有完全控制权限。

OBS导入数据示例 在GaussDB(DWS)上，创建导入的目标表tpcds.customer_address。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 CREATE TABLE tpcds.customer_address ( ca_address_sk integer not null, ca_address_id char(16) not null, ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type char(20) ) WITH (orientation = column,compression=middle) DISTRIBUTE BY hash (ca_address_sk); 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/input-data1”和“/input-data2”，并创建每个桶下面的data目录“/input-data1/data”和“/input-data2/data”。 将数据源文件均匀上传至OBS数据服务器的“/input-data1/data/”和“/input-data2/data/”目录中。 在GaussDB(DWS)上，创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常，OBS数据服务器IP为xxx.xxx.x.xx，数据源文件格式为CSV，规划的并行导入与示例保持一致。 其中设置的导入信息如下所示： 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/ ”和“/input-data2/data/ ”，所以设置参数“location”为“obs://input-data1/data/ | obs://input-data2/data/”。 设置的数据格式信息是根据数据源文件的详细数据格式参数信息指定的，参数设置如下所示： 数据源文件格式（format）为CSV。 编码格式（encoding）为UTF-8。 字段分隔符（delimiter）为E'\x08'。 引号字符（quote）为E'\x1b'。 是否使用加密（encrypt），默认为 “off”。 用户获取OBS访问协议对应的AK值（access_key） 。 用户获取OBS访问协议对应的SK值 （secret_access_key）。 请根据用户实际获取的access_key和secret_access_key的密钥替换示例中的对应内容。 设置的导入容错性如下所示： 允许每个DN上出现数据格式错误的个数（PER NODE REJECT LIMIT 'value'）为unlimited，即接受导入过程中所有数据格式错误。 将数据导入过程中出现的数据格式错误信息（LOG INTO error_table_name）写入表customer_address_err。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 CREATE FOREIGN TABLE tpcds.customer_address_ext ( ca_address_sk integer , ca_address_id char(16) , ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(5,2) , ca_location_type char(20) ) SERVER gsmpp_server OPTIONS(location 'obs://input-data1/data/ | obs://input-data2/data/', FORMAT 'CSV' , encoding 'utf8', DELIMITER E'\x08', quote E'\x1b', encrypt 'off', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' )LOG INTO customer_address_err PER NODE REJECT LIMIT 'unlimited'; 在GaussDB(DWS)上，通过外表tpcds.customer_address_ext，将数据导入目标表tpcds.customer_address。 1 INSERT INTO tpcds.customer_address SELECT * FROM tpcds.customer_address_ext; 查询错误信息表customer_address_err，处理数据导入错误。更多关于错误表的信息，请参见处理错误表。 1 SELECT * FROM customer_address_err; 在数据导入完成后，执行ANALYZE语句生成表统计信息。 1 ANALYZE tpcds.customer_address; 父主题： 从OBS导入CSV,TXT数据

示例 示例一：执行gs_dump导出数据，用户jack不具备导出数据库human_resource的权限，而角色role1具备该权限，要实现导出数据库human_resource，可以在导出命令中设置--role角色为role1，使用role1的权限，完成导出目的。导出文件格式为tar归档格式。 human_resource=# CREATE USER jack IDENTIFIED BY "password"; gs_dump -U jack -W password -f /home//backup/MPPDB_backup11.tar -p 8000 -h 10.10.10.100 human_resource --role role1 --rolepassword password -F t gs_dump[port='8000'][human_resource][2017-07-21 16:21:10]: dump database human_resource successfully gs_dump[port='8000'][human_resource][2017-07-21 16:21:10]: total time: 4239 ms 示例二：执行gs_dump导出数据，用户jack不具备导出模式public的权限，而角色role1具备该权限，要实现导出模式public，可以在导出命令中设置--role角色为role1，使用role1的权限，完成导出目的。导出文件格式为tar归档格式。 human_resource=# CREATE USER jack IDENTIFIED BY "1234@abc"; gs_dump -U jack -W password -f /home//backup/MPPDB_backup12.tar -p 8000 -h 10.10.10.100 human_resource -n public --role role1 --rolepassword password -F t gs_dump[port='8000'][human_resource][2017-07-21 16:21:10]: dump database human_resource successfully gs_dump[port='8000'][human_resource][2017-07-21 16:21:10]: total time: 3278 ms 示例三：执行gs_dumpall导出数据，用户jack不具备导出所有数据库的权限，而角色role1具备该权限，要实现导出所有数据库，可以在导出命令中设置--role角色为role1，使用role1的权限，完成导出目的。导出文件格式为文本归档格式。 human_resource=# CREATE USER jack IDENTIFIED BY "password"; gs_dumpall -U jack -W password -f /home//backup/MPPDB_backup.sql -p 8000 -h 10.10.10.100 --role role1 --rolepassword password gs_dumpall[port='8000'][human_resource][2018-11-14 17:26:18]: dumpall operation successful gs_dumpall[port='8000'][human_resource][2018-11-14 17:26:18]: total time: 6437 ms

创建访问密钥（AK和SK） 在创建访问密钥前，请确保登录控制台的账号已通过实名认证。 通过管理控制台创建访问密钥（AK和SK）操作步骤如下： 登录GaussDB(DWS)管理控制台。 单击右上角用户名，在下拉菜单中单击“我的凭证”。 在左侧导航树单击“访问密钥”。 如果在访问密钥列表中已经有访问密钥了，可以直接使用现有的访问密钥。但是，在访问密钥列表中只能查看到访问密钥ID（即Access Key ID），只有在新增访问密钥时，用户才可以下载到含有Access Key ID和Secret Access Key的密钥文件。如果您没有该密钥文件，可以单击“新增访问密钥”重新创建。 每个用户最多可创建两个有效的访问密钥，如果当前已存在两个访问密钥，只能先删除现有的访问密钥，然后再重新创建。删除时，需要输入当前用户的登录密码、邮箱或手机短信的验证码，验证通过才能成功删除。 为了账号安全性，建议您定期更换并妥善保存访问密钥。 单击“新增访问密钥”。 在弹出的对话框中，输入登录密码和对应验证码，然后单击“确定”。 用户如果未绑定邮箱和手机，则只需输入登录密码。 用户如果同时绑定了邮箱和手机，可以选择其中一种方式进行验证。 在弹出的“下载确认”提示框中，单击“确定”后，密钥会直接保存到浏览器默认的下载文件夹中。 为防止访问密钥泄露，建议您将其保存到安全的位置。 如果用户在此提示框中单击“取消”，则不会下载密钥，后续也将无法重新下载。如果需要使用访问密钥，可以重新创建新的访问密钥。 打开下载下来的“credentials.csv”文件即可获取到访问密钥（AK和SK）。

任务示例 除了以下示例，更多外表创建的示例请参考GDS导入示例。 示例1：创建GDS外表foreign_tpcds_reasons，数据格式为CSV。 1 2 3 4 5 6 7 CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例2：创建GDS导入外表foreign_tpcds_reasons_SSL，使用SSL加密传输的模式传输，数据格式为CSV。 1 2 3 4 5 6 7 CREATE FOREIGN TABLE foreign_tpcds_reasons_SSL ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfss://192.168.0.90:5000/* | gsfss://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例3：创建GDS外表foreign_tpcds_reasons，数据格式为TEXT。 1 2 3 4 5 6 CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'TEXT', delimiter E'\x08', null '',reject_limit '2',EOL '0x0D') WITH err_foreign_tpcds_reasons; 示例4：创建GDS外表foreign_tpcds_reasons，数据格式为FIXED。 1 2 3 4 5 6 CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/*', FORMAT 'FIXED', ENCODING 'utf8',FIX '119');

操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如，待入库的数据为CSV格式。 header（仅支持CSV，FIXED格式）：确认数据文件是否包含标题行。 delimiter：确认数据文件中，字段间的分隔符。例如，以英文逗号分隔的。 encoding：数据源文件的数据编码格式。例如，为UTF-8。 eol：确认数据文件中，行间的换行符。例如，默认的换行符，如0x0D0A、0X0A，或者自定义的换行符，如字符串!@#。该参数仅支持TEXT格式导入。 外表可识别的其他更多格式信息请参见数据格式参数。 需要收集的GDS服务的访问信息如下： location：GDS服务的访问地址。例如以安装配置和启动GDS中的GDS信息为例。非SSL模式下的location为：gsfs://192.168.0.90:5000//input_data/ 。SSL模式下的location为：gsfss://192.168.0.90:5000//input_data/ 。其中，“192.168.0.90:5000”为GDS服务的IP及端口号；“input_data”为GDS服务管理的数据源文件所在的路径。请根据实际情况替换。 依据数据源文件中的数据情况，设计导入容错机制。 GaussDB(DWS)支持如下的数据容错性处理，相当于数据入库前对数据做初步的简单清洗。 fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。 取值范围：true/on，false/off。 参数为true/on，当数据导入时，若数据源文件中一行数据的最后一个字段缺失，则把最后一个字段的值设置为NULL，不报错。 参数为false/off，如果最后一个字段缺失会显示如下错误信息。 missing data for column "tt" 缺省值：false/off。 ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。 取值范围：true/on、false/off。 参数为true/on，若数据源文件比外表定义列数多，则忽略行尾多出来的列。 参数为false/off，若数据源文件比外表定义列数多，会显示如下错误信息。 1 extra data after last expected column 缺省值：false/off。 per node reject_limit：本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量。如果有一个DN实例上录入错误表中的错误数量超过设定值时，本次导入失败，报错退出。可以选择不做限制，也可以根据所能容忍的错误数量选择一个上限值。 compatible_illegal_chars：导入时遇到非法字符，选择如何处理。是将非法字符按照转换规则转换后入库，还是报错中止导入。 取值范围：true/on，false/off。 参数为true/on，则导入时遇到非法字符进行容错处理，非法字符转换后入库，不报错，不中断导入。 参数为false/off，导入时遇到非法字符进行报错，中断导入。 缺省值：false/off。 非法字符容错转换规则如下： 对于'\0'，容错后转换为空格。 对于其他非法字符，容错后转换为问号。 对非法字符进行容错转换时，如遇NULL、DELIMITER、QUOTE、ESCAPE也设置成了空格或问号，GaussDB(DWS)会通过如“illegal chars conversion may confuse COPY escape 0x20”等报错信息提示用户修改可能引起混淆的参数以避免导入错误。 error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 remote log 'name'：数据导入过程中的数据格式错误信息是否同时在GDS服务器上以文件方式保存。name为错误数据文件的文件名前缀。 关于容错性参数的更多信息请参考容错性参数。 使用gsql或Data Studio连接数据库后，根据前面步骤所收集和规划的信息参数，创建GDS外表。 示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS ( LOCATION 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 示例中的各项说明如下： 外表字段需与数据库中即将存储数据的事实表保持一致。 对于GDS导入，SERVER gsmpp_server请保持不变。 location参数请根据1中收集的GDS服务访问信息修改。注意GDS使用SSL加密传输时，需要将“gsfs”替换为“gsfss”。 FORMAT、DELIMITER、ENCODING、HEADER请根据1中收集的数据源格式信息填写。 FILL_MISSING_FIELDS、IGNORE_EXTRA_DATA、LOG INTO及PER NODE REJECT LIMIT请根据2中设计的导入容错机制填写。注意LOG INTO是指将数据格式错误录入哪个错误表，即其取值为错误表表名。

示例二 例如，在GaussDB(DWS)数据库中，创建一个format参数为CSV的只写外表，用于导出CSV文件。设置的参数信息如下所示： location 在规划导出数据中，通过获取数据源文件的OBS路径，已经获取到数据源文件的OBS路径。 因此，设置参数“location”为： 1 location 'obs://mybucket/output_data/', 访问密钥（AK和SK） 用户获取OBS访问协议对应的AK值（access_key）。 用户获取OBS访问协议对应的SK值 （secret_access_key）。 用户在创建用户时已经获取了access_key和secret_access_key的密钥，请根据实际密钥替换示例中的对应内容。 设置数据格式参数 数据源文件格式（format）为“CSV”。 编码格式（encoding）为“UTF-8”。 是否使用加密（encrypt），默认为 “off”。 字段分隔符（delimiter）为“,”。 header（指定导出数据文件是否包含标题行） 指定导出数据文件是否包含标题行，标题行一般用来描述表中每个字段的信息。 OBS导出数据时不支持该参数为true，使用缺省值false，不需要设置，表示导出的数据文件第一行不是标题行（即表头）。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 DROP FOREIGN TABLE IF EXISTS product_info_output_ext2; CREATE FOREIGN TABLE product_info_output_ext2 ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS( location 'obs://mybucket/output_data/', FORMAT 'CSV' , DELIMITER ',', encoding 'utf8', header 'false', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' ) WRITE ONLY ; 返回如下信息表示创建成功： 1 CREATE FOREIGN TABLE

操作步骤 根据规划导出数据中规划的路径，由此确定创建外表时使用的参数location的值。 用户获取OBS访问协议对应的AK值和SK值。 获取访问密钥，请登录管理控制台，单击右上角的用户名并选择菜单“我的凭证”，然后在左侧导航树单击“管理访问密钥”。在访问密钥页面，可以查看已有的访问密钥ID（即AK），如果要同时获取AK和SK，可以单击“新增访问密钥”创建并下载访问密钥。 梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。详细使用请参见数据格式参数。 根据前面步骤确定的参数，创建OBS外表。

示例一 例如，在GaussDB(DWS)数据库中，创建一个format参数为text的只写外表，用于导出text文件。设置的参数信息如下所示： location 在规划导出数据中，通过获取数据源文件的OBS路径已经获取到数据源文件的OBS路径。 因此，设置参数“location”为： location 'obs://mybucket/output_data/', 访问密钥（AK和SK） 用户获取OBS访问协议对应的AK值（access_key）。 用户获取OBS访问协议对应的SK值 （secret_access_key）。 用户在创建用户时已经获取了access_key和secret_access_key的密钥，请根据实际密钥替换示例中的内容。 设置数据格式参数 数据源文件格式（format）为“TEXT”。 编码格式（encoding）为“UTF-8”。 是否使用加密（encrypt），默认为“off”。 字段分隔符（delimiter）为“|”。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 DROP FOREIGN TABLE IF EXISTS product_info_output_ext1; CREATE FOREIGN TABLE product_info_output_ext1 ( c_bigint bigint, c_char char(30), c_varchar varchar(30), c_nvarchar2 nvarchar2(30) , c_data date, c_time time , c_test varchar(30)) server gsmpp_server options ( LOCATION 'obs://mybucket/output_data/', ACCESS_KEY 'access_key_value_to_be_replaced', SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced' format 'text', delimiter '|', encoding 'utf-8', encrypt 'on' ) WRITE ONLY; 返回如下信息表示创建成功： CREATE FOREIGN TABLE

导出流程 图2 并行导出流程 表1 流程说明 流程 说明 子任务 规划导出数据。 根据所选模式，准备需要导出的数据并规划导出路径。 详细内容请参见规划导出数据 - 启动GDS。 若规划的导出模式为Remote模式，需在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 - 创建外表。 创建外表用于帮助GDS指定导出的数据文件。外表中保存了导出数据文件的位置、文件格式、编码格式、数据间的分隔符等信息。 详细内容请参见创建GDS外表。 - 执行导出数据。 在创建好外表后，通过INSERT语句，将数据快速、高效地导出到数据文件中。 详细内容请参见执行导出数据。 - 停止GDS。 数据导出完成后，停止GDS。 详细请参见停止GDS。 -

相关概念 数据文件：存储有数据的TEXT、CSV或FIXED文件。文件中保存的是从GaussDB(DWS)数据库导出的数据。 外表：用于规划导出数据文件的数据文件格式、存放位置、编码格式等信息。 GDS：数据服务工具。在导出数据时，需要将此工具部署到数据文件所在的服务器上，使DN可以通过该工具导出数据。 表：数据库中的表，包括行存表和列存表。数据文件中的数据从这些表中导出。 Remote导出模式：将集群中的业务数据导出到集群之外的主机上。

概述 通过外表导出数据：通过GDS外表设置的导出模式、导出数据格式等信息来指定待导出的数据文件，利用多DN并行的方式，将数据从数据库导出到数据文件中，从而提高整体导出性能。不支持直接导出文件到HDFS文件系统。 CN只负责任务的规划及下发，把数据导出的工作交给了DN，释放了CN的资源，使其有能力处理外部请求。 通过让各个DN都参与数据导出，充分利用各个设备的计算能力及网络带宽。 图1 通过外表导出数据

手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如：通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接： 可以通过以下两种方法中的一种进行连接： 如果已经登录了gsql客户端，可以执行以下命令切换数据库和用户： 1 \c postgres dbadmin; 根据提示输入密码。 如果尚未登录gsql客户端，或者已经登录了gsql客户端执行\q退出gsql后，执行以下命令重新进行连接： 1 gsql -d postgres -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 执行以下命令查询自动创建的外部服务器的信息： 1 SELECT * FROM pg_foreign_server; 返回结果如下： 1 2 3 4 5 6 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions --------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- gsmpp_server | 10 | 13673 | | | | gsmpp_errorinfo_server | 10 | 13678 | | | | hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca | 16476 | 13685 | | | | {"address=192.168.1.245:25000,192.168.1.218:25000",hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (3 rows) 查询结果中，每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息： srvname值包含“hdfs_server”字样以及MRS集群的ID，此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器，并记录下它的srvname和srvoptions的值。 切换为即将创建外部服务器的用户去连接其对应的数据库。 在本示例中，执行以下命令，使用创建用户和数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase： 1 \c mydatabase dbuser; 创建外部服务器。 创建外部服务器的详细语法，请参见CREATE SERVER。示例如下： 1 2 3 4 5 6 7 CREATE SERVER hdfs_server_8f79ada0_d998_4026_9020_80d6de2692cahdfs_server FOREIGN DATA WRAPPER HDFS_FDW OPTIONS ( address '192.168.1.245:25000,192.168.1.218:25000', hdfscfgpath '/MRS/8f79ada0-d998-4026-9020-80d6de2692ca', type 'hdfs' ); 以下为必选参数的说明： 外部服务器名称 允许用户自定义名字。 在本例中，指定为前面的步骤2中记录下来的srvname字段的值，如'hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca'。 不同的数据库之间资源是隔离的，因此在不同的数据库中外部服务器名称可以相同。 FOREIGN DATA WRAPPER 只能指定为HDFS_FDW，它在数据库中已经存在。 OPTIONS参数 以下参数请分别指定为步骤2中记录下来的srvoptions中的参数值。 address 指定HDFS集群的主备节点所在的IP地址以及端口。 hdfscfgpath 指定HDFS集群配置文件路径。该参数仅支持type为HDFS时设置。只能设置一个路径。 type 取值为'hdfs'，表示HDFS_FDW连接的是HDFS。 查看外部服务器： 1 SELECT * FROM pg_foreign_server WHERE srvname='hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca'; 返回结果如下所示，表示已经创建成功： 1 2 3 4 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions --------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca | 16476 | 13685 | | | | {"address=192.168.1.245:25000,192.168.1.218:25000",hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (1 row)

创建用户和数据库并授予外表权限 以下示例，是新建一个普通用户dbuser并创建一个数据库mydatabase，然后使用管理员用户授予dbuser外表权限。 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库gaussdb。 例如，使用gsql客户端的用户通过如下语句连接数据库： 1 gsql -d gaussdb -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 新建一个普通用户，并用它创建一个数据库。 新建一个具有创建数据库权限的用户dbuser： 1 CREATE USER dbuser WITH CREATEDB PASSWORD 'password'; 切换为新建的用户： 1 SET ROLE dbuser PASSWORD 'password'; 执行以下命令创建数据库： 1 CREATE DATABASE mydatabase; 查询数据库： 1 SELECT * FROM pg_database; 返回结果中有mydatabase的信息表示创建成功： 1 2 3 4 5 6 7 8 9 10 datname | datdba | encoding | datcollate | datctype | datistemplate | datallowconn | datconnlimit | datlastsysoid | datfrozenxid | dattablespace | datcompatibility | datacl ------------+--------+----------+------------+----------+---------------+--------------+--------------+---------------+--------------+---------------+------------------+-------------------------------------- -------------- template1 | 10 | 0 | C | C | t | t | -1 | 14146 | 1351 | 1663 | ORA | {=c/Ruby,Ruby=CTc/Ruby} template0 | 10 | 0 | C | C | t | f | -1 | 14146 | 1350 | 1663 | ORA | {=c/Ruby,Ruby=CTc/Ruby} gaussdb | 10 | 0 | C | C | f | t | -1 | 14146 | 1352 | 1663 | ORA | {=Tc/Ruby,Ruby=CTc/Ruby,chaojun=C/Ruby,hu obinru=C/Ruby} mydatabase | 17000 | 0 | C | C | f | t | -1 | 14146 | 1351 | 1663 | ORA | (4 rows) 使用管理员用户给普通用户赋予创建外部服务器的权限和使用外表的权限。 使用数据库管理员用户通过数据库客户端连接新建的数据库。 例如，使用gsql客户端的用户可以直接使用如下语句切换为管理员用户去连接新建的数据库： 1 \c mydatabase dbadmin; 根据提示输入用户密码。 注意，必须先使用管理员用户连接到将要创建外部服务器和使用外表的数据库，再对普通用户进行授权。 默认只有系统管理员才可以创建外部服务器，普通用户需要授权才可以创建，执行以下命令授权： 1 GRANT ALL ON FOREIGN DATA WRAPPER hdfs_fdw TO dbuser; 其中FOREIGN DATA WRAPPER的名字只能是hdfs_fdw，dbuser为创建SERVER的用户名。 执行以下命令赋予用户使用外表的权限： 1 ALTER USER dbuser USEFT; 查看用户： 1 2 3 4 5 6 7 8 9 10 11 12 13 SELECT r.rolname, r.rolsuper, r.rolinherit, r.rolcreaterole, r.rolcreatedb, r.rolcanlogin, r.rolconnlimit, r.rolvalidbegin, r.rolvaliduntil, ARRAY(SELECT b.rolname FROM pg_catalog.pg_auth_members m JOIN pg_catalog.pg_roles b ON (m.roleid = b.oid) WHERE m.member = r.oid) as memberof , r.rolreplication , r.rolauditadmin , r.rolsystemadmin , r.roluseft FROM pg_catalog.pg_roles r ORDER BY 1; 返回结果中，dbuser的信息中包含了UseFT权限，表示授权成功： 1 2 3 4 5 rolname | rolsuper | rolinherit | rolcreaterole | rolcreatedb | rolcanlogin | rolconnlimit | rolvalidbegin | rolvaliduntil | memberof | rolreplication | rolauditadmin | rolsystemadmin | roluseft -----------+----------+------------+---------------+-------------+-------------+--------------+---------------+---------------+----------+----------------+---------------+----------------+---------- dbuser | f | t | f | t | t | -1 | | | {} | f | f | f | t lily | f | t | f | f | t | -1 | | | {} | f | f | f | f Ruby | t | t | t | t | t | -1 | | | {} | t | t | t | t

创建外表 当完成创建外部服务器后，在GaussDB(DWS)数据库中创建一个HDFS只写外表，用来访问存储在HDFS上的数据。此外表是只写的，只能用于导出操作。 创建外表的语法格式如下： 1 2 3 4 5 6 7 8 9 10 11 CREATE FOREIGN TABLE [ IF NOT EXISTS ] table_name ( [ { column_name type_name [ { [CONSTRAINT constraint_name] NULL | [CONSTRAINT constraint_name] NOT NULL | column_constraint [...]} ] | table_constraint [, ...]} [, ...] ] ) SERVER dfs_server OPTIONS ( { option_name ' value ' } [, ...] ) [ {WRITE ONLY }] DISTRIBUTE BY {ROUNDROBIN | REPLICATION} [ PARTITION BY ( column_name ) [ AUTOMAPPED ] ] ; 例如，创建一个名为“product_info_ext_obs”的外表，对语法中的参数按如下描述进行设置： table_name 外表的表名。 表字段定义 column_name：外表中的字段名。 type_name：字段的数据类型。 多个字段用“,”隔开。 SERVER dfs_server 外表的外部服务器名称，这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数，关键参数如下所示。 “format”：表示导出的数据文件格式，支持“orc”格式。 “foldername”：外表中数据源文件目录，即表数据目录在HDFS文件系统上对应的文件目录。此选项对WRITE ONLY外表为必选项，对READ ONLY外表为可选项。 “encoding”：外表中数据源文件的编码格式名称，缺省为utf8。 “filesize” 指定WRITE ONLY外表的文件大小。此选项为可选项，不指定该选项默认分布式文件系统配置中文件大小的配置值。此语法仅对WRITE ONLY的外表有效。 取值范围：[1, 1024]的整数。 filesize参数只对ORC格式的WRITE ONLY的HDFS外表有效。 “compression” 指定ORC格式文件的压缩方式，此选项为可选项。此语法仅对WRITE ONLY的外表有效。 取值范围：zlib，snappy，lz4。缺省值为snappy。 “version” 指定ORC格式的版本号，此选项为可选项。此语法仅对WRITE ONLY的外表有效。 取值范围：目前仅支持0.12。缺省值为0.12。 “dataencoding” 在数据库编码与数据表的数据编码不一致时，该参数用于指定导出数据表的数据编码。比如数据库编码为Latin-1，而导出的数据表中的数据为UTF-8编码。此选项为可选项，如果不指定该选项，默认采用数据库编码。此语法仅对HDFS的WRITE ONLY外表有效。 取值范围：该数据库编码支持转换的数据编码。 dataencoding参数只对ORC格式的WRITE ONLY的HDFS外表有效。 语法中的其他参数 其他参数均为可选参数，用户可以根据自己的需求进行设置，在本例中不需要设置。 根据以上信息，创建外表命令如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 DROP FOREIGN TABLE IF EXISTS product_info_ext_obs; ---建立不包含分区列的HDFS外表，表关联的外部服务器为hdfs_server，表对应的HDFS服务上的文件格式为‘orc’，HDFS上的数据存储路径为'/user/hive/warehouse/product_info_orc/'。 CREATE FOREIGN TABLE product_info_ext_obs ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER obs_server OPTIONS ( format 'orc', foldername '/user/hive/warehouse/product_info_orc/', compression 'snappy', version '0.12' ) Write Only; 父主题： 导出ORC数据到MRS

相关概念 数据源文件：存储有数据的TEXT、CSV、ORC、CARBONDATA、JSON文件。文件中保存的是待并行导入数据库的数据。 OBS：对象存储服务，是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。向GaussDB(DWS)并行导入数据时，数据对象放置在OBS服务器上。 桶（Bucket）：对OBS中的一个存储空间的形象称呼，是存储对象的容器。 对象存储是一种非常扁平化的存储方式，桶中存储的对象都在同一个逻辑层级，去除了文件系统中的多层级树形目录结构。 在OBS中，桶名必须是全局唯一的且不能修改，即用户创建的桶不能与自己已创建的其他桶名称相同，也不能与其他用户创建的桶名称相同。每个桶在创建时都会生成默认的桶ACL（Access Control List），桶ACL列表的每项包含了对被授权用户授予的权限，如读取权限、写入权限、完全控制权限等。用户需要对桶有相应的权限，才可以对桶进行操作，如创建、删除、显示、设置桶ACL等。 一个用户最多可创建100个桶，但每个桶中存放的总数据容量和对象/文件数量没有限制。 对象：是存储在OBS中的基本数据单位。用户上传的数据以对象的形式存储在OBS的桶中。对象的属性包括名称Key，Metadata，Data。 通常，将对象等同于文件来进行管理，但是由于OBS是一种对象存储服务，并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据，OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”，如tpcds1000/stock.csv，tpcds1000可以等同于文件夹，stock.csv就可以等同于文件名，而对象名称（Key）仍然是tpcds1000/stock.csv、对象的内容就是stock.csv数据文件的内容。 Key：对象的名称（键），是经过UTF-8编码的长度大于0且不超过1024的字符序列，一个桶里的每个对象必须拥有唯一的对象键值。用户可使用“桶名+对象名”来存储和获取对应的对象。 Metadata：对象元数据，用来描述对象的信息。元数据又可分为系统元数据和用户元数据。这些元数据以键值对（Key-Value）的形式随http头域一起上传到OBS系统。 系统元数据由OBS系统产生，在处理对象数据时使用。系统元数据包括：Date、Content-length、last-modify、Content-MD5等。 用户元数据由用户上传对象时指定，是用户自己对对象的一些描述信息。 Data：对象的数据内容，OBS对于数据的内容是无感知的，即认为对象内的数据为无状态的二进制数据。 数据库普通表：数据库中的普通表，数据源文件中的数据最终并行导入到这些表中存储，包括行存表、列存表。 外表：用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、编码格式、数据间的分隔符等信息。

导入流程图 图2 并行导入流程 表1 流程说明 流程 说明 子任务 上传数据至OBS 在OBS服务器上规划存储路径，并上传数据文件。 详细请参见上传数据到OBS。 - 创建OBS外表 创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名、文件格式、存放位置、编码格式、数据间的分隔符等信息。 详细请参见创建OBS外表。 - 执行导入数据 在创建好外表后，通过INSERT语句，将数据快速、高效地导入到目标表中。 详细请参见执行导入数据。 - 处理错误表 在数据并行导入发生错误时，请根据错误信息，处理错误表，以保证导入数据的完整性。 - 优化查询效率 导入数据后，通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。 -