华为云用户手册

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“DWS”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

接入数据源 根据数据源类型的不同，数据源的接入配置有所差异，具体如下表所示。接入数据源后，单击数据源名称可以查看数据源详情，数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务DRS；对于关系型数据库、大数据、文本等数据迁移到数据湖的场景，建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式（源端） 普通任务支持的集成模式（目标端） 组合任务支持的集成模式（源端） 组合任务支持的集成模式（目标端） 接入API数据源 定时 定时，实时 - - 接入ActiveMQ数据源 实时 定时，实时 - - 接入ArtemisMQ数据源 实时 定时，实时 - - 接入DB2数据源 定时 定时，实时 - - 接入DIS数据源 实时 定时，实时 - - 接入DWS数据源 定时 定时，实时 - - 接入DM数据源 定时 定时，实时 - - 接入Gauss100数据源 定时 定时，实时 - - 接入FTP数据源 定时 定时 - - 接入HL7数据源 实时 定时，实时 - - 接入HANA数据源 定时 定时，实时 定时 定时 接入LDAP数据源 定时 - - - 接入IBM MQ数据源 实时 定时，实时 - - 接入Kafka数据源 实时 定时，实时 - 实时 接入MySQL数据源 定时 定时，实时 定时，实时 定时，实时 接入MongoDB数据源 定时 定时，实时 - - 接入MQS数据源 实时 定时，实时 - - 接入MRS Hive数据源 定时 定时，实时 - - 接入MRS HDFS数据源 定时 定时，实时 - - 接入MRS HBase数据源 定时 定时，实时 - - 接入MRS Kafka数据源 实时 定时，实时 - - 接入OBS数据源 定时 定时 - - 接入Oracle数据源 定时 定时，实时 定时，实时 定时，实时 接入PostgreSQL数据源 定时 定时，实时 定时，实时 定时，实时 接入Redis数据源 - 定时，实时 - - 接入RabbitMQ数据源 实时 定时，实时 - - 接入RocketMQ数据源 实时 定时，实时 - - 接入SAP数据源 定时 - - - 接入SNMP数据源 定时 - - - 接入SQL Server数据源 定时 定时，实时 定时，实时 定时，实时 接入GaussDB(for MySQL)数据源 定时 定时，实时 - - 接入WebSocket数据源 实时 - - - 接入自定义数据源 定时 定时 - -

前提条件 在接入数据源前，请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时，可直接访问数据源。 若ROMA Connect实例与数据源在同一区域的不同VPC内时，可通过创建VPC对等连接，将两个VPC的网络打通，实现同一区域跨VPC访问数据源。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与数据源在不同区域的不同VPC内时，可通过创建云连接实例并加载需要互通的VPC，将两个VPC的网络打通，实现跨区域跨VPC访问数据源。具体步骤请参考跨区域VPC互通。 若ROMA Connect实例与数据源通过公网互通，请确保ROMA Connect实例已绑定弹性IP。 若ROMA Connect实例跨VPC内网访问数据源时，需要完成实例到数据源所在子网的路由配置。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“SNMP”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写SNMP的连接IP地址和端口号。 网络协议 选择SNMP所使用的网络协议，可选择“UDP”和“TCP”。 版本号 选择SNMP的版本号。 0：表示SNMPv1 1：表示SNMPv2 3：表示SNMPv3 Community 仅当“版本号”选择“0”或“1”时需要配置。 填写SNMP团体名，用于访问SNMP管理代理的身份认证，相当于访问密码。 安全用户名 仅当“版本号”选择“3”时需要配置。 填写连接SNMP使用的安全名称。 上下文名称 仅当“版本号”选择“3”时需要配置。 填写SNMP中要访问的上下文名称。 安全等级 仅当“版本号”选择“3”时需要配置。 选择SNMP使用的安全等级。 1：表示无认证无加密 2：表示有认证无加密 3：表示有认证有加密 认证协议 仅当“安全等级”选择“2”或“3”时需要配置。 选择连接SNMP所使用的认证协议，可选择“MD5”和“SHA1”。 认证秘钥 仅当“安全等级”选择“2”或“3”时需要配置。 填写连接SNMP的认证密钥。 加密协议 仅当“安全等级”选择“3”时需要配置。 选择连接SNMP所使用的加密协议，可选择“DES”和“TRIDES”。 加密秘钥 仅当“安全等级”选择“3”时需要配置。 填写连接SNMP的加密密钥。 以接入SNMPv3为例，该SNMP数据源的接入配置示例如下图所示。 图1 SNMP数据源配置示例 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“LDAP”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 URL 填写服务器的IP地址和端口，格式为：ldap://ip:port。 ip为数据库的访问地址。 port为数据库的访问端口。 安全认证类型 数据库的安全认证类型，目前仅支持“Simple”。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 数据源的接入配置示例如下图所示。 图1 LDAP数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些数据符合集成条件，但因为网络抖动或数据转换异常等原因，无法顺利集成到目标端数据源，则ROMA Connect可以将这些数据以文本文件的形式存储在OBS中。 如果需要配置“异常数据存储”，请展开“异常数据存储”模块参照表1进行配置，如果不需要配置，请将“异常数据存储”模块折叠，否则影响任务保存。

配置异常数据存储 在配置异常数据存储前，您需要提前完成OBS数据源的接入配置，具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠（/）结尾。 配置完成后，若需要配置任务完成后执行，请前往配置任务完成后执行（可选）；否则可直接单击“保存”，完成数据集成任务的配置。

创建集成应用 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“集成应用”，单击页面右上角的“创建集成应用”。 在创建集成应用弹窗填写应用信息，完成后单击“确认”。 参数 配置说明 名称 自定义应用名称。 描述 填写对该应用的描述内容，选填项。 Key 集成应用的Key，若未指定则由系统自动生成。 Secret 集成应用的Secret，若未指定则由系统自动生成。

查看和编辑集成应用 在实例控制台的“集成应用”页面中，单击集成应用的名称，可查看该集成应用的详细信息。 图1 查看应用 表1 集成应用信息说明 内容 内容说明 基本信息 集成应用的基本参数信息，包括名称、描述、所属、创建时间、Key和Secret，其中Key和Secret可用于该集成应用下资源的访问认证。 您可以根据实际需要修改“名称”和“描述”信息。 您可以单击Secret右侧的“”查看Secret信息。 您可以根据实际需要重置密码，重置后旧密码自动失效。 对于账号用户，集成应用的所属均为“自建应用”。对于IAM用户，自己创建的集成应用为“自建应用”，其他IAM用户创建并授权的集成应用为“授权应用”。 对象 可查看和管理本集成应用下的资源，包括数据源、API、Topic和设备，您可对本集成应用下的资源进行创建、编辑、删除等操作，具体操作指导请参考数据源、API、Topic和设备的使用指导。

概述 ROMA Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在ROMA Connect实例中创建的资源（如数据源、API、Topic、产品等）都要有归属的集成应用，非管理员权限（Tenant Administrator权限）的IAM用户默认只能查看和管理自己创建的集成应用和资源，无法查看其他IAM用户创建的集成应用和资源，管理员权限的用户可查看和管理其下所有IAM用户所创建的资源。 如果需要把自己创建的资源共享给其他IAM用户查看和使用，可通过将集成应用授权给其他IAM用户的方式实现，具体操作可查看配置集成应用授权。

前提条件 每个API都要归属到某个集成应用下，在创建API前您需要有可用的集成应用，否则请提前创建集成应用。 每个API都要归属到某个API分组下，在创建API前您需要有可用的API分组，否则请提前创建API分组。 如果需要使用负载通道访问后端服务所在的服务器，请提前创建负载通道。 如果需要使用自定义认证方式进行API的安全认证，请提前创建前端自定义认证。 在创建API前，请确保ROMA Connect实例与您的后端服务所在网络互通。 若ROMA Connect实例与后端服务在相同VPC内时，可直接访问后端服务。 若ROMA Connect实例与后端服务在同一区域的不同VPC内时，可通过创建VPC对等连接，将两个VPC的网络打通，实现同一区域跨VPC访问后端服务。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与后端服务在不同区域的不同VPC内时，可通过创建云连接实例并加载需要互通的VPC，将两个VPC的网络打通，实现跨区域跨VPC访问后端服务。具体步骤请参考跨区域VPC互通。 若ROMA Connect实例与后端服务通过公网互通，请确保ROMA Connect实例已绑定弹性IP。 若ROMA Connect实例跨VPC内网访问后端服务时，需要完成实例到后端服务所在子网的路由配置。 使用FunctionGraph作为API的后端服务时，用户需要具备FunctionGraph Administrator角色权限。 在同一实例内，无法创建两个所属分组、请求方法、请求路径和匹配模式都一样的API。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“ArtemisMQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写ArtemisMQ的连接IP地址和端口号。 用户名 填写连接ArtemisMQ的用户名。 密码 填写连接ArtemisMQ的用户密码。 是否开启SSL认证 ROMA Connect与ArtemisMQ的连接是否使用SSL认证加密。 SSL认证方式 仅当“是否开启SSL认证”选择“是”时需要配置。 选择使用的SSL认证方式。 单向认证：仅客户端（ROMA Connect）对服务端（ArtemisMQ）进行身份认证。 双向认证：客户端（ROMA Connect）和服务端（ArtemisMQ）相互进行身份认证。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中，客户端使用的公钥库文件，与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中，客户端使用的私钥库文件，与服务端使用的公钥相匹配。 私钥库密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件中私钥对应的密码。若不填写，则私钥密码跟“私钥库密码”相同。 ArtemisMQ数据源的接入配置与ActiveMQ类似，配置示例可参考图1。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“GaussDB(for MySQL)”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写GaussDB(for MySQL)数据库的JDBC格式连接串，例如：jdbc:mysql://{hostname}:{port}/{dbname}?characterEncoding=utf8&useSSL=true。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时需要配置。 填写数据库所使用的编码格式。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例： 图1 默认方式配置示例 专业方式的数据库连接配置示例： 图2 专业方式配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

自定义数据源 返回页首 任务的“集成模式”为“定时”时，可以选择自定义数据源作为目标端数据源。 在创建任务页面中配置目标端信息。 表29 目标端自定义数据源信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择自定义数据源所属的集成应用，在接入数据源时已配置。 目标数据类型 选择具体自定义数据源类型。 数据源名称 选择接入数据源中已配置的自定义数据源。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 除了以上参数外，不同自定义数据源会定义不同的写端参数，请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器，查看连接器的“写端参数定义”信息。 以一个发送邮件的自定义数据源为例，目标端为自定义数据源的配置示例如下图所示。其中receiver和title参数为连接器中定义的目标端参数，id、name和info为要写入到自定义数据源的数据字段。 图13 自定义数据源配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择SQL Server作为目标端数据源。 在创建任务页面中配置目标端信息。 表27 目标端SQL Server信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择SQL Server数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“SQL Server”。 数据源名称 选择接入数据源中已配置的SQL Server数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RabbitMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表26 目标端RabbitMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择RabbitMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“RabbitMQ”。 数据源名称 选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并把待集成数据发送到该队列。 选择否，表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中，交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”，则选择新队列的交换方式；若“是否创建新队列”选择“否”，则选择已有目标队列一致的交换方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”，则配置新队列的交换器名称；若“是否创建新队列”选择“否”，则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到队列。若“是否创建新队列”选择“是”，则配置新队列的路由关键字；若“是否创建新队列”选择“否”，则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”，则配置新队列的Headers键值对；若“是否创建新队列”选择“否”，则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称，自定义。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，目标端为RabbitMQ的配置示例如下图所示。 图12 RabbitMQ配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

RocketMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RocketMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表25 目标端RocketMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择RocketMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“RocketMQ”。 数据源名称 选择接入数据源中已配置的RocketMQ数据源。 Topic 主题字符串/队列名称. 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为RocketMQ的配置示例如下图所示。 图11 RocketMQ配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

GaussDB(for MySQL) 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择GaussDB(for MySQL)作为目标端数据源。 在创建任务页面中配置目标端信息。 表28 目标端GaussDB(for MySQL)信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择GaussDB(for MySQL)数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“GaussDB(for MySQL)”。 数据源名称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Oracle作为目标端数据源。 在创建任务页面中配置目标端信息。 表22 目标端Oracle信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择Oracle数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“Oracle”。 数据源名称 选择接入数据源中已配置的Oracle数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 说明： 主键字段对应的源端字段如果为空，该条记录会默认抛弃，不会产生调度日志错误码。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

Redis 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Redis作为目标端数据源。 在创建任务页面中配置目标端信息。 表24 目标端Redis信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择Redis数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“Redis”。 数据源名称 选择接入数据源中已配置的Redis数据源。 key前缀 填写Redis数据源中存储待集成数据的key名称前缀，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称，每一行数据作为key的value存储到Redis中。具体key格式请参考key和value格式说明。 key后缀字段 选择源端数据中值不允许重复的字段作为key后缀，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称，如此可以确保每一行数据都能被集成到Redis数据源的不同key中。 “数据类型”选择“List”、“Set”或“ZSet”时，“key后缀字段”可以为空，即只由“key前缀”生成一个key，此时所有数据行作为元素被集成到Redis数据源的同一个key中。 分隔符 仅当“key后缀字段”不为空时需要配置。 填写“key前缀”与“key后缀字段”之间的分隔符，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称。 数据类型 选择Redis数据源中key的数据类型。支持以下类型： String List Map Set ZSet List追加方式 仅当“数据类型”选择“List”时需要配置。 选择List类型key的数据追加写入方式。 lpush：表示当前数据插入到List的头部。 rpush：表示当前数据插入到List的尾部。 sortColumn 仅当“数据类型”选择“ZSet”时需要配置。 选择使用源端哪一个数据字段进行数据元素的排序。 失效时间（秒） Redis数据源中key的失效时间，0表示永不失效。 写入格式 仅当“数据类型”选择“String”、“List”、“Set”或“ZSet”时需要配置，“数据类型”选择“Map”时默认为JSON格式。 选择待集成数据写入Redis数据源的数据格式，可选择“JSON”和“CUSTOMIZE”。 元数据 定义写入到目标端key的value格式。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 若“写入格式”为“JSON”，则元数据以JSON格式在Redis数据源中作为key的value存储。若“写入格式”为“CUSTOMIZE”，则自定义目标端value的拼接格式，全部元数据与拼接前缀、拼接后缀进行拼接，并在Redis数据源中作为key的value存储。具体value格式请参考key和value格式说明。 key和value格式说明： 假设有如下源端数据，目标端信息中“key前缀”设置为“roma”，选择源数据的唯一键“aaa”字段作为“key后缀字段”，确保key名称不重复，并设置“|”作为key前缀与后缀的分隔符。 +-------+-------+ | aaa | bbb | +-------+-------+ | 1 | x | | 2 | y | | 3 | z | +-------+-------+ 若“数据类型”为“String”，“写入格式”为“JSON”，元数据配置如图9所示，则写入到Redis数据源中的key和value如下。 key value -------------------------------- roma|1 "{"bbb":"x","aaa":1}" roma|2 "{"bbb":"y","aaa":2}" roma|3 "{"bbb":"z","aaa":3}" 图9 元数据配置（JSON） 若“数据类型”为“String”，“写入格式”为“CUSTOMIZE”，元数据配置如图10所示，则写入到Redis数据源中的key和value如下。 key value ------------------------ roma|1 "bbb_x&aaa_1" roma|2 "bbb_y&aaa_2" roma|3 "bbb_z&aaa_3" 图10 元数据配置（CUSTOMIZE） 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择PostgreSQL作为目标端数据源。 在创建任务页面中配置目标端信息。 表23 目标端PostgreSQL信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择PostgreSQL数据源所属的集成应用。 目标端数据类型 选择“PostgreSQL”。 数据源名称 选择已配置的PostgreSQL数据源。 目标端表 选择待集成数据要写入的数据表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MRS HDFS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS HDFS作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS HDFS。 表18 目标端MRS HDFS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS HDFS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下，待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时，每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型，可选择“文本文件”。 元数据 定义写入到目标端文本数据的数据字段，不同数据字段通过“分隔符”进行分隔。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 目标端为MRS HDFS的配置示例如下图所示，id、name和info为要写入到MRS HDFS数据源的数据字段。 图6 MRS HDFS配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MRS HBase 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS HBase作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS HBase。 表19 目标端MRS HBase信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS HBase数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS HBase”。 数据源名称 选择接入数据源中已配置的MRS HBase数据源。 目标端表 选择待集成数据要写入的数据表。 列族 定义写入到目标端数据表的数据列字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 字段名：数据列字段的自定义名称。 目标端为MRS HBase的配置示例如下图所示，id、name和info为要写入到MRS HBase数据源的数据字段。 图7 MRS HBase配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MRS Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表20 目标端MRS Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS Kafka数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS Kafka”。 数据源名称 选择接入数据源中已配置的MRS Kafka数据源。 Topic名称 填写用户在MRS Kafka服务已创建的Topic名称，不可随意自定义。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 目标端为MRS Kafka的配置与Kafka的类似，配置示例可参考Kafka配置示例。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS作为目标端数据源。 在创建任务页面中配置目标端信息。 表21 目标端OBS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择OBS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 对象类型 选择写入OBS数据源的数据文件类型，当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的数据文件所在路径。Path的值不能以斜杠（/）结尾，不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式，文本文件支持txt和csv格式，二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符，用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”，则数据文件中的每个数据字段都会用双引号（"）包围。若数据字段中存在与分隔符、换行符相同的符号时，可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb，在集成到目标数据文件时设置了|为分隔符，如果选择使用包围符，则目标数据文件中该字段为"aa|bb"，不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符，用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息，多个文件头信息需要用英文逗号（,）隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 支持以下类型： String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。 若不确定具体的数据类型，可选择String类型。 目标端为OBS的配置示例如下图所示，id、name和info为要写入到OBS数据源的数据字段。 图8 OBS配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MongoDB 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MongoDB作为目标端数据源。 在创建任务页面中配置目标端信息。 表15 目标端MongoDB信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MongoDB数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MongoDB”。 数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择目标端集合 选择MongoDB数据源中要写入数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入，即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MQS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MQS作为目标端数据源。 在创建任务页面中配置目标端信息。 表16 目标端MQS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MQS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MQS”。 数据源名称 选择接入数据源中已配置的MQS数据源。 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表13 目标端Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择Kafka数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“Kafka”。 数据源名称 选择接入数据源中已配置的Kafka数据源。 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 目标端为Kafka的配置示例如下图所示，id、name和info为要写入到Kafka数据源的数据字段。 图5 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"}，其中xx、yy、zz为从源端传入的数据值。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MySQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MySQL作为目标端数据源。 在创建任务页面中配置目标端信息。 表14 目标端MySQL信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MySQL数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后，每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

MRS Hive 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS Hive作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS Hive。 表17 目标端MRS Hive信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS Hive数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 目标端数据库名 选择待集成数据要写入的数据库。 说明： 需要使用自建的数据库，不能使用MRS Hive自带的default数据库。 目标端表 选择待集成数据要写入的数据表。 分隔符 填写MRS Hive数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。 写模式 选择集成数据写入数据表的模式。 Truncate：删除目标数据表中的所有数据，然后再写入数据。 Append：在已有数据表中增量写入数据。 存储类型 选择写入MRS Hive数据源的数据存储类型，可选择“RCFile”和“Text file”。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。