华为云用户手册

  • 创建函数工作流连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“函数工作流”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托,即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK(Secret Access Key)。请参考访问密钥获取SK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为credentials.csv。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 配置参数 参数 说明 区域 FunctionGraph服务所在的区域。 项目 FunctionGraph服务所在的项目。 函数 选择要调用的函数。 调用方式 选择函数的调用方式,当前仅支持“同步”方式。 请求数据 执行函数的请求体,必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据作进一步处理,如进行Base64编码等。
  • 创建消息通知连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“消息通知服务”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托,即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK(Secret Access Key)。请参考访问密钥获取SK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为credentials.csv。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 配置参数 表1 发布模板消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题,指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 模板 在消息通知服务创建的消息模板,指消息的固定格式,发布消息时可以使用已创建的消息模板向订阅者发送消息,可以在模板参数中填写模板中的参数。 表2 发布文本消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题,指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 消息内容 发送给订阅者的消息正文。
  • 配置参数 表1 名人识别 参数 说明 区域 图像识别服务所在的区域。 项目 图像识别服务所在的项目。 获取图片方式 获取图片的方式,包括API表单参数、Base64编码和URL路径。 API表单参数 获取图片方式为“API表单参数”时,工作流的触发器必须为Open API,并通过form-data类型的表单参数上传图片,此处填写表单参数的参数名。 Base64编码 获取图片方式为“Base64编码”时,此处填写图片文件Base64编码字符串。要求base64编码后大小不超过10M。 URL路径 获取图片方式为“URL路径”时,此处填写图片的URL路径。 目前支持: 公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。 标签数 最多返回的标签数,默认值:30。 标签语言 返回标签的语言。 zh:返回标签的语言类型为中文。 en:返回标签的语言类型为英文。 默认值为zh。 表2 标签识别 参数 说明 区域 图像识别服务所在的区域。 项目 图像识别服务所在的项目。 获取图片方式 获取图片的方式,包括API表单参数、Base64编码和URL路径。 API表单参数 获取图片方式为“API表单参数”时,工作流的触发器必须为Open API,并通过form-data类型的表单参数上传图片,此处填写表单参数的参数名。 Base64编码 获取图片方式为“Base64编码”时,此处填写图片文件Base64编码字符串。要求base64编码后大小不超过10M。 URL路径 获取图片方式为“URL路径”时,此处填写图片的URL路径。 目前支持: 公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。
  • 创建图像识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“华为云服务”类别下的“图像识别”。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托,即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK(Secret Access Key)。请参考访问密钥获取SK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为credentials.csv。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 计费示例 假设您在2023/11/28 15:50:04购买了一个RCU时 套餐包(规格:100RCU时/月),购买时长为两个月,那么其计费周期为:2023/11/28 15:50:04 ~ 2024/01/28 23:59:59 您需要为计费周期预先付费,计费公式为RCU时 套餐包规格单价 * 购买时长。 例如该RCU 套餐包的价格为294 元/月,则上述计费周期的总费用为294 * 2=588(元)。
  • 计费周期 新版ROMA Connect实例的RCU时 套餐包计费周期是根据您购买的时长来确定的(以GMT+8时间为准)。一个计费周期的起点是您开通资源的时间(精确到秒),终点则是到期日的23:59:59。 例如,如果您在2023/11/28 15:50:04购买了一个时长为两个月的RCU时 套餐包,那么其计费周期为:2023/11/28 15:50:04 ~ 2024/01/28 23:59:59 购买2个月,则可连续使用2个生效月,每月套餐内规格相同,上个生效月余量不可结转到下个生效月。
  • 欠费影响 图1描述了按需计费新版ROMA Connect实例各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;当您的账号因按需新版ROMA Connect实例自动扣费导致欠费后,账号将变成欠费状态,实例将陆续进入宽限期和保留期。 图1 按需计费ROMA Connect资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响 当您的账号因按需新版ROMA Connect实例自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在管理控制台“费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,实例状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么新版ROMA Connect实例将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。
  • 计费示例 假设您在2023/10/16 9:30:00创建成功了一个按需计费的新版ROMA Connect RCU实例(RCU数量15),然后在2023/10/16 11:15:46将其删除,则: 第一个计费周期为9:00:00 ~ 10:00:00,在9:30:00 ~ 10:00:00间产生费用,该计费周期内的计费时长为1800秒。 第二个计费周期为10:00:00 ~ 11:00:00,在10:00:00 ~ 11:00:00间产生费用,该计费周期内的计费时长为3600秒。 2023/10/16 11:00:00 ~ 2023/10/16 11:15:46时间段,因未到整点结算,故此时间段不计费。 您需要为每个计费周期付费,计费公式如实例规格单价 * 计费时长。您需要将每小时价格除以3600,得到每秒价格。 该规格的实例按需价格为45 元/小时,在两个计费周期的总费用为45 * (1800+3600) / 3600=67.5(元)。 该示例中的价格仅供参考,实际计算请以ROMA Connect价格详情中的价格为准。
  • 变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了实例配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如,您在9:00:00购买了一个按需计费的新版ROMA Connect实例(RCU数量15),并在9:30:00RCU调控为新版ROMA Connect实例(RCU数量30),那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,按照RCU数量15计费。 第二条对应9:30:00 ~ 10:00:00,按照RCU数量30计费。
  • 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数据根据实验室环境测出,与真实业务场景可能存在差异。 数据集成中,消息类数据&非消息类数据任务数不随RCU值变化,开启后固定1000个。 表2 集成能力规格说明 集成能力 RCU分配指标 规格指标/RCU 最小分配RCU 最小调整RCU步长 组合应用(流运行) 运行中的Flow任务数量 30条 2 1 服务集成(API管理) API转发 1000TPS 2 1 托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps,单任务最大4MBps 4 2 消息类数据流量 约5MBps,单任务最大10MBps 消息集成 消息流量 30MBps 3 1(仅支持调大RCU值,不支持缩小) 磁盘 500G 分区数 250个 设备集成 在线设备数 10000个 2 1 设备消息并发量 2500TPS 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:SASL_SSL 数据大小:1KB/10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于4000 认证方式:无认证 回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms 后端类型:Livedata 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于400 认证方式:无认证 返回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms
  • 推荐实例规格 使用新版ROMA Connect 推荐的规格如下。 表1 推荐规格 支持的系统数 预估RCU个数 使用建议 5个以下 5个 一般用于小型企业 5~10个 20个 一般用于小型企业 10~20个 40个 一般用于中小型企业 20~30个 80个 一般用于中大型企业 30个以上 150个 一般用于大型企业 RCU个数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如组合应用流数量、API数量和消息Topic数量)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 RCU说明:(ROMA Compute Unit)即ROMA计算单元,为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。
  • 设备集成 表4 LINK约束与限制 功能模块 约束与限制 设备上报消息大小限制上限 不超过512KB。 命令下发消息大小限制上限 设备导入导出支持的文件类型 只支持csv文件。 产品导入导出支持的文件类型 规则导入导出支持的文件类型 设备导入文件大小限制上限 上限为200M。 产品导入文件大小限制上限 规则导入文件大小限制上限 服务端MQTT QoS等级限制 只支持QoS0、QoS1,不支持QoS2。 Modbus设备使用限制 Modbus设备不支持命令下发。 设备接入协议限制 只支持MQTT、OpcUA、Modbus协议。
  • 消息集成 表3 MQS约束与限制 功能模块 约束与限制 消息大小限制上限 上限不超过10M。 节点故障场景 实例中有部分节点故障时,将无法进行Topic管理类操作(如创建、删除)。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头,并且如果有换行符,将会进行转义。 单个导入文件中,Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。 单IP连接数 通过内网连接地址连接,每个客户端IP的连接数上限为1000;通过公网访问时,实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时,老化时间配置上限为168小时。
  • 服务集成 表2 APIC约束与限制 功能模块 约束与限制 DataAPI响应体大小 DataAPI返回数据Body不能大于10M。 DataAPI返回数据条数数量 DataAPI默认从数据库拉取的条数为2000条,如果条数超过2000条,超出部分将无法返回。 DataAPI结果分页限制 DataAPI开启结果分页之后,Total数量最大为2000条,即请求单次能够拉取的数据量。 自定义后端Header限制 自定义后端Header不支持中文。 X-Apig-Mode已经被使用,不建议业务使用。 托管API透传请求大小限制 托管API的请求体大小不能大于2G。 函数API HttpClient 请求超时限制 最大超时时间30s,不支持设置。 跨域请求 Option的预请求如果用IP访问,则不能映射ROMA Connect入口IP,如果需要映射入口IP,则需要用域名访问。 签名认证时请求体大小 请求体大小可以在实例配置参数中配置(1-9536 M),但是APP认证签名开发时,只能签12M,如果请求体大于12M,签名会失败。 沙箱内存计算功能 APIC的沙箱内存大小的计算是因为JVM底层机制的缘故,无法精确计算,而是一个近似值。 资源新增与修改 新增或修改的APIC资源存在数据同步延迟,需要5-10秒才生效。
  • 数据集成 表1 FDI约束与限制 功能模块 约束与限制 数据同步 支持同步的单条数据最大为8M。 时间格式的字段支持的最大精度为秒级别。 表名不支持“-”、“#”等特殊字符。 任务启动后修改表结构会导致任务异常,需要重新启动执行任务。 目标端不支持映射字段全部为主键的表。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型 OBS数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;不解析模式下支持的最大大小不超过10M。 MRS数据源类型 只支持对接开启了kerberos认证的MRS集群。 只支持结构化数据。 MRS Hive数据源类型 Hive读写文件格式只支持rcfile和textfile类型。 MRS Hive作为源端最大只支持100万数据量表的同步。 API数据源类型 超时时间为60秒,服务端响应时间若超过60秒会触发任务执行报错。 API作为源端,单次请求最大支持读取的数据大小为20M,超过此大小必须分页分批读取。 API作为源端,只支持常量参数,不支持动态传递参数。 API作为目标端,不支持将源端获取到的数据映射到目标端的Headers中。 kafka数据源类型 当前SASL连接方式只支持对接ROMAConnect自带的MQS服务,用户自建的kakfa服务只支持明文方式对接。 Oracle数据库类型 只支持以下字段类型,不支持小写字段。 CHAR、VARCHAR、DATE、NUMBER、FLOAT、LONG、NCHAR、NVARCHAR2、RAW、TIMESTAMP Oracle系统与ROMA Connect服务器之间的系统时间差需要小于2分钟。 SQL Server数据库类型 只支持以下字段类型: BIT、CHAR、DATE、DATETIME、DECIMAL、FLOAT、IMAGE、INT、MONEY、NUMERIC MySQL数据库类型 只支持以下字段类型: INT、BIGINT、TINYINT、MEDIUMINT、FLOAT、DOUBLE、DECIMAL、CHAR、VARCHAR、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT、DATETIME、TIMESTAMP、SMALLINT、YEAR、BINARY、JSON PostgreSQL/DWS数据库类型 只支持以下字段类型: BOOL、CIDR、CIRCLE、DATE、NUMERIC、FLOAT4、FLOAT8、MONEY、PATH、POINT、INT、TIMESTAMP、TIMETZ、UUID、VARBIT、VARCHAR 在FDI任务中为目标端时,为提升写入性能,默认不支持批次号选项以及常量设置。若用户对性能无特殊要求,需要支持批次号选项及常量设置功能,请联系技术支持处理。 Redis数据库类型 Redis数据源作为目标端时,源端为时间类型的字段,如datetime或者date,在写入目标端后,如果需要显示为“yyyy-MM-dd HH:mm:ss”格式,那么字段类型需要选择为string,然后选择相应的date或者datetime数据格式。 DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL Server、Kafka。 目标端的表必须要有主键,否则会影响数据同步一致性。 Oracle作为源端数据源时,仅支持表名、字段名都是大写的表。 Oracle作为目标端数据源时,不支持小写字段的表。 在编辑已创建的组合任务并新增源表时,源表中必须有数据。 组合任务支持的表名最大长度为64,若表名中有中文,则一个中文按3个长度计算。 自动映射会读取源库和目标库中前2000张表的所有字段信息,读取总耗时受数据库性能、表字段数量以及网络速率影响,若总耗时超过了接口超时时间(1分钟),则会自动映射失败,此为产品正常使用约束,此情况下建议使用手动配置方式。 组合实时任务定义中不支持二进制字段。 MySQL Schema任务最多支持十组Schema映射,总表数最多2000张。 编排任务 目标端不支持每次执行任务时先清空目标表的功能。 不支持设置常量,设置常量指的是目标端某些字段的值可以指定写入固定值,不依赖源端数据。 创建编排任务时,如果有多个目标端,设置连线时“批次号格式”以第一个连线设置的为准,其他连线设置不同时,均以第一个连线为准。例如:第一个连线设置为UUID,第二个、第三个设置为yyyyMMddHHmmss时,最终均以UUID格式为准。
  • 设备集成规格 ROMA Connect支持设备使用3.1和3.1.1版本的MQTT协议接入,实例支持的设备集成规格如下。 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:500B 消息目的端:MQS Topic 下行消息 连接方式:内网连接 消息大小:500B 发送方式:通过控制台提供的Demo,调用数据面API下发消息 表6 设备集成规格 实例规格 上行消息 下行消息 基础版 在线设备2万时,上行消息10000(TPS) 在线设备2万时,下行消息1000(TPS) 专业版 在线设备4万时,上行消息20000(TPS) 在线设备4万时,下行消息1500(TPS) 企业版 在线设备10万时,上行消息40000(TPS) 在线设备10万时,下行消息2000(TPS) 铂金版 在线设备45万时,上行消息100000(TPS) 在线设备45万时,下行消息5000(TPS)
  • 服务集成规格 ROMA Connect实例支持的服务集成规格如下。 服务集成规格在以下条件中测试得出: 连接协议:https 连接类型:长连接 并发数:大于等于1000 认证方式:无认证 返回数据大小:1KB 带宽:10MB 后端响应平均时延:小于等于10ms 表4 服务集成规格 实例规格 API转发(TPS) 函数API(TPS) 数据API(TPS) 入门版 2000 200 200 基础版 4000 400 400 专业版 6000 600 600 企业版 8000 800 800 铂金版 10000 1000 1000 带宽10MB是满足最小实例规格性能所需要的带宽大小,随着实例规格和请求数量、请求体大小、响应体大小变化需要动态向上调整。
  • 消息集成规格 开源兼容性说明:ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本,兼容开源Kafka的API,具备原生Kafka的所有消息处理特性。 ROMA Connect实例支持的消息集成规格如下,选择规格时建议预留30%的带宽,确保您的应用运行更稳定。 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:无 数据大小:1KB 磁盘类型:SSD 表5 消息集成规格 实例规格 消息集成带宽 TPS(高吞吐场景) TPS(同步复制场景) 分区数上限 存储空间 规格说明 入门版 100MB/s 6万 3万 600 600G Kafka客户端连接数在1500以内,消费组个数在30个以内,业务流量为70MB/s以内时推荐选用。 基础版 100MB/s 10万 6万 600 600G Kafka客户端连接数在3000以内,消费组个数在60个以内,业务流量为70MB/s以内时推荐选用。 专业版 300MB/s 30万 15万 900 1200G Kafka客户端连接数在10000以内,消费组个数在300个以内,业务流量为210MB/s以内时推荐选用。 企业版 600MB/s 60万 30万 1800 2400G Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为420MB/s以内时推荐选用。 铂金版 1200MB/s 120万 40万 1800 4800G Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为840MB/s以内时推荐选用。
  • 数据集成规格 如下为实例中单个任务运行时各数据源的读写性能,仅供参考。实际单个任务运行的性能还受网络带宽、数据源服务端性能等因素影响。在实例中有多个任务并发运行的情况下,受限于多个任务抢占CPU、内存等资源,任务的性能相比单个任务运行的性能会有不同程度的下降。 普通任务 ROMA Connect支持的数据集成普通任务中不同类型数据源的性能参考如下所示。 数据源类型 读速率(MB/S) 写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0.8 0.3 Redis / 2 HANA 6 3 API / / DWS数据源作为目标端时,目标表里的数据量越多,写入速率会越慢。 API数据源作为源端和目标端时,读写速率与服务端API响应速度直接相关。 性能测试使用单条1KB消息进行测试,实际使用场景中若单条消息小于1KB,按照1KB计算速率。 组合任务 ROMA Connect支持的数据集成组合任务性能参考如下所示。 表3 Oracle到DWS的数据集成 测试条件 测试结果 表字段数(列) 插入数据总量(条) 单条数据大小(KB) 端到端速率(MB/S) 12 100万 1 1.2 50 100万 1 0.8 100 100万 1 0.4 200 100万 1 0.2
  • 实例规格 ROMA Connect服务支持的实例规格如下。 入门版实例为白名单特性,需要联系技术支持开通后方可使用,且仅支持在华北-北京四区域开通。入门版实例不支持设备集成能力,仅支持数据集成、服务集成、消息集成能力。 表1 实例规格 实例规格 支持的系统数 支持的连接数 使用建议 入门版 5个以下 10个 一般用于小型企业 基础版 5~10个 25个 一般用于小型企业 专业版 10~20个 80个 一般用于中小型企业 企业版 20~30个 200个 一般用于中大型企业 铂金版 30个以上 800个 一般用于大型企业 连接数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如数据集成任务数、API数和消息Topic数)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 连接数说明:业务系统和ROMA Connect的交互即为连接,使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。 表2 连接数说明 功能 对应关系 数据集成 2个运行状态的数据集成任务占用1个连接。 服务集成 10个托管类API(非自定义后端发布生成的API)占用1个连接。 5个函数后端或数据后端占用1个连接。 消息集成 3个消息Topic占用1个连接。 设备集成 1000个设备占用1个连接。
  • 功能权限 功能概述:本模块包含账户角色分配和角色权限配置两部分。其中角色账户分配包括:增加、修改角色分类,增加、修改、删除、查询角色,在角色中增加、移除、查询用户,增加、移除用户组,增加、移除、查询、停用/启用职位。 功能权限:指用户登录系统后能够看到什么模块,能够看到哪些页面、哪些操作按钮。通过配置用户的功能权限可以解决不同的人分管不同业务的需求。 角色:角色是权限分配的单位与载体。 操作人员:系统管理人员。 路径:系统管理→功能权限。 图5 功能权限
  • 工艺路线 功能概述:为了指导制造单位按照规定的作业流程完成生产任务手段,从而定义工艺路线。本模块主要包含的功能有:新增、编辑、禁用工艺分类,新增、编辑、复制、启用/禁用、查看工艺路线以及编辑工艺流程。 工艺路线:用来表示企业产品在企业的一个加工路线(加工顺序)和在各个工序中的标准工时的定额情况。是一种计划管理文件,不是企业的工艺文件,不能单纯的使用工艺部门的工艺卡来代替。 操作人员:系统管理人员/工艺员。 路径:工艺建模→工艺路线 图3 工艺路线
  • 运营技术(Operational Technology) 按照广义的理解,OT实现的是对企业资源(人、机、料、法、环)、体系、流程、工艺及事件的全面管控,覆盖企业运营的各个层面,包括生产运营、能源运营、设备资产运营及服务运营等。通过一定的管理手段、硬件和相应的软件,对工厂的生产运营、设备运转等进行控制,从而满足工厂的经济技术指标,完成产品交付,完成设备或生产线的任务。 生产运营:以交付为目标,围绕高效、低成本、高质量的运营指标,采用生产数字化和信息化平台,将上层的经济技术指标分解并下达生产执行层;从生产执行层收集生产实绩数据,按照既定生产管理逻辑核算生产运营指标,从而为企业管理者提供信息,以便做出正确决策,维持企业的生产运营,实现经营目标。 能源运营:在既定的工艺需求和满足生产需求的情况下,做好能源的管控、平衡、调度,用最小的能源成本、最小的能源浪费、最大化的能源使用效率,生产出目标产品;利用自动化技术和数字化平台从基础仪表、终端设备获取能源数据,采用信息化平台对所获取的能源数据进行分析,为能源运营人员提供信息和决策依据。 设备资产运营:设备是企业的重要资源,作为固定资产,设备是需要进行持续不断的维护的。在保证生产正常运行的前提下,延长设备的使用寿命是固定资产最大化的最佳运营目标。 服务运营:在当前的企业活动中,从服务中获取利润增长点是企业经营的重要方向。通过数字化平台和智能仪表及终端的使用,企业甚至能够比用户更早地发现设备故障;通过工业大数据分析,可以先知先觉地给出客户所需要的服务,让企业的服务运营更有针对性,服务更准确、更有效,从而提升企业服务运营的获利能力。
  • MOM、MES和ERP的异同 MOM、MES和ERP等软件系统的异同主要体现在本质、覆盖范围、责任对象与功能四个方面。 从本质上看,MES是一种用于解决具体问题的标准软件产品。MOM是一种由多种软件构成的制造管理集成平台,其中不仅包括MES软件系统及与制造管理相关的各种功能,而且包含MES主体之外的用于解决具体问题的功能延伸与价值增值部分。 从覆盖范围上看,MES所涉及的范围,会因为其所针对的下游行业、软件系统的设计理念、功能模块的设置等影响因素而不同,没有明确的界限。MOM可实现对整个制造运行过程中的一切活动进行管理。换句话说,无论是哪一种MES软件系统,不管功能如何变化与周延,都不会超过MOM的边界。ERP中的生产管理更加偏重企业战略管理,而MOM则更注重对具体生产过程的实时管理。 从责任对象上看,MES主要针对生产运行,对生产以外的其他环节运营管理功能相对较弱,无法满足当今制造企业日益增长的对生产质量、安全、效率的要求,例如食品饮料、医药行业等。而MOM则主张使用与生产运行统一的框架,对维护运行、质量运行和库存运行管理进行强化和提升,并对模型内部主要功能及其关系进行了细化,以求更有效地提升制造企业的整个制造管理体系。 从功能上看,MOM作为一种集成软件平台,在集成标准化、开放性等方面都强于MES,而且能够实现云部署,是未来制造运营管理软件发展的方向。 总而言之,MOM与MES之间不是一种非此即彼的替代关系,而是一种包含关系,MOM更像是一种为了解决制造管理问题而定义的功能组合体系,是制造管理理念升级的产物,而MES则是包含在MOM之中的使能工具。
  • 生产物流(Production Logistics) 生产物流搭建从“原材料”到“在制品”再到“成品”的物料主线,将生产线或生产设备数据逐一绑定在对应的物料上,形成以实物流为基础的实时、完整、准确的大数据平台。通过大数据平台与智能化设备的互联互通,最终实现一个关于全生产过程的数据采集、决策、执行、纠偏的无人化封闭系统。 无论何时,无论何地,物料流动始终是企业制造活动的重要内容;无论何料,无论何机器,物料始终要准确地流向机器并由机器以正确的方式进行妥当的加工;无论何人(或企业),都希望对物料和成品的流动状态做到心中有数、数物相符、精确可控。
  • 边缘计算(Edge Computing) 边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为连接物理世界和数字世界的桥梁,打通智能资产、智能网关、智能系统和智能服务之间的通道。边缘计算处于物理实体和工业连接之间,或处于物理实体的顶端。云端计算仍然可以访问边缘计算的历史数据。
  • 制造数据采集(Manufacturing Data Collection) 制造数据采集是指通过传感器、网络传输、计算机管理等技术与手段,将产品制造过程中所涉及的设备、生产过程、质量等相关数据进行采集、分析、管理与有效利用的过程。它包含数据采集及状态管理,是智能制造的基础与前提。 在离散制造业,主要的制造数据包括设备数据、生产过程数据、质量数据等。 设备数据:设备运行状态信息、实时工艺参数信息、故障信息、维修/维护信息等。 生产过程数据:生产计划、产品加工时间、加工数量、加工人员、加工参数、产品完工率等。 质量数据:产品质量信息、工艺质量信息等。 设备数据自动采集的手段主要有以下三种: 带网卡的数控机床:通过机床网卡,实现对设备状态的远程自动采集。采集的内容包括运行参数(主轴转速、进给速度、主轴功率、刀具坐标等),以及加工产品、加工数量、报警信息等。该种采集方案的优点是采集的数据种类多、实时性强。缺点是,受控制系统的限制,目前主要是西门子、发那科、海德汉、华中数控等部分主流系统支持。由于这是智能制造的发展趋势,越来越多的机床控制系统也开始支持网卡的数据采集。 PLC采集:通过设备PLC输出接口,结合其通信协议,实现对设备状态采集,包括温度、压力、流量、液位等。优点是支持PLC采集的系统比较多,适用面广。缺点是从采集效果上,此网卡采集的效果差些,但内容也相对丰富,基本满足制造业的需求。 硬件采集:对一些比较老旧的设备,因其无数据输出接口或没有通信协议,可通过此种方式进行数据采集。优点是几乎适合任何设备,缺点是采集的数据种类有限。 人工终端反馈采集 对于不能实现自动采集的生产工位,可通过现场工位机、移动终端、条码扫描枪等数字化设备进行数据采集。采集内容包括生产开工、完工时间、生产数量、检验项目、检验结果、产品缺陷、设备故障等。该种采集方式的优点是对设备的要求低,适用场景广,但缺点是受制于人的主动性,在数据的实时性、准确性、客观性等方面都有所欠缺。 其他外围终端采集 采用RFID、集成等方式实现制造数据采集。 RFID:RFID(射频识别)是一种非接触式的自动识别技术,它通过射频信号自动识别目标对象并获取相关数据,识别工作无须人工干预,可应用于各种恶劣环境。 与其他设备集成。如三坐标测量机等检测设备,可通过与设备进行集成,读取产品检测信息,用于质量管理与追溯。
  • 制造运营管理(MOM) 制造运营管理(MOM):通过协调管理企业的人员、设备、物料和能源等资源,把原材料或零件转化为产品的活动。它包含管理那些由物理设备、人和信息系统来执行的行为,并涵盖有关调度、产能、产品定义、历史信息、生产装置信息,以及与相关的资源状况信息的活动——摘自IEC/ISO 62264标准的定义。 MES的主要问题体现以下四个方面: 首先,定义模糊导致市场乱象丛生。虽然制造执行系统国际联合组织(MESA)提出了含有11个模块的MES功能模型,对MES进行了描述性定义,但是并非具备全部11个模块才能被定义为MES,而是具备其中一个或几个模块也属于MES系列的单一功能产品。这种定义的模糊性,给MES造成非常多样化的形态。 其次,MES功能范畴并未做到与时俱进。随着制造工艺复杂程度的日益提高,制造业企业的需求从传统的单一品种大批量制造到现在的多品种小规模定制化制造,产品生命周期变得越来越短,设计变得越来越复杂;从单一产品的质量管理到整个质量管理体系的构建、从内部库存管理到整个供应链管理,直至整个制造管理体系的全面升级,这些都使得制造业企业对软件功能的种类和要求日趋提高。虽然在智能制造理念日新月异、物联网、云计算等新兴技术快速发展的影响下,MESA已于2016年1月发布了《MESA智能制造52号白皮书》,对物联网、机器人、个性化定制等智能制造的相关理念进行了详细的阐述。不过,MES的新标准与新定义却并没有出炉。 再次,理论与应用之间存在鸿沟。MES所面对的下游行业,既涉及离散制造业,也涉及过程制造业,行业工艺千差万别,在实际应用中,MES除了软件系统本身的功能模块,还包含了因提供特别行业解决方案而发生的功能周延,以及与其他系统之间的融合。仅依靠MESA定义的11大功能模块难以应付目前智能制造的多学科融合、多数据流动的复杂局面。 最后,也是最重要的一点,集成与互联互通是制造业从数字化向智能化迈进的必备条件之一。然而,企业在历史发展的不同阶段所采购的由不同供应商提供的软件系统之间,却无法有效实现信息交互,即便是同一软件系统供应商的不同软件系统之间,有时也会存在互联互通问题。以往专注于解决生产问题的MES,无法满足生产运行需要,无法解决企业管理中与生产有关的管理软件之间的耦合与集成问题。
共100000条