华为云用户手册

函数列表 如果值为负数，请使用op_neg(positive value)函数，例如：要表示-1，请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。 基础计算 op_abs 对传入值进行绝对值操作。 op_div_floor 对传入值进行整除操作。 op_div_true 对传入值进行除法操作。 op_pow 对值进行幂值计算操作。 op_mul 对传入值进行乘法运算。 op_neg 计算传入值的相反数。 op_mod 对传入值进行模计算。 op_sub 对传入值进行减法运算。 op_round 对传入值进行四舍五入操作。 数学计算 mat_ceil 对传入值进行向上取整操作。 mat_exp 以常数e为底的指数函数。 mat_fabs 计算传入值的绝对值。 mat_floor 对传入值进行向下取整操作。 mat_log 计算传入值的对数。 mat_log10 计算以10为基数的传入值的对数。

op_div_floor 对传入值进行整除操作。 函数格式 op_div_floor(value1, value2) 参数说明 参数名称 参数类型 是否必填 说明 value1 数字或数字字符串 是 待计算的值。 value2 数字或数字字符串 是 待计算的值。 返回结果 返回值1与值2整除的结果。 函数示例 根据course_price字段和count字段计算单价。 测试数据 { "course_price": 4, "count": 2 } 加工规则 e_set("op_div_floor", op_div_floor(v("course_price"), v("count"))) 加工结果 course_price: 4 count: 2 op_div_floor: 2

e_kv_delimit 通过分隔符提取源字段中的键值对信息。 函数格式 e_kv_delimit(源字段或源字段列表, pair_sep=r"\s", kv_sep="=", prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 pair_sep String 否 用于分隔键值对的正则字符集，默认为\s。例如\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔，推荐您使用str_replace或regex_replace将字符串转换成字符作为分隔符，然后再使用e_kv_delimit函数对字段进行分隔。 kv_sep String 否 用于分隔键值对的正则字符串，默认为=，不限于单个字符。 说明： 可以使用非捕获分组，但不能使用捕获分组。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "data": "i=c1 k1=v1 k2=v2 k3=v3" } 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv_delimit()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"}, mode="overwrite")。 加工规则 e_kv_delimit("data") 加工结果 data: i=c1 k1=v1 k2=v2 k3=v3 i: c1 k2: v2 k1: v1 k3: v3 示例2：使用分隔符&?提取键值对信息。 测试数据 { "data": "k1=v1&k2=v2?k3=v3" } 加工规则 e_kv_delimit("data",pair_sep=r"&?") 加工结果 data: k1=v1&k2=v2?k3=v3 k2: v2 k1: v1 k3: v3 示例3：使用正则表达式提取键值对信息。 测试数据 { "data": "k1=v1 k2:v2 k3=v3" } 加工规则 e_kv_delimit("data", kv_sep=r"(?:=|:)") 加工结果 data: k1=v1 k2:v2 k3=v3 k2: v2 k1: v1 k3: v3

e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 函数格式 e_csv(源字段名, 目标字段列表, sep=",", quote='"', restrict=true, mode="fill-auto") e_psv(源字段名, 目标字段列表, sep="|", quote='"', restrict=true, mode="fill-auto") e_tsv(源字段名, 目标字段列表, sep="\t", quote='"', restrict=true, mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段名 任意 是 源字段名。如果字段不存在，则不进行任何操作。 目标字段列表 任意 是 字段值经过分隔符分隔后的每个值对应的字段名。可以是字符串的列表，例如：["error", "message", "result"]。 当字段名中不包含逗号时，也可以直接用逗号作为分隔字符，例如："error, message, result"。 sep String 否 分隔符，只能是单个字符。 quote String 否 引用符，用于包裹值的字符。当值包含分隔符时需要使用。 restrict Boolean 否 是否采用严格模式，默认为false表示非严格模式。当分隔值的个数与目标字段列表数不一致时： 严格模式下不进行任何操作。 非严格模式下对前几个可以配对的字段进行赋值。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 以e_csv为例，e_psv和e_tsv功能类似。 测试数据 { "content": "192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36,-,-" } 加工规则 e_csv("content", "remote_addr, time_local,host,request,status,request_time,body_bytes_sent,upstream_addr,upstream_status, upstream_response_time,http_referer,http_x_forwarded_for,http_user_agent,session_id,guid") 加工结果 content: 192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Mobile Safari/537.36,-,- body_bytes_sent: 6404 guid: - host: example.aadoc.com http_referer: https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei http_user_agent: Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 http_x_forwarded_for: - remote_addr: 192.168.0.100 request: GET /zf/11874.html HTTP/1.1 request_time: 0.077 session_id: - status: 200 time_local: 10/Jun/2019:11:32:16 +0800 topic: syslog-forwarder upstream_addr: 192.168.0.100:800 1upstream_response_time: 0.060 upstream_status: 200 更多参考 支持和其他函数组合使用。

e_kv 通过quote提取多个源字段中的键值对信息。 函数格式 e_kv(源字段或源字段列表, sep="=", quote='"', escape=false, prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 sep String 否 关键字与值的正则表达式的分隔符串，默认为=，不限于单个字符。 说明 可以使用非捕获分组，但不能使用捕获分组。 quote String 否 引用符，用于包裹值的字符。默认为"。 说明 提取的动态键值对的值一般需要quote来包括，例如：a="abc"，b="xyz"如果提取对象中不包含，则只提取如下字符集的值：中文字母数字_-.%~。例如a=中文ab12_-.%~|abc b=123可以提取a: 中文ab12_-.%~，b: 123。 escape Boolean 否 是否自动提取反转字符的值。默认为false表示否。例如key="abc\"xyz"默认提取字段key的值为abc\，设置escape=true时，提取的值为abc"xyz。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"},mode="overwrite")。 加工规则 e_kv("http_refer") 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2 q: asd a: 1 b: 2 示例2：给字段名增加前缀和后缀。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 加工规则 e_kv( "http_refer", sep="=", quote='"', escape=false, prefix="data_", suffix="_end", mode="fill-auto", ) 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2 data_q_end: asd data_a_end: 1 data_b_end: 2 示例3：提取字段content2中的键值对信息，使用escape参数提取反转字符的值。 测试数据 { "content2": "k1:\"v1\\"abc\", k2:\"v2\", k3: \"v3\"" } 加工规则 e_kv("content2", sep=":", escape=true) 加工结果 content2: k1:"v1\"abc", k2:"v2", k3: "v3" k1: v1"abc k2: v2 k3: v3 更多参考 支持和其他函数组合使用。

函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 支持和其他函数组合使用。 KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。 e_kv_delimit 通过分隔符提取源字段中的键值对信息。

e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。 函数格式 e_json(key, expand=None, depth=100, prefix="__", suffix="__", fmt="simple", sep=".", expand_array=true, fmt_array="{parent}_{index}", include_node=r"[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\w\-\.]*", exclude_node="", include_path="", exclude_path="", jmes="", output="", jmes_ignore_none=false, mode='fill-auto' ) 参数说明 参数名称 参数类型 是否必填 说明 key String 是 源字段名。如果字段不存在，则不进行任何操作。 expand Boolean 否 是否将字段展开。 没有配置jmes参数时，则默认为true，表示展开。 配置jmes参数时，则默认为false，表示不展开。 depth Number 否 字段展开的深度。取值范围为1~2000，1表示只展开第一层，默认为100层。 prefix String 否 展开时添加为字段名的前缀。 suffix String 否 展开时添加为字段名的后缀。 fmt String 否 格式化方式。取值： simple（默认值）：表示将节点名作为字段名。展示形式为{prefix}{current}{suffix}。 full：表示将父节点与当前节点合并作为字段名。展示形式为{parent_list_str}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 parent：表示用完整的路径作为字段名。展示形式为{parent}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 root：表示将根节点与当前节点合并作为字段名。展示形式为{parent_list[0]}{sep}{prefix}{current}{suffix}。分隔符由sep参数指定，默认为.。 sep String 否 父子节点格式化的分隔符。当fmt取值为full、parent或root时需要设置。默认为.。 expand_array Boolean 否 是否将数组展开。默认为true表示展开数组。 fmt_array String 否 数组展开的格式化方式，格式为{parent_rlist[0]}_{index}。也可以使用最多五个占位符自定义格式化字符串：parent_list，current，sep，prefix，suffix。 include_node String/ Number 否 节点允许名单，表示过滤时包含的节点名称。默认只有中文、数字、字母和_.-的节点才会被自动展开。 exclude_node String 否 节点限制名单，表示过滤时排除的节点名称。 include_path String 否 节点允许名单，表示过滤时包含的节点路径。 exclude_path String 否 节点限制名单，表示过滤时排除的节点路径。 jmes String 否 将字段值转化为JSON对象并通过JMES提取特定值。 output String 否 通过JMES提取特定值时输出的字段名。 jmes_ignore_none Boolean 否 当JMES提取不到值时是否忽略。默认为true表示忽略，否则输出一个空字符串。 mode String 否 字段的覆盖模式。默认为fill-auto。 JSON展开过滤 如果设置了节点允许名单，则内容必须包含在节点允许名单中然后才会在结果中出现。节点允许名单正则示例：e_json("json_data_filed", ...., include_node=r'key\d+')。 如果设置了节点限制名单，则内容必须包含在节点限制名单中然后才不会在结果中出现。节点限制名单正则示例：e_json("json_data_filed", ...., exclude_node=r'key\d+')。 展开节点路径：正则include_path 与 exclue_path从路径开头匹配，匹配路径是以.分隔。 JMES过滤 使用JMES选择、计算。 选择特定JSON路径下的元素属性列表：e_json(..., jmes="cve.vendors[*].product",output="product") 用逗号拼接特定JSON路径下的元素属性：e_json(..., jmes="join(',', cve.vendors[*].name)",output="vendors") 计算特定JSON路径下元素的最大属性值：e_json(..., jmes="max(words[*].score)",output="hot_word") 当特定路径不存在或为空时，返回一个空字符串：e_json(..., jmes="max(words[*].score)",output="hot_word", jmes_ignore_none=false) parent_list和parent_rlist，以如下示例说明。 测试数据： { "data": { "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} } parent_list是将父节点从左到右排列。 e_json("data", fmt='{parent_list[0]}-{parent_list[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} data-k2#k3:200 data-k2#k5:300 parent_rlist是将父节点从右到左排列。 e_json("data", fmt='{parent_rlist[0]}-{parent_rlist[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} k2-data#k3:200 k4-k2#k5:300 返回结果 返回附带新字段值的日志。 函数示例 示例1：字段展开操作。 测试数据 { "data": {"k1": 100, "k2": 200} } 加工规则 e_json("data",depth=1) 加工结果 data: {"k1": 100, "k2": 200} k1: 100 k2: 200 示例2：给字段名添加前缀和后缀。 测试数据 { "data": {"k1": 100, "k2": 200} } 加工规则 e_json("data", prefix="data_", suffix="_end") 加工结果 data: {"k1": 100, "k2": 200} data_k1_end: 100 data_k2_end: 200 示例3：将字段按照不同格式展开。 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } } fmt=full格式 e_json("data", fmt='full') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k2.k3: 200 data.k2.k4.k5: 300 fmt=parent格式 e_json("data", fmt='parent') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 k2.k3: 200 k4.k5: 3000 fmt=root格式 e_json("data", fmt='root') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k3: 200 data.k5: 300 示例4：使用指定分隔符、字段名前缀和字段名后缀提取JSON 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } } 加工规则 e_json("data", fmt='parent', sep="@", prefix="__", suffix="__") 加工结果 data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data@__k1__：100 k2@__k3__：200 k4@__k5__：300 示例5：指定fmt_array参数，按照数组方式提取JSON。 测试数据 { "people": [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] } 加工规则 e_json("people", fmt='parent', fmt_array="{parent_rlist[0]}-{index}") 加工结果 people: [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] people-0.name: xm people-0.sex: boy people-1.name: xz people-1.sex: boy people-2.name: xt people-2.sex: girl 示例6：使用JMES提取JSON对象。 测试数据 { "data": { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} } 加工规则 e_json("data", jmes='foo', output='jmes_output0') e_json("data", jmes='foo.bar', output='jmes_output1') e_json("data", jmes='people[0].last', output='jmes_output2') e_json("data", jmes='people[*].first', output='jmes_output3') 加工结果 data: { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} jmes_output0: {"bar": "baz"} jmes_output1: baz jmes_output2: d jmes_output3: ["james", "jacob"] 更多参考 支持和其他函数组合使用。

url_parse_qs 解析URL中查询字符串的组成部分。 函数格式 url_parse_qs( url_qs, keep_blank_values=false, strict_parsing=false, encoding="utf-8", errors="replace", ignore_multi_fields=true, ) 参数说明 参数名称 数据类型 是否必填 说明 url_qs String 是 待解析的URL查询字符串。 keep_blank_values Boolean 否 是否返回值为空的参数。 false（默认值）：不返回。 true：返回，且将空值处理为空字符串。 strict_parsing Boolean 否 是否处理解析错误。 true：解析报错会引发ValueError异常。 false（默认值）：忽略错误。 encoding String 否 指定编码方式，将含有百分号（%）的转义字符解析为Unicode字符，默认为utf-8。支持ASCII。 errors String 否 按照编码方式无法识别字符时的处理方案。取值包括： ignore：直接忽略。 strict：直接报错，丢弃此条日志数据。 replace（默认值）：使用半角问号（?）替换无法识别部分。 xmlcharrefreplace：使用对应XML字符替换无法识别部分。 ignore_multi_fields Num 否 指定单个返回参数的值的个数。 true（默认值）：每个参数只返回第一个值， 类型为String。 false：每个参数都返回所有值，类型为List。 返回结果 返回解析后的JSON数据，具体参数说明如下表所示。 字段 说明 logType 日志类型 uid 日志的唯一标识 time 日志的时间 msg 日志中的信息 函数示例 示例1：设置keep_blank_values为true，返回结果中包含值为空的参数。 测试数据 { "content":"logType=net_wheel_log&uid=62452****&vid=6.1.0_gf_pc&asb=1206427&git=&time=22-11-3+%e4%b8%8a11%e6%97%b649%e5%88%8633%e7%a7%92&operatingSystem=Windows+10++(10.0.0)+64bit&deviceModel=System+Product+Name+(System+manufacturer)&graphicsDeviceName=NVIDIA+GeForce+GTX+1650&graphicsDeviceType=Direct3D11&graphicsDeviceVendor=NVIDIA&graphicsDeviceVersion=Direct3D+11.0+%5blevel+11.1%5d&graphicsMemorySize=3962&systemMemorySize=8127&processorCount=6&processorFrequency=3000&processorType=Intel(R)+Core(TM)+i5-9500F+CPU+%40+3.00GHz&deviceID=96da5902a042a5f84118995f88373f73650e76be166589726****&guessUID=62452****&networkReachability=wifi&msg=GetAuthkeyRsp" } 加工规则 e_set("url",url_parse_qs(v("content"), keep_blank_values=true)) 加工结果 content:logType=net_wheel_log&uid=62452****&vid=6.1.0_gf_pc&asb=1206427&git=&time=22-11-3+%e4%b8%8a11%e6%97%b649%e5%88%8633%e7%a7%92&operatingSystem=Windows+10++(10.0.0)+64bit&deviceModel=System+Product+Name+(System+manufacturer)&graphicsDeviceName=NVIDIA+GeForce+GTX+1650&graphicsDeviceType=Direct3D11&graphicsDeviceVendor=NVIDIA&graphicsDeviceVersion=Direct3D+11.0+%5blevel+11.1%5d&graphicsMemorySize=3962&systemMemorySize=8127&processorCount=6&processorFrequency=3000&processorType=Intel(R)+Core(TM)+i5-9500F+CPU+%40+3.00GHz&deviceID=96da5902a042a5f84118995f88373f73650e76be166589726****&guessUID=62452****&networkReachability=wifi&msg=GetAuthkeyRsp url:{ "logType": "net_wheel_log", "uid": "62452****", "vid": "6.1.0_gf_pc", "asb": "1206427", "git": "", "time": "22-11-3 上11时49分33秒", "operatingSystem": "Windows 10 (10.0.0) 64bit", "deviceModel": "System Product Name (System manufacturer)", "graphicsDeviceName": "NVIDIA GeForce GTX 1650", "graphicsDeviceType": "Direct3D11", "graphicsDeviceVendor": "NVIDIA", "graphicsDeviceVersion": "Direct3D 11.0 [level 11.1]", "graphicsMemorySize": "3962", "systemMemorySize": "8127", "processorCount": "6", "processorFrequency": "3000", "processorType": "Intel(R) Core(TM) i5-9500F CPU @ 3.00GHz", "deviceID": "96da5902a042a5f84118995f88373f73650e76be166589726****", "guessUID": "62452****", "networkReachability": "wifi", "msg": "GetAuthkeyRsp", } 示例2：设置keep_blank_values为默认值（false），返回结果无值为空的参数。 测试数据 { "content":"logType=net_wheel_log&uid=62452****&vid=6.1.0_gf_pc&asb=1206427&git=&time=22-11-3+%e4%b8%8a11%e6%97%b649%e5%88%8633%e7%a7%92&operatingSystem=Windows+10++(10.0.0)+64bit&deviceModel=System+Product+Name+(System+manufacturer)&graphicsDeviceName=NVIDIA+GeForce+GTX+1650&graphicsDeviceType=Direct3D11&graphicsDeviceVendor=NVIDIA&graphicsDeviceVersion=Direct3D+11.0+%5blevel+11.1%5d&graphicsMemorySize=3962&systemMemorySize=8127&processorCount=6&processorFrequency=3000&processorType=Intel(R)+Core(TM)+i5-9500F+CPU+%40+3.00GHz&deviceID=96da5902a042a5f84118995f88373f73650e76be166589726****&guessUID=62452****&networkReachability=wifi&msg=GetAuthkeyRsp" } 加工规则 e_set("url",url_parse_qs(v("content"))) 加工结果 content:logType=net_wheel_log&uid=62452****&vid=6.1.0_gf_pc&asb=1206427&git=&time=22-11-3+%e4%b8%8a11%e6%97%b649%e5%88%8633%e7%a7%92&operatingSystem=Windows+10++(10.0.0)+64bit&deviceModel=System+Product+Name+(System+manufacturer)&graphicsDeviceName=NVIDIA+GeForce+GTX+1650&graphicsDeviceType=Direct3D11&graphicsDeviceVendor=NVIDIA&graphicsDeviceVersion=Direct3D+11.0+%5blevel+11.1%5d&graphicsMemorySize=3962&systemMemorySize=8127&processorCount=6&processorFrequency=3000&processorType=Intel(R)+Core(TM)+i5-9500F+CPU+%40+3.00GHz&deviceID=96da5902a042a5f84118995f88373f73650e76be166589726****&guessUID=62452****&networkReachability=wifi&msg=GetAuthkeyRsp url:{ "logType": "net_wheel_log", "uid": "62452****", "vid": "6.1.0_gf_pc", "asb": "1206427", "time": "22-11-3 上11时49分33秒", "operatingSystem": "Windows 10 (10.0.0) 64bit", "deviceModel": "System Product Name (System manufacturer)", "graphicsDeviceName": "NVIDIA GeForce GTX 1650", "graphicsDeviceType": "Direct3D11", "graphicsDeviceVendor": "NVIDIA", "graphicsDeviceVersion": "Direct3D 11.0 [level 11.1]", "graphicsMemorySize": "3962", "systemMemorySize": "8127", "processorCount": "6", "processorFrequency": "3000", "processorType": "Intel(R) Core(TM) i5-9500F CPU @ 3.00GHz", "deviceID": "96da5902a042a5f84118995f88373f73650e76be166589726****", "guessUID": "62452****", "networkReachability": "wifi", "msg": "GetAuthkeyRsp", } 示例3：设置ignore_multi_fields为默认值（true），每个参数只返回第一个值。 测试数据 { "content":"logType=net_log&uid=62452****&x=1&x=2&x=3&asb=123&asb=456" } 加工规则 e_set("url",url_parse_qs(v("content"))) 加工结果 content:logType=net_log&uid=62452****&x=1&x=2&x=3&asb=123&asb=456 url:{ "logType": "net_log", "uid": "62452****", "x": ["1","2","3"], "asb": ["123","456"] } 示例4：设置ignore_multi_fields为false，每个参数返回所有值。 测试数据 { "content":"logType=net_log&uid=62452****&x=1&x=2&x=3&asb=123&asb=456" } 加工规则 e_set("url",url_parse_qs(v("content"),ignore_multi_fields=false)) 加工结果 content:logType=net_log&uid=62452****&x=1&x=2&x=3&asb=123&asb=456 url:{ "logType": ["net_log"], "uid": ["62452****"], "x": ["1", "2", "3"], "asb": ["123", "456"], }

ua_parse_device 解析User-Agent中的设备信息。 函数格式 ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36" } 加工规则 e_set("new_column",ua_parse_device(v("http_user_agent"))) 加工结果 http_user_agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36 new_column:{"family":"Mac","brand":"Apple","model":"Mac"}

ua_parse_agent 解析User-Agent中的浏览器信息。 函数格式 ua_parse_agent(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36" } 加工规则 e_set("new_column",ua_parse_agent(v("http_user_agent"))) 加工结果 http_user_agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36 new_column:{'family': 'Chrome', 'major': '192', 'minor': '168', 'patch': '0'

函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。 ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段，例如解析的设备数据为{'brand': None, 'family': 'Other', 'model': None}，则brand字段和model字段将被剔除，最终的解析结果为{'family': 'Other'}。

ua_parse_all 解析User-Agent中的操作系统信息。 函数格式 ua_parse_all(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36" } 加工规则 e_set("new_column",ua_parse_all(v("http_user_agent"))) 加工结果 http_user_agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36 new_column: { "user_agent": { "family": "Chrome"," major""major": "192", "minor": "168", "patch": "0" }, "os": { "family": "Mac OS X", "major": "10", "minor": "9", "patch": "4" }, "device": { "family": "Mac", "brand": "Apple", "model": "Mac" } }

ua_parse_os 解析User-Agent中的操作系统信息。 函数格式 ua_parse_os(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36" } 加工规则 e_set("new_column",ua_parse_os(v("http_user_agent"))) 加工结果 http_user_agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.168.0.0 Safari/537.36 new_column:{'family': 'Mac OS X', 'major': '10', 'minor': '9', 'patch': '4'}

url_parse 函数格式 url_parse(url, scheme="", allow_fragments=true) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的URL。 scheme String 否 网络协议，默认为空字符。仅在URL中未指定网络协议时，返回结果中的scheme字段才会使用此处设置的值。 allow_fragments Boolean 否 是否解析URL中的fragment部分。 true（默认值）：解析URL中的fragment部分，返回结果中的fragment字段为具体值。 false：不解析URL中的fragment部分，返回结果中的fragment字段为空字符串。 返回结果 返回解析后的JSON数据，具体参数说明如下表所示。 字段 说明 scheme 网络协议 netloc 网络位置 path 分层路径标识 query 查询组件 fragment 片段标识符 函数示例 示例1：使用默认参数，返回URL的各个组成部分。 测试数据 { "content":"https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib" } 加工规则 e_set("url",url_parse(v("content"))) 加工结果 content:https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib url:{ "scheme": "https", "netloc": "username:username@example.com:8083", "path": "/hello/asdah/", "params"："type=docx", "query": "filename=python3.docx", "fragment": "urllib", } 示例2：设置allow_fragments为false，返回结果中的fragment参数值为空。 测试数据 { "content":"https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib" } 加工规则 e_set("url",url_parse(v("content"),allow_fragments=false)) 加工结果 content:https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib url:{ "scheme": "https", "netloc": "username:username@example.com:8083", "path": "/hello/asdah/", "params": "type=docx", "query": "filename=python3.docx", "fragment": "", } 示例3：设置scheme为https，allow_fragments为false，返回结果中scheme参数值为https，fragment参数值为空。 测试数据 { "content":"//username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib" } 加工规则 e_set("url",url_parse(v("content"),scheme="https", allow_fragments=false)) 加工结果 content://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib url:{ "scheme": "https", "netloc": "username:username@example.com:8083", "path": "/hello/asdah/", "params": "type=docx", "query": "filename=python3.docx", "fragment": "", }

ct_bin 使用ct_bin将字段或表达式的数值转换为二进制数。 函数格式 ct_bin(value) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 返回结果 返回二进制的数值。 函数示例 测试数据 { "number": 123 } 加工规则 e_set("ct_bin", ct_bin(v("number"))) 加工结果 number: 123 ct_bin: 0b1111011

bin2hex 使用bin2hex函数将二进制数转换为十六进制字符串。 函数格式 bin2hex(binary) 参数说明 参数名称 参数类型 是否必填 说明 binary Binary 是 Binary类型的字符串。 返回结果 返回十六进制的字符串。 函数示例 测试数据 { "test": "test" } 加工规则 e_set("new",bin2hex(base64_decoding("ARi8WnFiLAAACHcAGgkADV37Xs8BXftezgAdqwF9"))) 加工结果 test : test new :0118bc5a71622c00000877001a09000d5dfb5ecf015dfb5ece001dab017d

ct_chr 使用ct_chr函数将字段或表达式的ANSI值、Unicode值转换为对应字符。 函数格式 ct_chr(value) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 返回结果 返回chr类型对应的字符。 函数示例 测试数据 { "num": 78 } 加工规则 e_set("ct_chr", ct_chr(v("number"))) 加工结果 number: 78 ct_chr: N

ct_oct 使用ct_oct函数将字段或表达式的数值转换为八进制数。 函数格式 ct_oct(value) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 返回结果 返回八进制的数值。 函数示例 测试数据 { "number": 123 } 加工规则 e_set("ct_oct", ct_oct(v("number"))) 加工结果 number: 123 ct_oct: 0o173

ct_ord 使用ct_ord函数将字段或表达式的字符转换为对应ANSI值、Unicode值。 函数格式 ct_ord(value) 参数说明 参数名称 参数类型 是否必填 说明 value String 是 待转换的值，长度为1。 返回结果 返回对应的ANSI值或Unicode值。 函数示例 测试数据 { "world": "a" } 加工规则 e_set("ct_ord", ct_ord(v("world"))) 加工结果 world: a ct_ord: 97

ct_hex 使用ct_hex函数将字段或表达式的数值转换为十六进制数。 函数格式 ct_hex(value) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 返回结果 返回十六进制的数值。 函数示例 测试数据 { "number": 123 } 加工规则 e_set("ct_hex", ct_hex(v("number"))) 加工结果 number: 123 ct_hex: 0x7b

bin2oct 使用bin2oct函数将二进制数转换为八进制数。 函数格式 bin2oct(binary) 参数说明 参数名称 参数类型 是否必填 说明 binary Binary 是 Binary类型的字符串。 返回结果 返回八进制的字符串。 函数示例 测试数据 { "test": "test" } 加工规则 e_set("new",bin2oct(base64_decoding("ARi8WnFiLAAACHcAGgkADV37Xs8BXftezgAdqwF9"))) 加工结果 test : test new : 214274264705421300000002073400064044000325677327547401273755366340003552600575

ct_int 使用ct_int函数将字段或表达式的值转换为整数。 函数格式 ct_int(value, base=10) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 base Number 否 参数值所代表的进制，默认为十进制。例如base=8，表示将八进制要转成十进制。 返回结果 返回整型数值。 函数示例 示例1：将字符串转换成整型。 测试数据 { "number": 2 } 加工规则 e_set("int_number", ct_int(v("number"))) 加工结果 number: 2 int_number: 2 示例2：将十六进制转换成十进制。 测试数据 { "number": AB } 加工规则 e_set("int_number", ct_int(v("number"),base=16)) 加工结果 number: AB int_number: 171

ct_float 使用ct_float函数将字段或表达式的值转换为浮点数。 函数格式 ct_float(value) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。 返回结果 返回浮点类型数值。 函数示例 测试数据 { "price": 2 } 加工规则 e_set("price_float", ct_float(v("price"))) 加工结果 price: 2 price_float: 2.0

函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。 ct_bool 将字段或表达式值转换为布尔值。 数字转换 ct_chr 将字段或表达式的ANSI值、Unicode值转换为对应字符。 ct_ord 将字段或表达式的字符转换为对应ANSI值、Unicode值。 ct_hex 将字段或表达式的数值转换为十六进制数。 ct_oct 将字段或表达式的数值转换为八进制数。 ct_bin 将字段或表达式的数值转换为二进制数。 进制转换 bin2oct 将二进制数转换为八进制数。 bin2hex 将二进制数转换为十六进制字符串。

e_switch 组合多个条件和操作。 函数格式 e_switch(条件1, 操作1, ……, default=None) 说明 函数中条件和操作必须成对出现。 参数说明 参数名称 参数类型 是否必填 说明 条件 任意 是 表达式或其组合。其结果不是布尔值时，会进行真假判断。 操作 全局操作函数 是 全局操作函数或其组合。 default 全局操作函数 否 默认的全局操作函数或其组合。没有条件满足时执行该操作。 返回结果 返回加工处理后的日志。 函数示例 如果content字段的值为123，则将__topic__字段的值设置为Number。如果data字段的值为123，则将__topic__字段的值设置为PRO。 测试数据 { "__topic__": , "age": 18, "content": 123, "name":"maki", "data": 342 } { "__topic__": , "age": 18, "content": 23, "name": "maki" , "data": 123 } 加工规则 e_switch( e_search("content==123"), e_set("__topic__", "Number", mode="overwrite"), e_search("data==123"), e_set("__topic__", "PRO", mode="overwrite"), ) 加工结果 __topic__: Number age: 18 content: 123 name: maki data: 342 __topic__: PRO age: 18 content: 23 name: maki data: 123 通过e_switch语法和e_output语法结合，将符合规则的日志投递到不同的Logstream。其中default=e_drop()，表示将不满足规则的日志丢弃，不做投递处理。若不设置default参数，则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。 测试数据 { "__topic__": "sas-log-dns" , "test": "aa" , "__topic__": "aegis-log-network", "test":"ecs" , "__topic__": "local-dns" , "test":"sls" , "__topic__": "aegis-log-login" , "test": "sls" } 加工规则 e_switch(e_match("__topic__","sas-log-dns"), e_output(name="target1"), e_match("__topic__","sas-log-process"), e_output(name="target2"), e_match("__topic__","local-dns"), e_output(name="target3"), e_match("__topic__","aegis-log-network"), e_output(name="target4"), e_match("__topic__","aegis-log-login"), e_output(name="target5"), default=e_drop()) 更多参考 支持和其他函数组合使用。

e_compose 组合多个操作。 函数格式 e_compose(操作1, 操作2, ……) 参数说明 参数名称 参数类型 是否必填 说明 操作1 全局操作函数 是 全局操作函数或其组合。 操作2 全局操作函数 否 全局操作函数或其组合。 返回结果 返回操作后日志。 函数示例 如果content字段的值为123，则先删除age字段和name字段，然后将content字段的值设置为ctx。 测试数据 { "content": 123, "age": 23, "name": "twiss" } 加工规则 e_if( e_search("content==123"), e_compose(e_drop_fields("age|name"), e_rename("content", "ctx")), ) 加工结果 ctx: 123 更多参考 支持和其他函数组合使用。

函数列表 函数 说明 e_compose 用于组合一系列操作。 常用于e_if、e_switch、e_if_else中组合操作。 依次调用操作，将日志传递转换并返回最后的日志。 对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。 对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。 e_if( e_has("a"), e_output("target-a"), e_has("b"), e_output("target-b"), ) 例如，该加工规则相当于以下Python代码结构： if e_has("a"): e_output("target-a") if e_has("b"): e_output("target-b") 支持和其他函数组合使用。 e_if_else 根据条件判断的结果进行对应操作。 e_if_else(e_has("a"), e_output("target-a"), e_output("target-b")) 例如，该加工规则相当于以下Python代码结构： if e_has("a"): e_output("target-a") else: e_output("target-b") e_switch 条件与操作的组合。 满足条件则进行对应操作并返回结果，不满足条件则不进行对应操作，直接进行下一个条件判断。 如果没有满足任何条件，但配置了默认参数，则执行默认配置的操作并返回结果。 对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。 e_switch( e_has("a"), e_output("target-a"), e_has("b"), e_output("target-b"), default=e_output("target-default")， ) 例如，该加工规则相当于以下Python代码结构： if e_has("a"): e_output("target-a") elif e_has("b"): e_output("target-b") else: e_output("target-default") 支持和其他函数组合使用。

e_if 据判断条件执行操作。 函数格式 e_if(条件, 操作) e_if(条件1, 操作1, 条件2, 操作2, ……) 函数中条件和操作必须成对出现。 参数说明 参数名称 参数类型 是否必填 说明 条件 任意 是 表达式或其组合。其结果不是布尔值时，会进行真假判断。 操作 全局操作函数 否 全局操作函数或其组合。 返回结果 返回加工处理后的日志。 函数示例 示例1：字段值匹配后再进行操作。 result字段值为failed或failure时，设置__topic__字段的值为login_failed_event。 测试数据 { "result": "failed" } 加工规则 e_if(e_match("result", r"failed|failure"), e_set("__topic__", "login_failed_event")) 加工结果 result: failed __topic__: login_failed_event 示例2：根据字段值判断后再提取数据。 当request_body字段存在且值非空时，调用字段类操作函数JSON将request_body字段展开成多个值。 测试数据 { "request_body": {\"k1": 100, \"k2\": 200} } 加工规则 e_if(v("request_body"), e_json("request_body")) 加工结果 request_body: {"k1": 100, "k2": 200} k1: 100 k2: 200 示例3：高级判断后再进行操作。 当valid字段的值为小写failed时，丢弃日志。 测试数据 { "valid":"failed" } 加工规则 e_if(op_eq(str_lower(v("valid")), "failed"), e_drop()) 加工结果：丢弃日志 示例4：多个条件按顺序操作。 测试数据 { "valid":"failed" } 加工规则 e_if(True, e_set("__topic__", "default_login"), e_match("valid", "failed"), e_set("__topic__", "login_failed_event")) 加工结果 valid: failed __topic__:login_failed_event 更多参考 支持和其他函数组合使用。

e_if_else 根据判断条件的结果执行操作。 函数格式 e_if_else(条件, 真时操作, 假时操作) 参数说明 参数名称 参数类型 是否必填 说明 条件 任意 是 表达式或其组合。其结果不是布尔值时，会进行真假判断。 真时操作 全局操作函数 是 全局操作函数或其组合。 假时操作 全局操作函数 是 全局操作函数或其组合。 返回结果 返回不同条件对应的操作结果。 函数示例 如果result字段的值为ok或pass，或者status字段的值为200，则保留日志。 测试数据 { "result":"ok", "status": 400 } { "result": "Pass", "status": 200 } { "result": "failure", "status": 500 } 加工规则 e_if_else( op_or(e_match("result", r"(?i)ok|pass"), e_search("status== 200")), e_keep(),e_drop() ) 加工结果 result: ok status: 400 result: Pass status: 200

dt_astimezone 将值或时间表达式的值转换为特定时区的日期时间对象。 函数格式 dt_astimezone(value, tz, reset=false) 参数说明 参数名称 参数类型 是否必填 说明 value 字符串、Unix时间戳或日期时间对象 是 值或时间表达式。 tz String 否 表示时区，默认为None。 reset Bool 否 表示是否对时区重新设置，默认为false表示不设置。如果为true则返回原时间加上设置的时区。 返回结果 返回特定时区的日期时间对象。 函数示例 示例1 测试数据 { "time": "2019-06-03 2:41:26", "tz": "UTC" } 加工规则 e_set("dt_astimezone",dt_astimezone(dt_parse(v("time")), v("tz"))) 加工结果 time: 2019-06-03 2:41:26 tz: UTC dt_astimezone: 2019-06-03 02:41:26+00:00 示例2 测试数据 { "time": "2019-06-01 10:10:10+10:00", "tz": "Asia/shanghai" } 加工规则 e_set("dt_astimezone",dt_astimezone(v("time"), v("tz"),reset=true)) 加工结果 time: 2019-06-01 10:10:10+10:00 tz: Asia/shanghai dt_astimezone: 2019-06-01 10:10:10+08:00 示例3 测试数据 { "time": "2019-06-01 10:10:10+08:00", "tz": "Asia/shanghai" } 加工规则 e_set("dt_astimezone",dt_astimezone(v("time"), v("tz"),reset=false)) e_set("dt_astimezone_true",dt_astimezone(v("time"), v("tz"),reset=true)) 加工结果 dt_astimezone: 2019-06-01 10:10:10+08:00 dt_astimezone_true: 2019-06-01 10:10:10+08:00 time:2019-06-01 10:10:10+08:00 tz:Asia/shanghai