设置日志云端结构化解析

使用限制

• 若未配置索引配置，结构化字段默认分词符为空，最大长度限制为20KB，超过部分会被截断。
• 若已配置索引配置，结构化字段默认分词符参考 设置LTS日志内容分词 ，此时最大长度限制为500KB。

费用说明

云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS系统算力，未来会按照日志量大小收取日志加工流量费用。

更多信息请参考 计费项 。

注意事项

• 日志结构化是以日志流为单位。
• 日志流中的大部分日志需有一定的规则，否则结构化是无意义的。
• 结构化配置修改后，对新写入的日志数据生效，历史日志数据不会生效。

云端结构化解析

1. 登录 云日志服务控制台 ，进入“日志管理”页面。
2. 单击目标日志组或日志流名称，进入日志流详情页面。
3. 在“日志搜索”页面，单击右上角的日志设置，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。
   • 开启“保留原始日志”后，原始日志将作为content字段的值存储到云日志服务。同时在资源统计和计费时content字段均会统计在内。
   • 开启“上传解析失败日志”后，原始日志将作为_content_parse_fail_字段的值上传到云日志服务。
   • 关于开启或关闭“保留原始日志”和“上传解析失败日志”时，日志上报参考如下。
     图1 云端结构化解析
     

     表1 日志上报说明

     参数	日志上报说明
     开启“保留原始日志” 开启“上传解析失败日志”	解析成功：上报解析后日志和原始日志content字段。 解析失败：为了避免日志冗余，只上报原始日志content字段，不重复上报_content_parse_fail_字段。
     开启“保留原始日志” 关闭“上传解析失败日志”	解析成功：上报解析后日志和原始日志content字段。 解析失败：上报原始日志content字段。
     关闭“保留原始日志” 开启“上传解析失败日志”	解析成功：上报解析后日志。 解析失败：上报_content_parse_fail_字段。
     关闭“保留原始日志” 关闭“上传解析失败日志”	解析成功：上报解析后日志。 解析失败：仅上报内置字段和label字段。

   • 结构化不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime、category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。
   • 正则分析 ：使用正则表达式提取字段。
   • JSON ：通过提取JSON字段将其拆分为键值对。
   • 分隔符 ：使用分隔符（例如：冒号、空格或字符等）提取字段。
   • Nginx ：通过log_format指令来自定义访问日志的格式。
   • 结构化模板 ：通过自定义模板或系统内置模板提取字段。

4. 云端结构化解析配置完成后，支持修改或删除结构化配置。
   • 在云端结构化解析页面中，单击 ，修改结构化配置。
   • 在云端结构化解析页面中，单击 ，删除结构化配置。

     结构化配置删除后，将无法恢复，请谨慎操作。

2. 字段提取。包括自动生成和手动输入两种方式，可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
   • 自动生成模式：当用户选择自动生成时，可以用鼠标选中示例日志中待结构化的日志内容，在弹出的对话框中为选中内容设置一个名称，单击“添加”。字段名称只支持输入英文、数字、中划线、下划线及小数点，不能以小数点开头或结尾且不能以双下划线结尾。

     例如在选择日志示例下方输入以下原始日志示例：

     2025-06-06 11:00:00.676 WARN [https-jsse-nio-172.16.10.103-8029-exec-34] [94b34e8f9b45] [c.h.als.inventory.ClusterSearchIndex warn 139] - Searching For [clusterId, clusterName] In The New Index Takes 0 Milliseconds

     根据原始日志示例，设置字段名称为time、level、thread、message等，自动生成字段参考如 图2 所示。

     图2 正则分析自动生成字段
     
   • 手动输入模式：当用户选择手动输入时，可以在输入框中输入正则表达式，单击“生成字段”来进行字段提取。正则表达式通过分组来捕获字段，分组指用圆括号"()"括起来的正则表达式，匹配出的内容就表示一个分组，分组包含如下三种形式：
     • (exp)：把括号内的正则作为一个分组，系统自动分配组号，规则为从正则表达式的左边开始，第一个左括号“(”对应第一个分组，第二个“(”对应第二个分组，依次类推，组号从1开始，从左向右，依次累加。
     • (?<name>exp)：表示命名分组，分组的正则表达式为exp，分组名为name。分组名必须以字母开始，且仅包含字母和数字，可以通过分组名或分组号引用该分组。
     • (?:exp)：表示不捕获分组，该分组只在当前位置匹配文本，在该分组之后，无法引用该分组，因为该分组没有分组名，没有分组号，也不会占用分组编号。
     • 分词符指将日志内容切分为多个单词的符号，默认分词符包括, '";=()[]{}@&<>/:\\?\n\t\r，在日志搜索或者对日志进行结构化时，可以选取相邻两分词符之间的单词。
     • 在手工输入方式中，正则表达式的长度不能超过5000个字符，不强制要求用户在输入正则表达式时对分组进行命名，单击“生成字段”会以命名分组中的分组名作为字段名称，对于非命名分组会提取出对应的字段，并给字段名称默认命名field1、field2、field3……。
     • 由于手动输入正则表达式时不能填写双下划线，所以在日志提取字段下方可以将字段名称重命名为带有双下划线的字段。

3. 若需要指定某一字段作为日志时间，详细请参考 自定义日志时间 。
4. 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

2. 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。

   将以下参考示例原始日志输入待操作框中，在“步骤2 字段提取”下单击“智能提取”。自动生成字段参考如 图3 所示。

   {
   "start_time": 1749088800000,