配置索引实现日志的查询和分析_日志服务(SLS)-阿里云帮助中心

如需对采集到 Logstore 中的日志进行查询和分析，则必须创建索引。本文为您介绍日志服务索引概念、索引类型、创建索引、关闭索引、配置示例和计费说明等。

为什么需要创建索引

通常我们使用关键词从原始日志中检索想要的内容，例如包含 curl 的日志： curl/7.74.0 。如果不进行切分，该日志文本会作为一个整体，不能和关键词 curl 完全对应，因此不会被日志服务检索到。

为了便于检索，需要将日志切分成独立、可搜索的词。日志切分由分词符实现，这些符号决定了日志文本内容被切分的位置。以该日志为例，使用分词符 \n\t\r,;[]{}()&^*#@~=<>/\?:'" 进行分割，得到的词是 curl 、 7.74.0 。日志服务基于切分出的关键词建立索引。创建索引后，您才能对日志进行查询和分析。

日志服务 Project 支持创建全文索引和字段索引。如果您同时创建了全文索引和字段索引，以字段索引的配置为准。

索引类型

全文索引

全文索引根据 分词符 直接将整个日志切分成多个 text 类型的词语。创建全文索引后，可以通过关键词进行查询，例如查询语句： Chrome or Safari ，查询包括 Chrome 或 Safari 的日志。

参数	说明
日志聚类	打开日志聚类开关后，日志服务在采集文本日志时会自动聚合相似度高的日志，提取共同的日志模式，帮助您快速掌握日志整体情况。更多信息，请参见日志聚类。
大小写敏感	查询时是否区分英文字母的大小写。打开大小写敏感开关，则查询时区分大小写。例如某条日志含有 `internalError` ，那么您只能使用 `internalError` 才能查询到该日志。关闭大小写敏感开关，则查询时不区分大小写。例如某条日志含有 `internalError` ，那么您使用关键字 `INTERNALERROR` 和 `internalerror` 都能查到该日志。
包含中文	查询时是否区分中英文。打开包含中文开关后，如果日志中包含中文，则按照中文语法拆分中文内容，按照分词符的设置拆分英文内容。
分词符	根据指定分词符，将日志内容拆分成多个词。日志服务的默认分词符为 `, '";=()[]{}?@&<>/:\n\t\r` 。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的 ASCII 码都可被定义为分词符。如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。例如日志内容为 `/url/pic/abc.gif` 。如果不设置任何分词符，整条日志被作为一个词 `/url/pic/abc.gif` ，您只能通过完整字符串 `/url/pic/abc.gif` 或模糊查询 `/url/pic/` 查找该日志。如果设置分词符为正斜线（/），则原始日志被拆分为 `url` 、 `pic` 和 `abc.gif` 三个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如 `url` 、 `abc.gif` 、 `pi` 、 `/url/pic/abc.gif` 。如果设置分词符为正斜线（/）和半角句号（.），则原始日志被拆分为 `url` 、 `pic` 、 `abc` 和 `gif` 四个词，您通过任意一个词或词的模糊查询都可以找到该日志。

参数	说明
字段名称	日志字段名称（KEY），例如 `client_ip` 。字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头。
类型	日志字段值（Value）的数据类型，可选值为 text 、 long 、 double 和 json 。更多信息，请参见数据类型。 long 和 double 类型不支持设置大小写敏感、包含中文和分词符。
别名	字段的别名，例如设置 `client_ip` 字段的别名为 `ip` 。字段别名只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头。
大小写敏感	查询时是否区分英文字母的大小写。打开大小写敏感开关，则查询时区分大小写。例如某条日志含有 `internalError` ，那么您只能使用 `internalError` 才能查询到该日志。关闭大小写敏感开关，则查询时不区分大小写。例如某条日志含有 `internalError` ，那么您使用关键字 `INTERNALERROR` 和 `internalerror` 都能查到该日志。
分词符	根据指定分词符，将日志内容拆分成多个词。日志服务的默认分词符为 `, '";=()[]{}?@&<>/:\n\t\r` 。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的 ASCII 码都可被定义为分词符。如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。例如日志内容为 `/url/pic/abc.gif` 。如果不设置任何分词符，整条日志被作为一个词 `/url/pic/abc.gif` ，您只能通过完整字符串 `/url/pic/abc.gif` 或模糊查询 `/url/pic/` 查找该日志。如果设置分词符为正斜线（/），则原始日志被拆分为 `url` 、 `pic` 和 `abc.gif` 三个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如 `url` 、 `abc.gif` 、 `pi` 、 `/url/pic/abc.gif` 。如果设置分词符为正斜线（/）和半角句号（.），则原始日志被拆分为 `url` 、 `pic` 、 `abc` 和 `gif` 四个词，您通过任意一个词或词的模糊查询都可以找到该日志。
包含中文	查询时是否区分中英文。打开包含中文开关后，如果日志中包含中文，则按照中文语法拆分中文内容，按照分词符的设置拆分英文内容。
开启统计	打开开启统计功能后，您才能对该字段进行统计分析。

为什么需要创建索引

索引类型

全文索引

字段索引

创建索引

控制台方式

创建全文索引

配置项说明如下所示：

创建字段索引

配置项说明 如下所示：

API 方式

SDK 方式

Java

Python

CLI 方式

更新索引

操作步骤

关闭索引

操作步骤

索引配置示例

示例 1

示例 2

示例 3

索引流量说明

全文索引

字段索引

计费说明

按写入数据量计费的 logstore

按使用功能计费的 logstore

后续步骤

常见问题