如何创建Logtail采集配置来采集MySQL查询结果_日志服务(SLS)-阿里云帮助中心

本文介绍如何通过日志服务控制台创建 Logtail 采集配置来采集 MySQL 查询结果。

前提条件

已在服务器上安装 Linux Logtail 0.16.0 及以上版本或 Windows Logtail 1.0.0.8 及以上版本。具体操作，请参见安装 Logtail（Linux 系统）或安装 Logtail（Windows 系统）。

参数	说明
配置名称	Logtail 配置名称。
MySQL 地址	MySQL 数据库地址。例如 `rm-****.mysql.rds.aliyuncs.com`
数据库用户名	登录 MySQL 数据库的用户名称。
数据库密码	登录 MySQL 数据库的用户密码。如果安全需求较高，建议将用户名称和密码配置为 `xxx` ，待采集配置同步至本地机器后，在本地文件 /usr/local/ilogtail/user_log_config.json 中找到对应配置进行修改。具体操作，请参见修改本地配置。
数据库名称	MySQL 数据库名称。
连接数据库时间	连接 MySQL 数据库的超时时间，单位：ms。
查询超时时间	读取 MySQL 查询结果的超时时间，单位：ms。
SELECT 语句	SELECT 语句。选中是否使用 CheckPoint 时， SELECT 语句中的 where 条件中必须包含 CheckPoint 列（ CheckPoint 列名称中设置的值）。支持使用半角问号（?）表示替换符，与 CheckPoint 列配合使用。
是否使用 limit 分页	选中该选项后，将使用 Limit 分页。建议使用 Limit 进行分页。选中是否使用 limit 分页后，进行 SQL 查询时，系统将自动在 SELECT 语句中追加 LIMIT 语句。
分页大小	分页大小。选中是否使用 limit 分页后，需要配置。
同步最大记录数	每次同步最大记录数。默认值为 0 ，表示无限制。
是否使用 CheckPoint	选中该选项后，将使用 CheckPoint。CheckPoint 可作为下次采集数据的起点，实现数据增量采集。
CheckPoint 列名称	CheckPoint 列名称。选中是否使用 CheckPoint 后，需要配置。
CheckPoint 列的数据类型	CheckPoint 列的数据类型，支持 int 和 time。int 类型的内部存储为 int64，time 类型支持 MySQL 的 date、datetime、time 类型。选中是否使用 CheckPoint 后，需要配置。
CheckPoint 列的初始值	CheckPoint 列的初始值。选中是否使用 CheckPoint 后，需要配置。
每次分页时是否保存一次	选中该选项，则每次分页时保存一次 CheckPoint。否则，每次同步完成后保存一次 CheckPoint。
同步时间	同步间隔，单位：ms。

{
  "inputs": [
      "type": "service_mysql",
      "detail": {
        "Address": "************.mysql.rds.aliyuncs.com",
        "User": "****",
        "Password": "*******",
        "DataBase": "****",
        "Limit": true,
        "PageSize": 100,
        "StateMent": "select * from db.VersionOs where time > ?",
        "CheckPoint": true,
        "CheckPointColumn": "time",
        "CheckPointStart": "2018-01-01 00:00:00",
        "CheckPointSavePerPage": true,
        "CheckPointColumnType": "time",
        "IntervalMs": 60000
}

参数	类型	是否必选	说明
type	string	是	数据源类型，固定为 service_mysql 。
Address	string	否	MySQL 地址。例如 `rm-****.mysql.rds.aliyuncs.com` 默认值为 127.0.0.1:3306 。
User	string	否	用于登录 MySQL 数据库的用户名称。默认值为 root
Password	string	否	用于登录 MySQL 数据库的用户密码。默认值为空。如果安全需求较高，建议将用户名称和密码配置为 `xxx` ，待采集配置同步至本地机器后，在本地文件 /usr/local/ilogtail/user_log_config.json 中找到对应配置进行修改。具体操作，请参见修改本地配置。
DataBase	string	否	MySQL 数据库名称。
DialTimeOutMs	int	否	连接 MySQL 数据库超时时间，默认值为 5000，单位：ms。
ReadTimeOutMs	int	否	读取 MySQL 查询结果的超时时间，默认值为 5000，单位：ms。
StateMent	string	否	SELECT 语句。设置 CheckPoint 为 true 时， Statement 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列（ CheckPointColumn ）。支持使用半角问号（?）表示替换符，与 CheckPoint 列配合使用。例如设置 CheckPointColumn 为 id ，设置 CheckPointStart 为 0 ，设置 StateMent 为 `SELECT * from ... where id > ?` 。则每次采集后，系统会保存最后一条数据的 ID 作为 Checkpoint，下次采集时查询语句中的半角问号（?）将被替换为该 Checkpoint 对应的 ID。
Limit	boolean	否	是否使用 Limit 分页。 true ：使用。 false （默认值）：不使用。建议使用 Limit 进行分页。设置 Limit 为 true 后，进行 SQL 查询时，系统将自动在 SELECT 语句中追加 LIMIT 语句。
PageSize	int	否	分页大小， Limit 为 true 时必须配置。
MaxSyncSize	int	否	每次同步最大记录数。默认值为 0 ，表示无限制。
CheckPoint	boolean	否	是否使用 CheckPoint。 true ：使用。 false （默认值）：不使用。 CheckPoint 可作为下次采集数据的起点，实现数据增量采集。
CheckPointColumn	string	否	CheckPoint 列名称。设置 CheckPoint 为 true 时，需要配置。
CheckPointColumnType	string	否	CheckPoint 列的数据类型，支持 int 和 time。int 类型的内部存储为 int64，time 类型支持 MySQL 的 date、datetime、time 类型。设置 CheckPoint 为 true 时，需要配置。
CheckPointStart	string	否	CheckPoint 列的初始值。设置 CheckPoint 为 true 时，需要配置。
CheckPointSavePerPage	boolean	否	是否每次分页时保存一次 CheckPoint。 true （默认值）：每次分页时保存一次 CheckPoint。 false ：每次同步完成后保存一次 CheckPoint。
IntervalMs	int	是	同步间隔，默认值为 60000，单位：ms。

sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

CREATE TABLE `VersionOs` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',
  `time` datetime NOT NULL,
  `version` varchar(10) NOT NULL DEFAULT '',
  `os` varchar(10) NOT NULL,
  `count` int(11) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `timeindex` (`time`)
)

"count":  "4"  
"id:  "721097"  
"os:  "Windows"  
"time:  "2022-08-25 13:00:00"  
"version":  "1.3.0"

采集MySQL查询结果

前提条件

原理

功能

应用场景

操作步骤

已有机器组

没有可用机器组

Logtail 配置详情

表单配置方式

JSON 配置方式

修改本地配置

Linux 系统

Windows 系统

问题排查

数据库表和日志样例