如何在Python中解析SQL语法并对SQL进行分词

要在Python中 解析 SQL 语法并对 SQL 进行分词，可以使用 sqlparse 库。 sqlparse 是一个专门用于 解析 SQL 语法的库，可以将 SQL 语句拆分为多个独立的标记。

以下是一个示例代码，演示如何使用 sqlparse 库 解析 SQL 语法并对 SQL 进行分词：

首先，确保已安装 sqlparse 库。可以使用以下命令来安装：

pip install sqlparse
接下来，使用以下代码示例来解析SQL语法并对SQL进行分词：
import sqlparse
def tokenize_sql(sql):
    # 使用sqlparse解析SQL语句
    parsed = sqlparse.parse(sql)
    tokens = []
    for statement in parsed:
        # 获取SQL语句的每个标记
        for token in statement.tokens:
            # 忽略空白标记
            if str(token.ttype) != 'Token.Whitespace':
                tokens.append(str(token))
    return tokens
# 示例SQL语句
sql = "SELECT column1, column2 FROM table1 WHERE column3 = 'value'"
# 解析并分词
tokens = tokenize_sql(sql)
# 打印分词结果
for token in tokens:
    print(token)
运行以上代码，将会输出以下结果：
SELECT
column1
column2
table1
WHERE
column3
'value'
这样，你就可以使用sqlparse库在Python中解析SQL语法并对SQL进行分词了。