Sharding-JDBC 核心之解析引擎_lexer和parser的区别

一、解析引擎

如果在大学期间学习过计算机编程原理课程，SQL的解析是比较简单的。不过，它依然是一门完善的编程语言，因此对SQL的语法进行解析，与解析其他编程语言（如：Java语言、C语言、Go语言等）并无本质区别。
SQL解析引擎在 parsing包下：
Lexer:词法解析器
Parser:SQL解析器
两者都是解析器,区别在于 Lexer只做词法的解析，不关注上下文。讲字符串拆解成N个词法，而Perser在 Lexer的基础上,还需要理解SQL再进行解析
1.1 语法树

解析过程分为词法解析和语法解析。词法解析器用于将SQL拆解为不可再分的原子符号，称为Token。并根据不同数据库方言所提供的字典，将其归类为关键字，表达式，字面量和操作符。再使用语法解析器将SQL转换为抽象语法树。
例如，以下SQL：
SELECT id, name FROM t_user WHERE status = 'ACTIVE' AND age > 18

 抽象语法树中的关键字的Token用绿色表示，变量的Token用红色表示，灰色表示需要进一步拆分。
 最后，通过对抽象语法树的遍历去提炼分片所需的上下文，并标记有可能需要改写的位置。 供分片使用的解析上下文包含： 
查询选择项（Select Items）
表信息（Table）
分片条件（Sharding Condition）
自增主键信息（Auto increment Primary Key）
排序信息（Order By）
分组信息（Group By）
分页信息（Limit、Rownum、Top） 
SQL的一次解析过程是不可逆的，一个个Token的按SQL原本的顺序依次进行解析，性能很高。 
二、Lexer词法解析器
 
Lexer 会按照循序解析SQL，将sql字符串分解成 N 个分词（token），且这个过程是不可逆的
 Lexer类继承图
 可以看出，当前sharding-jdbc支持的数据库就是H2、Oracle、PostgreSQL、Mysql、SQLServer 
2.1 Token
 
token用于描述当前分解出的词法，包含3个属性： 
TokenType type ：词法标记类型
String literals ：当前词法字面量
int endPosition ：literals 在 SQL 字符串中的位置(去除所有空格和注释) 
TokenType 用于描述当前token的类型，分成 4 大类： 
DefaultKeyword ：词法关键词
 已经定义了数据库的关键字，例如：SELECT 、FROM、WHERE、AND
Literals ：词法字面量标记
 sql分解出来的字符串实际值，例如关键字SELECT，table表名
Symbol ：词法符号标记
 Sql中的符号。例如 * 号，table1.name 中的点号，age,name中的逗号分隔符
Assist ：词法辅助标记
 Assist枚举只有2个属性，END和ERROR,END表示分解结束 
Literals词法字面量标记,一共分成6种: 
IDENTIFIER: 词法关键词
VARIABLE: 变量
CHARS: 字符串
HEX: 十六进制
INT: 整数
FLOAT: 浮点数 
2.2 Tokenizer分词器
 
由于不同数据库遵守的 SQL 规范有所不同，所以不同的数据库对应存在不同的 Lexer实现，并且维护了各自对应的dictionary。
 Sharding 会根据连接数据库的类型，选择相对应的Lexer实现类，并将对应的数据库词典覆盖父类Lexer的dictionary属性。Lexer内部根据相应数据库的dictionary与sql语句生成一个Tokenizer分词器进行分词。 
public final class Tokenizer {
    //SQL
    private final String input;
    //不同数据库对应的字典
    private final Dictionary dictionary;
    //偏移量
    private final int offset;
分词器具体的方法如下：
  
2.3 Lexer分词核心实现代码
 
public class Lexer {
    private final String input;
    private final Dictionary dictionary;
    private int offset;
    private Token currentToken;
    public final void nextToken() {
        this.skipIgnoredToken();
        if (this.isVariableBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanVariable();
        } else if (this.isNCharBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, ++this.offset)).scanChars();
        } else if (this.isIdentifierBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanIdentifier();
        } else if (this.isHexDecimalBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanHexDecimal();
        } else if (this.isNumberBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanNumber();
        } else if (this.isSymbolBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanSymbol();
        } else if (this.isCharsBegin()) {
            this.currentToken = (new Tokenizer(this.input, this.dictionary, this.offset)).scanChars();
        } else {
            if (!this.isEnd()) {
                throw new SQLParsingException(this, Assist.ERROR);
            this.currentToken = new Token(Assist.END, "", this.offset);
        this.offset = this.currentToken.getEndPosition();
总结：Lexer主要的执行逻辑就是 nextToken() 方法，不断解析出当前 Token。Lexer的nextToken()方法里，使用 skipIgnoredToken() 方法跳过空格和注释的部分，通过 isXxx() 方法判断好下一个 Token 的类型，交给 Tokenizer 进行分词并跟新偏移量后返回 Token。 
2.4 示例
 
    @Test
    public void lexerTest() {
        String sql = "SELECT id, name FROM t_user WHERE status = 'ACTIVE' AND age > 18";
        MySQLLexer mySQLLexer = new MySQLLexer(sql);
        boolean bool = true;
        Token token;
            mySQLLexer.nextToken();
            token = mySQLLexer.getCurrentToken();
            System.out.println(JSONObject.toJSONString(token));
            if (mySQLLexer.getCurrentToken().getType().toString().equals("END")) {
                bool = false;
        } while (bool);
三、Parser 语法解析器
 
Parser有三个组件 
SQLParsingengine: SQL解析引擎(掉用 StatementParser解析SQL)
SQLParser:SQL解析器(调用 SQLParser解析SQL表达式)
StatementParser:SQL语句解析(调用 Lexer解析SQL词法解析器） 
3.1 SQLParser 语法解析器
 
SQLParser 语法解析器，根据不同类型的语句有不同的语法解析器去解析成SQLStatement
 
 可以看到，不同类型的sql，不同厂商的数据库，存在不同的处理解析器去解析，解析完成之后，会将SQL解析成SQLStatement。
 SQLParsingEngine类 ，sql的解析引擎，其 parse() 方法作为 SQL 解析入口，本身不带复杂逻辑，通过调用对应的 SQLParser 进行 SQL 解析，返回SQLStatement 
    public SQLStatement parse(boolean useCache) {
    	//ShardingSphere将使用PreparedStatement的SQL解析的语法树放入缓存。 因此建议采用PreparedStatement这种SQL预编译的方式提升性能。
        Optional<SQLStatement> cachedSQLStatement = this.getSQLStatementFromCache(useCache);
        if (cachedSQLStatement.isPresent()) {
            return (SQLStatement)cachedSQLStatement.get();
        } else {
        	//词法解析
            LexerEngine lexerEngine = LexerEngineFactory.newInstance(this.dbType, this.sql);
            //语法解析
            SQLStatement result = SQLParserFactory.newInstance(this.dbType, this.shardingRule, lexerEngine, this.shardingTableMetaData, this.sql).parse();
            if (useCache) {
                ParsingResultCache.getInstance().put(this.sql, result);
            return result;
SQLStatement对象是个超类，具体实现类有很多。按照不同的语句，解析成不同的SQLStatement。
 
 SQLStatement api：
 
 不同的语句，ddl，dml，tcl等，有不同的语法解析器SQLParser去解析，与词法分析器一样使用工厂模式，词法分析器Lexer在解析Sql的时候，第一个分词就是SQL的具体类型(select,update)，所以在执行sql的时候，首先调用词法分析器解析第一个分词，再按照不同类型的SQL选择不同的语法解析器。根据数据库类型，DB类型分词解析器获取语法解析器。 
public final class SQLParserFactory {
    public static SQLParser newInstance(DatabaseType dbType, ShardingRule shardingRule, LexerEngine lexerEngine, ShardingTableMetaData shardingTableMetaData, String sql) {
        lexerEngine.nextToken();
        TokenType tokenType = lexerEngine.getCurrentToken().getType();
        if (DQLStatement.isDQL(tokenType)) {
            return (SQLParser)(DatabaseType.MySQL == dbType ? new AntlrParsingEngine(dbType, sql, shardingRule, shardingTableMetaData) : getDQLParser(dbType, shardingRule, lexerEngine, shardingTableMetaData));
        } else if (DMLStatement.isDML(tokenType)) {
            return getDMLParser(dbType, tokenType, shardingRule, lexerEngine, shardingTableMetaData);
        } else if (TCLStatement.isTCL(tokenType)) {
            return new AntlrParsingEngine(dbType, sql, shardingRule, shardingTableMetaData);
        } else if (DALStatement.isDAL(tokenType)) {
            return getDALParser(dbType, (Keyword)tokenType, shardingRule, lexerEngine);
        } else {
            lexerEngine.nextToken();
            TokenType secondaryTokenType = lexerEngine.getCurrentToken().getType();
            if (DCLStatement.isDCL(tokenType, secondaryTokenType)) {
                return new AntlrParsingEngine(dbType, sql, shardingRule, shardingTableMetaData);
            } else if (DDLStatement.isDDL(tokenType, secondaryTokenType)) {
                return new AntlrParsingEngine(dbType, sql, shardingRule, shardingTableMetaData);
            } else if (TCLStatement.isTCLUnsafe(dbType, tokenType, lexerEngine)) {
                return new AntlrParsingEngine(dbType, sql, shardingRule, shardingTableMetaData);
            } else if (DefaultKeyword.SET.equals(tokenType)) {
                return SetParserFactory.newInstance();
            } else {
                throw new SQLParsingUnsupportedException(tokenType);
3.2 SQLParsingEngine
 
一条sql在执行的时候，如何知道是什么类型的语句？？
 词法分析器Lexer在解析Sql的时候，第一个分词就是SQL的具体类型(select,update)，所以在执行sql的时候，首先调用词法分析器解析第一个分词，获取语句类型，然后选择具体的语法解析器解析。和分词器引擎一样，SQL语句解析器也有自己的解析引擎
                                    词法分析器
一个完整的解析器生成器，它通过使用上下文无关的语法处理标记，从而在创建抽象语法树之前对输入字符串进行标记。 令牌是使用正则表达式库定义的，而实际的解析器是Earley的解析算法的实现。 尽管需要使用两个文件中的函数来生成完整的解析器，但仅需要导入Parse.py文件。 lex函数可以读取字符串并将其转换为“ Token”对象的列表，而parse函数将获取令牌列表并返回自定义抽象语法树。 因此，两个文件功能的使用必须按照该顺序进行，并且必须同步。
 免责声明：如果特定的标记需要被词法分析器识别但被词法分析器忽略（来自Lexer.py），请确保将一个函数输入到模板定义的“ process”参数中，但将其返回值设置为None。
                                    Lexer是编译器的初始处理模块，主要任务是将输入的原始字符流(如源代码)拆解为具有特定意义的词法单元(token)。例如，对于代码片段int x = 5;，Lexer会识别出关键字int、标识符x、运算符、数字5和分隔符;，每个元素被标记为独立的Token并附带类型信息。这种转换使得后续的语法分析器能更高效地处理代码结构。FastJSON中的具体实现词法分析器(JSONLexer)源码类核心方法public int token() { ... } // 当前Token类型。
                                    分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题将原来独立的数据库拆分成若干数据库组成将数据大表拆分成若干数据表组成使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。分库：把数据分散在不同的数据库中，解决数据库单实例瓶颈问题分表：把数据分散在不同的表中，解决单表瓶颈问题。
    <properties>
        <java.version>1.8</java.version>
        <spring-boot.version>2.3.7.RELEASE</spring-boot.version>
        <sharding-sphere.version>4.0.0-RC1</sharding-sp
                                    探索Lexer-Parser：一个高效且灵活的语法解析工具
Lexer-Parser是一个开源项目，它提供了一套完整的词法分析器（lexer）和语法解析器（parser）框架。这个项目基于Python编程语言，旨在帮助开发者轻松地处理复杂语法结构，从而在各种文本解析任务中发挥关键作用。
Lexer-Parser的核心是其自定义的词法规则和上下文无关文法（context-free gram...
                                    在上文中，我们讲解了分布式环境下的分库分表，从概念及案例上分析了何为分库分表及其优缺点。我说分布式之分库分表从本文开始我们一起学习一下如何使用当前比较成熟的分库分表框架 Sharding-JDBC 实现分库分表。什么是Sharding-JDBCSharding-JDBC是分布式数据中间件Sharding-Sphere中的重要组成部分，官方的介绍如下： Sharding-Sphere是一套开源的分布...
                                    1. 概述
上篇文章《词法解析》分享了词法解析器Lexer是如何解析 SQL 里的词法。本文分享SQL解析引擎是如何解析与理解 SQL的。因为本文建立在《词法解析》之上，你需要阅读它后在开始这段旅程。????如果对词法解析不完全理解，请给我的公众号**（芋道源码）留言，我会逐条认真耐心**回复。
区别于 Lexer，Parser理解SQL：
提炼分片上下文
	标记需要SQL改写的部分
Parser 有三个组件：
SQLParsingEngine ：SQL 解析引擎
	SQLParser ：SQL 解
                                    定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
                                    前言在 2019年第五届 Gopher China 大会上，来自英语流利说的何源进行了题为《从0开始用Go实现Lexer和Parser》的演讲。主要介绍了如何用 Go 实...
https://www.songma.com/news/txtlist_i21939v.html
分库分表适用场景
分库分表主要用于应对当前互联网常见的两个场景——大数据量和高并发。
1.数据量大时，减少单表查询压力
2.减少单表的访问压力
3.单表数据量上百万至千万，索引性能下降
4.索引也很难在提高性能或者更新、插入数据频繁等。
Shardi...