Phoenix定位为OLTP和操作型分析(Operational Analytics),大多用于在线业务,稳定性要求第一位。Phoenix的功能很强大,也很灵活。本文结合大部分用户的经验,给出一些使用建议,希望能帮助更多用户少走弯路。
用户手册
- Phoenix社区官方文档
- 阿里云HBase团队云栖中文系列文档
使用建议
二级索引使用指南
二级索引是Phoenix中非常重要的功能,用户在使用前需要深入了解,请参见 二级索引社区文档 、 二级索引中文文档 和 全局索引设计实践 。
-
是否需要使用覆盖索引?
覆盖索引需要将查询返回字段加入到索引表中,这样在命中索引时,只需要查询一次索引表即可,非覆盖索引,要想拿到完整结果则需要回查主表。不难理解,覆盖索引查询性能更好,但是会浪费一定存储空间,影响一定写性能。非覆盖索引使用时,有时执行计划并不能默认命中索引,此时,用户需要加 索引Hint 。
-
应该使用local Index还是global Index?
实现上,一个global index表对应着一个hbase表,local index是在主表上新增一列存储索引数据。适用场景上,global index适用于多读的场景,但存在同步索引时带来网络开销较大的问题。而local由于和原数据存储在一张表中同步索引数据会相对快一点。虽然local index也有一定适用场景,但仍然推荐使用global index,其原因有以下几点:
- 当前版本的phoenix的local index的实现相对global index不太完善,问题较多,使用存在一定的风险。
- local index不太完善,大的改动后,可能会存在不兼容,升级流程比较复杂。
- 在大数据量下,原始数据和索引数据放在一起会加剧region分裂,且分裂后索引数据的本地性也会丧失。
-
索引表最多可以创建多少个?
索引会保证实时同步,也会引来写放大问题,一般建议不超过10个,如果超过建议使用 HBase全文索引功能 。
-
构建索引需要注意哪些事项?
使用创建索引语句(CREATE INDEX)时,如果指定async参数,则为异步构建,语句完成时,会在SYSTEM.CATALOG表中建立索引表的元信息,并建立跟主表的关系,但是状态是building,索引表中没有数据,也不可查,需要后续用 REBUILD语句 。
加盐注意事项
加盐通常用来解决数据热点和范围查询同时存在的场景。原理介绍请参见: Phoenix社区文档 和 中文文档 。
- 写热点或写不均衡:比如以时间作为第一列主键,永远写表头或者表尾。
- 需要范围查询:要按第一列主键进行范围查询,不能使用hash打散。
有热点就要打散,但打散就难以做范围查询。因此,要同时满足这对 相互矛盾的需求 ,必须有一种 折中 的方案:既能在一定程度上打散数据,又能保证有序。这个解决方案就是加盐,亦称分桶(salt buckets)。 数据在桶内保序,桶之间随机 。写入时按桶个数取模,数据随机落在某个桶里,保证写请求在桶之间是均衡的。查询时读取所有的桶来保证结果集的有序和完备。
一般来说,严格满足上述条件的业务场景并不常见。大多数场景都可以找到其他的业务字段来协助散列。考虑到其严重的副作用,我们不建议使用这个特性。
- 写瓶颈 :一般全表只有buckets个region用于承担写。当业务体量不断增长时,因为无法调整bucket数量,不能有更多的region帮助分担写,会导致写入吞吐无法随集群扩容而线性增加。导致写瓶颈,从而限制业务发展。
- 读扩散 :select会按buckets数量进行拆分和并发,每个并发都会在执行时占用一个线程。select本身一旦并发过多会导致线程池迅速耗尽或导致QueryServer因过高的并发而FGC。同时,本应一个RPC完成的简单查询,现在也会拆分成多个,使得查询RT大大增加。
以上副作用会制约业务的发展,尤其对于大体量的、发展快速的业务。因为桶个数不能修改,写瓶颈会影响业务的扩张。读扩散带来的RT增加也大大降低了资源使用效率。
- 预分区 :用分桶来实现建表的预分区最常见的误用。这是因为Phoenix提供的split on预分区语法很难使用。目前可用hbase Shell的建表,指定预分区,之后关联为Phoenix表。在海量数据场景,合理的预分区是一个很有挑战的事情,我们后续会对此进行专题讨论,敬请期待。
- 伪热点 :写入热点或不均衡大多数情况都是假象,通常还有其他字段可用于打散数据。比如监控数据场景,以metric名字的hash值做首列主键可有效解决写入均衡的问题。
一定不要为了预分区而使用加盐特性 ,要结合业务的读写模式来进行表设计。如果您无法做出准确的判断,可以钉钉联系云HBase值班咨询。
- 单节点内存 8G: 2*N
- 单节点内存 16G: 3*N
- 单节点内存 32G: 4*N
- 单节点内存 64G: 5*N
- 单节点内存 128G: 6*N
慎用扫全表、OR、Join和子查询
虽然Phoenix支持各种Join操作,但是Phoenix主要还是定位为在线数据库,复杂Join,比如子查询返回数据量特别大或者大表Join大表,在实际计算过程中十分消耗系统资源,会严重影响在线业务,甚至导致OutOfMemory异常。对在线稳定性和实时性要求高的用户,建议只使用Phoenix的简单查询,且查询都命中主表或者索引表的主键。另外,建议用户在运行SQL前都执行下explain,确认是否命中索引,或者主键,请参见 explain社区文档 和 explain中文文档 。
Phoenix不支持复杂查询
Phoenix的二级索引本质还是前缀匹配,用户可以建多个二级索引来增加对数据的查询模式,二级索引的一致性是通过协处理器实现的,索引数据可以实时可见,但也会影响写性能,特别是建多个索引的情况下。对于复杂查询,比如任意条件的and/or组合,模糊查找,分词检索等Phoenix不支持。
Phoenix不支持复杂分析
Phoenix定位为操作型分析(operational analytics),对于复杂分析,比如前面提到的复杂join则不适合,这种建议用Spark这种专门的大数据计算引擎来实现,请参见 X-Pack Spark分析服务 和 HBase SQL(Phoenix)与Spark的选择 。
Phoenix是否支持映射已经存在的HBase表?
支持,请参见 社区相关文档 。用户可以通过Phoenix创建视图或者表映射已经存在的HBase表,如果使用表的方式映射HBase表,在Phoenix中执行DROP TABLE语句同样也会删除HBase表。另外,由于column family和列名是大小写敏感的,必须一一对应才能映射成功。Phoenix的字段编码方式大部分跟HBase的Bytes工具类不同,一般建议如果只有varchar类型,才进行映射,包含其他类型字段时不要使用映射。
问题与解决方法
使用云数据库HBase的SQL功能(Phoenix)的过程中可能会遇到以下问题,为您提供解决以下问题的方法。
-
meta可能存在不同步。
问题描述:在同一时间多个连接访问Phoenix的场景下,一个连接进行DDL操作后(例如创建表,删除表,增加列,增加索引,删除索引等),其他连接不能感知到,可能会造成读写失败(出现表不存在或者索引不存在等异常报错)。
解决方法:- 如果是Phoenix 4.x重客户端访问,那么您需要重启重客户端。
- 如果是Phoenix 5.x轻客户端访问,那么您需要重启queryserver。
-
查询bug。
问题描述:某些情况下,Phoenix对有些索引的主表回查会存在bug,在执行查询的时候, 会出现异常。
解决方法:通过冗余全部列,避免回查主表。
-
RegionServer OOM的情况。
问题描述:LookupJoin会在ScanRpc请求中发起Get请求,这个Get请求的Scanner没有被正常关闭。
解决方法:关闭Lookupjoin。
-
服务端报Unable to find cached index metadata。
问题描述:如果用户对应的索引存储的cache在一定时间内没有被访问,那么会从cache中删除。
解决方法:重启queryserver或者重客户端,或者重新设置cache的过期时间。
-
对于数据量较大的复杂查询(JOIN、ORDER BY、GROUP BY),您需要合理地控制资源,否则会影响集群稳定性。
解决方法:如果需要使用SQL语句,您可以了解Lindorm SQL解决相关内容,有任何问题请 提交工单 。