在众多SQL On Hadoop的解决方案中，Kylin采用了Cube的思路来加速多维分析型查询，Cube是传统数据仓库常用的一种技术，本文简单讨论Kylin多维分析的原理以及Kylin的缺点。
- 如何使查询更好的并行化
- 如何有效降低扫描的数据量
Kylin定位于解决千亿条、万亿条记录的秒级查询问题，它关于查询加速的思路，称得上”简单粗暴“： 将查询结果做”预聚合”处理，将一些复杂的分析型查询进行简化。Kylin关于OLAP型查询做了如下两点假设：
- 查询大多是为了获取多条记录聚合之后的统计值
- 聚合按维度进行，而且有意义的维度聚合组合是有限的，而且随着数据量的不断增长而相对固定
那么，什么是维度？下面举一个简单的例子来理解维度组合：
时间： {2017Q1, 2017Q2, 2017Q3, 2017Q4}
地区：{北京，上海，深圳，广州}
那么，基于「时间+地区」的维度组合共有4*4=16种
Cube的维度组合，可以由用户结合实际的业务查询场景进行自定义。所谓的”预聚合“，就是将这16种组合的统计结果预先计算出来并存储起来。为了加速这种聚合之后的结果的查询，可以将这些结果存储在HBase/Cassandra这类NoSQL系统中，使用组合维度值作为Key。这种”预聚合”的思路，对比传统的查询加速的思路，可以看出来，只要组合的维度相对固定，那么，不会随着数据量的增长而出现明显的性能恶化。
Kylin选择了以标准SQL作为查询接口，它采用了Calcite进行查询语法分析。标准SQL要求以关系模型作为支撑，因此，Kylin选择了最简单的”星型模型”：
- 事实表：存储事实记录的表，数据量通常很大
- 维度表：维度的属性表，可以跟事实表关联，数据量通常很小，且数据相对固定。这些信息如果存储在事实表中，会导致大量的数据冗余。一个维度表可以被多个事实表重用
- 一个事实表可以关联零个或多个维度表
Kylin主要应对的是离线型OLAP型查询，不能支持数据的实时插入、更新，但可以支持准实时增量导入。Kylin虽然选择了支持标准SQL接口，但在SQL的完整性语法支持上却是相对较弱的。因此，总的来看，不能支持实时更新与SQL语法兼容性过弱，是最大的短板。
Reference:
- Apache Kylin权威指南
本文源自：NoSQL漫谈(nosqlnotes.com)
除非特别注明，本站文章均为原创，转载请注明出处和链接。