关于大数据:什么是麒麟kylin查数据贼快的哟

前言

微信搜【Java3y】关注这个有幻想的男人，点赞关注是对我最大的反对！

文本已收录至我的 GitHub：https://github.com/ZhongFuCheng3y/3y，有 300 多篇原创文章，最近在连载 面试和我的项目 系列！

明天想跟大家一起入门一下kylin（麒麟）。

因为工作须要，前段时间对 kylin 简略入了个门，当初来写写笔记（我的文字或者能帮忙到你入门 kylin，至多看完这篇应该能晓得kylin 是干什么的）。

不多 BB，开始吧

kylin 介绍

kylin是咱们国人主导并奉献到 Apache 基金会的开源我的项目，所以咱们会有 中文文档 学习：

http://kylin.apache.org/cn/

从官网咱们能够看到对 kylin 的介绍：Apache Kylin™是一个开源的、分布式的剖析型数据仓库，提供 Hadoop/Spark 之上的SQL 查问接口及 多维分析（OLAP）能力以 反对超大规模数据 ，最后由 eBay 开发并奉献至开源社区，它能在 亚秒内 查问微小的表。

看到这个介绍，只能用两个字来形容kylin：牛逼????。那牛逼在哪呢？上面再说

第一眼看过来，可能有的同学不晓得 OLAP 是什么货色，我上面来简略解释一下吧。（Hadoop/Spark/SQL/ 大数据 这些词天天能看见，即使不懂它的原理，你都晓得这些货色是有什么用，是用来干嘛的，对吧？）

看到 OLAP 就不得不提它的兄弟OLTP，咱们简略来看看他们的全称和翻译的中文是什么：

• OLTP：On-Line Transaction Processing（联机事务处理）
• OLAP：On-Line Analytical Processing（联机剖析解决）

中文的翻译咱们怕是看不懂的了，但咱们能够发现他俩的区别一个是「事务 」，一个是「 剖析」

从利用层面看，咱们能够简略地认为：OLTP 次要用于 业务零碎 ，对事务的要求比拟高，例如下单 / 交易（银行转账等业务）。OLAP 次要用于 数据仓库零碎 ，反对 简单的剖析操作，偏重决策反对，并且提供直观易懂的查问后果。

我再画张思维导图图来给大家看一下，根本就懂了：

看到这里，你应该对 OLAP 有个根本的理解了。那再回到下面那句话：多维分析（OLAP）能力以 反对超大规模数据，你第一反馈会想到什么？

三歪第一反馈想到的就是 Hive（Hive 底层是HDFS：反对超大规模的数据）。

那既然说到 Hive 了，你会发现 kylin 前半段话，Hive如同 简直 都能够反对，但除了最初一句「它能在 亚秒内 查问微小的表」。

没错，到这里就能够晓得 kylin 的用处了：它能够在亚秒内查问微小的表，来实现数据分析和决策

每次跑 Hive 咱们可能都得跑几分钟（像我 SQL 写得烂的，跑半小时也是常常有的事），咱们从业务上就心愿 用来剖析的数据 能够跑得更快，反对这种需要的 kylin 就火???? 起来了。

我以 Hive 来引申 kylin，除了kylin 就没其余抉择了吗？那显然不是的。

当年我刚进公司的时候，吐槽 Hive 跑得太慢了，隔壁的小哥就通知我：你用 presto 啊，咱们大数据平台都反对的。

OLAP所提供的工具框架还是很多的，上面咱们来简略认识一下吧

家喻户晓，执行 Hive 实际上是跑 Map-Reduce 工作去 HDFS 拿数据。执行的过程波及到 计算 和存储。

有的人感觉 Hive 跑Map-Reduce计算这个过程太慢了，所以就不必 Map-Reduce，用别的计算引擎，比方用MPP 架构来跑，但存储没变 …

有的人感觉，存储在 HDFS 去拿数据太慢了，改个存储的中央，不从 HDFS 拿 …

有的人感觉，这啥破玩意，计算 和存储 我都改了，用我的框架一站式给你解决掉 …

有的人感觉，Hadoop生态还是能够的，我先聚合一把，你查的时候间接拿聚合后的数据，也是很快的 …

因为每个公司的业务场景和背景不一样，每个 OLAP 框架的短处也不一样，所以当初有如此多的 OLAP 技术在发光发热 …

Kylin 入门

从后面咱们曾经晓得为什么会呈现如此多的 OLAP 的技术了，从实质上来说就是咱们心愿剖析的数据能够让咱们查得 更快 ，而kylin 是这些技术其中的一员。

从上图也能够看到 kylin 是齐全依赖 Hadoop 生态的，那 kylin 是怎么实现 提速 的呢？答案就是：预聚合

假如咱们从 MySQL 检索日期大于 2020-10-20 的所有数据，只有咱们在 日期列 加上索引，能够很快就能查出相干的数据。

但如果咱们从 MySQL 检索日期大于 2020-10-20 的所有数据 且每个用户在这段时间内生产了多少钱且 xxxx，只有数据量大，不管你怎么建索引，查问的速度就不尽人意了。

那如果我按 天的维度先做好对每个用户的统计，写到一张表中，等到用户按日期检索的时候是不是就很快了（因为我曾经按 天聚合了一次数据，这张表比起原来的原始表数量会大大减少）

kylin就是用 预聚合 这种思路来进步查问的速度，使它能够在 亚秒内 实现查问响应。

那咱们应用 kylin 的步骤是什么？官网曾经帮咱们解答了：

1. 定义数据集上的一个星形或雪花形模型
2. 在定义的数据表上构建cube
3. 应用规范 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查问，仅需亚秒级响应工夫即可取得查问后果

下面几个步骤，可能你不太理解的几个词有以下 星形模型、雪花模型、cube，上面我来简略解释一下：

在数据仓库畛域上，咱们的主表叫做 事实表 ，事实表外键依赖的表叫做 维度表。

「星形模型 」：所有的维度表都 直连 到事实表。（上图）

「雪花形模型 」：当有 一个或多个维度表没有间接连贯到事实表上，而须要通过其余维表连贯到事实表（下图）

在 kylin 里，剖析数据的角度叫做「维度 」，被剖析的指标叫做「 度量」

好了，咱们再来看看 cube 是什么意思吧：

一个多维数据集称为一个 OLAP Cube：下面的几张二维表咱们能够造成一个 数据立方体，这个数据立方体就是Cube

一个 Cube 能够由不同的 角度 去看，能够看似这多个角度都是从一个残缺的 Cube 拆分进去的，例如：

联合下面所说的：Cube实际上就是从数据集中通过不同的维度构建进去的一个立方体（尽管图上的都是三维，但你构建的 Cube 能够远超三维）

kylin就是在 Cube 这个立方体来获取数据的，从官网的说法也很明确，能够通过 JDBC/RESTful 的形式来获取数据。

那 kylin 是将聚合的数据存储在哪的呢（必定是有存储的中央的嘛）？在 HBase 上。如果还没学过 HBase 的同学，能够先看看我以往的文章：HBase 入门

应用 kylin 步骤：

• 首先你得有数据（个别来自 Hive/Kafka)，在Kylin 上定义对应的数据模型(构造)
• 通过 kylin 系统配置须要聚合以及统计的字段（这块就是下面所提到的维度和度量），而后构建出 Cube（这块就是kylin 的预聚合，把须要统计的维度都定义好，提前计算）
• kylin会把数据寄存在 HBase 上，你能够通过 JDBC/RESTful 的形式来查问数据

应用 kylin

在官网上也列出比拟常见的 QA，大家能够看看：http://kylin.apache.org/cn/docs/gettingstarted/faq.html

尽管 kylin 能反对多维度的聚合，但咱们在建 Cube 个别要对 Cube 进行 剪枝（即缩小 Cuboid 的生成）

假如咱们有 10 个维度，那么没有通过任何优化的 Cube 就会存在 2 的十次方 =1000+ 个Cuboid。

Cube 的最大物理维度数量 (不包含衍生维度) 是 63，然而不举荐应用大于 30 个维度的 Cube，会引起维度劫难。

罕用的剪枝形式会用聚合组 (Aggregation group) 配置来实现，而在聚合组中，Mandatory（强制维度）又是用得比拟多的。

比如说，原本我有 A、B、C 三个维度，如果我不做任何优化，我的组合应该会有 7 个，别离是 （A）（B）（C）（AB）（ABC）（AC）（BC），如果我指定A 维度为强制维度，那最初的组合就只有 （A）（AB）（ABC）（AC）。强制索引指的就是： 指定的字段肯定会被查问条件中

除了强制维度（Mandatory），还有层级维度（Hierarchy）和联结维度（Joint）帮忙咱们 剪枝（即缩小 Cuboid 的生成），个别强制维度和联结维度用得比拟多。

咱们去查 kylin 数据的时候，是曾经被聚合过寄存在 HBase 的，所以查问起来是相当快的，然而构建 Cube 这个过程其实是挺慢的（十几分钟到半小时都是失常的）。

这就会带来提早（Cube须要工夫构建，同时也不可能秒级去申请构建一次 Cube）那这能忍耐吗？这意味着最新的数据得等Cube 任务调度到了且 Cube 构建实现能力查到数据

画外音：构建 Cube 个别都是定时工作的形式申请 kylin 的 api 进行构建的。

Kylin 没有内置的调度水平。您能够通过 REST API 从内部调度水平服务中触发 Cube 的定时构建，如 Linux 的命令 crontab、Apache Airflow 等。

但在新的 kylin 版本中曾经反对 realtime_olap 了，kylin存储了实时的数据再加上 HBase 的数据 merge 后返回就实现了realtime

最初

这篇文章对 kylin 做了个简略的入门，细节还是得看官网（有中文，比拟好读，文档也做得挺好的）。前面细节如果有必要我再来补充就好了（：

参考资料：

• https://blog.csdn.net/wangxiaojing123/category_8792666.html

三歪把【大厂面试知识点】、【简历模板】、【原创文章】全副整顿成电子书，共有 1263 页！点击下方 链接 间接取就好了

• GitHub
• Gitee 拜访更快

PDF 文档的内容 均为手打 ，有任何的不懂都能够间接 来问我