麦粉们大家好啊~~Smartbi 间断几期分享的 Smartbi 行业案例，失去了大家的激情反馈，在此 Smartbi 向大家说声：谢谢了！你们的反对，是 Smartbi 后退的最大能源，Smartbi 肯定再接再厉，为大家带来更多的案例、更多的干货…
那么，本期 Smartbi 为大家带来什么干货呢？别急，且听 Smartbi 用深入浅出、通俗易懂的语言，分 10 步率领大家意识 “大数据”和“云计算” 这两个当下最风行的概念，保障大家有所播种，当前碰到相干的概念不会两眼一抹黑…是不是心动了呢？那就让咱们开始吧！
第一步：大数据
“大数据”这个概念是近几年开始火起来的，当初堪称是无处不在了。在理解什么是大数据之前，咱们先理解一下什么是传统数据？
传统数据就是 IT 业务零碎外面的数据，如客户资料、财务数据等。这些数据是结构化的，量也不是特地大，个别只是 TB 级。比照传统数据，还有一种叫“新数据”，是来源于社区网络、互联网等渠道，包含文本、图片、音频、视频等非结构化的数据。目前全世界 75% 以上都是非结构化数据，而且还始终出现爆炸性的增长。咱们看看上面的图就更好了解了：
大数据就是：结构化的传统数据 + 非结构化的新数据。
因此，大数据还具备以下特点，简称“4V”：
l Volume（大量）：数据体量微小，从 TB 级别，跃升到 PB 级别；
l Variety（多样）：数据类型繁多，有网络日志、视频、图片、地理位置信息等；
l Velocity（高速）：处理速度快，可从各种类型的数据中疾速取得高价值的信息，这一点也是和传统的数据挖掘技术有着实质的不同；
l Value（价值）：只有正当利用数据并对其进行正确、精确的剖析，将会带来很高的价值回报。
第二步：大数据组成
大数据系统由基础设施、平台和利用组成。比照咱们平时应用的电脑，基础设施就是电脑这台硬件，平台就是装在外面的操作系统，利用就是操作系统下面的各种应用程序。
大数据的利用形形色色，但总体上可分为“业务利用”和“数据分析”两大类。
前者包含 ERP、CRM 等业务零碎，后者指的是各种剖析利用，包含经营剖析、价值剖析、人流剖析等等。剖析零碎从业务零碎获取源数据，通过剖析后能够反哺业务零碎，对其进行赋能（注智），让其具备智慧。说到这里，大家是不是感觉有点相熟了？跟咱们的 BI 是不是有某些分割呢？没错了，“大数据平台”和“数据分析系统”加在一起就是 BI 的升级版啊！既然是升级版，它与传统 BI 有什么区别呢？请看上面就晓得啦。
l 老本更低廉
去 IOE，硬件采纳便宜的 X86，软件更多应用开源，节省成本
l 容灾性好
平台部署在 X86 集群上，机器出问题可随时切换
l 扩展性好
X86 集群可依据须要随时进行扩大，进步灵活性
l 解决效率高
当数据达到 TB 级别，解决效率显著进步
l 解决类型多
能够解决结构化、半结构化、非结构化数据
l 进一步开掘价值
解决的数据量大，类型多，因此可进一步开掘数据的价值。
是不是有很多降级的中央呢？为了反对这些降级，大数据系统须要具备哪些性能呢？这就波及到架构问题了，跟着 Smartbi 持续往下看吧。
第三步：大数据架构
咱们曾经晓得大数据系统由基础设施、平台和利用组成，咱们当初进一步细分，请看下图：
基础设施由通过局域网或互联网连贯的 X86 集群组成，为大数据平台提供最根本的硬件反对。
大数据平台由基础架构、数据处理和数据服务三局部组成：
基础架构负责对基础设施进行系统管理，为数据处理提供分布式底层服务；数据处理负责数据的采集、存储、计算；数据服务负责将解决后的数据提供给下层利用应用。大数据利用是面向用户的各种利用零碎，包含业务利用和数据分析。大数据系统的总体架构就是这样子，是不是跟咱们平时见到的 BI 架构很像呢？通过这个表格比照咱们就更分明了：
上面咱们将围绕这个架构开展阐明。了解了这个架构，Smartbi 的目标也就达到啦。
第四步：虚拟化
基础设施提供计算、存储、网络三种能力，是大数据平台的根基。然而如何解决以下问题：
l 大量的机器如何治理
当集群的状态扭转，也即减少或者缩小一些机器的时候，难道要去批改平台的配置吗？
l 如何充分利用系统资源
当集群的能力只应用了一部分，而这个时候须要一部新的机器用来部署其它零碎，难道是从集群上拆下一部机器来提供吗？
l 如何解决弹性问题
当高峰期的时候，零碎可能须要 20 部机器，平时只须要 10 部。那么咱们是提供多少部适合呢？如果提供 20 部，平时闲暇下来的 10 部如何解决？
这些问题有一种解决办法：虚拟化。就是把集群作为一个整体进行治理，能够依据须要从某些机器中调配相干资源，疾速组成一部“新的机器”。例如能够用机器 A 的 CPU1/ 2 性能、1/ 3 的内存，和机器 B 的 1 / 5 硬盘组成。
当集群的状态扭转时，咱们只须要批改虚拟化软件的配置，缩小对平台的影响。当集群有多余的资源时，能够虚构出一些新的机器给其它零碎应用，充分利用了系统资源。
虚拟化的支流商业软件是 Vmware，开源的软件有 Xen、KVM 等。
第五步：云化
虚拟化尽管带来资源配置的灵活性，但也有显著的缺点。配置一部“新的机器”须要人工操作，配置十分麻烦，最多只能治理几百台电脑的规模，作为企业外部的利用是能够的。但对于提供公众服务的互联网公司来说，须要上万部电脑的规模，通过虚拟化的形式是行不通的。所以又有了新技术的呈现：云化，也即把基础设施作为一项服务提供。请看下图：
最早是亚马逊基于本身电商业务的倒退，传统的 IT 架构曾经满足不了需要，所以基于开源的虚拟化软件开发了 AWS（Amazon Web Service），能够反对超大规模的集群利用。在解决本人的业务需要后，亚马逊发现能够把这项技术作为一项独自的业务推向市场，这就是当初稳居寰球市场头把交椅的的亚马逊云服务。同样的背景，阿里巴巴也基于 Xen 推出了市场化的阿里云，现成曾经成为国内云市场的老大。由此咱们也晓得为什么云服务做得最早、最好的都是互联网公司了吧？因为他们有本身的业务在驱动。规模上万部的机器，以资源池（数据中心）的模式散布在不同的地区上（很多建设在广西、贵州、内蒙等欠发达省份，电费、人工比拟便宜，又能够促成当地待业），通过调度核心进行对立治理，这就是私有云平台。
在亚马逊发展商业化云服务的同时，美国另一家叫 Rackspace 的公司也推出 OpenStack 在跟亚马逊竞争。无奈竞争不过人家，最初决定和 NASA（美国国家航空航天局）单干，把 OpenStack 开源，一起成立了开源云平台。起初各家传统的 IT 巨头纷纷退出这个开源的社区，通过二次开发和包装后推出了本人的公有云平台，和自家的硬件或解决方案打包一起销售。
不论是私有云，还是公有云，都是实现了基础设施的工夫灵活性和空间灵活性，把基础设施作为一项服务提供，也即：Infranstracture as a Service（IaaS）
第六步：Hadoop
大数据平台的基础架构采纳 Hadoop，包含 HDFS 和 MapReduce 两局部：
l HDFS 在集群上实现分布式文件系统，负责对文件的操作。（相似 windows 下的文件管理系统 NTFS）
l MapReduce 在集群上实现分布式计算和工作解决，负责将作业分解成多个工作，分派到多部机器一起执行，同时监控执行状况，保障每个工作都能顺利执行，所有工作完结后再将后果汇总。（相似多集体一起数图书馆的书，每个人算一个书架（Map），最初把所有后果加在一起（Reduce））
那么，如何把 Hadoop 装置到集群上面那么多机器上呢？每部机器的配置、操作系统都可能不一样。
解决办法就是采纳“容器“技术：先将 Hadoop 打包到一个关闭的容器中，再对立公布到各部机器上。容器可能依据机器理论环境做出相应的调整，保障 Hadoop 的顺利装置。（相似用对立规格的集装箱来运送货物）
容器的支流技术是开源的 Docker。不仅仅是 Hadoop 能够通过容器进行装置，所有的利用都能够应用。
当初曾经在集群下每部机器装置了 Hadoop，那么 Hadoop 是如何运行的呢？请看下图：
Hadoop 把集群下其中一个节点拿来当 Master，其它节点当 Slave。对于 HDFS 来说，Master 就是 NameNode，负责管理文件系统的命名空间和管制客户端拜访；Slave 就是 DataNode，负责管理存储的数据。对于 MapReduce 来说，Master 就是 JobTracker，负责调度形成一个作业的所有工作，这些工作散布在不同的 TaskTracker 上；Slave 就是 TaskTracker，负责执行由 JobTracker 指派的工作。
Hadoop 曾经衍生出很多不同的降级版本，目前利用最成熟、最宽泛的是 Spark。
第七步：数据处理
数据处理是对数据的采集、存储和计算。因为大数据有各种各样的利用，不同的利用，数据的品种、构造，数据的实时性要求都可能不同。所以要依据理论状况进行数据库选型，这是大数据平台设计的要害，将影响到整个平台的整体性能。不同的数据库类型能够进行混搭，同时采纳不同的 ETL 技术。
目前常见的各种数据库类型如下：
l 传统数据库
支流数据库有 Oracle、DB2、MySQL，次要利用于小规模利用零碎，或者为了利用已有的资源，同时升高系统升级的危险，采纳的 ETL 技术是 Datastage、Kettle 等。
l 内存数据库
支流数据库有 SQLite、HANA，次要利用于对实时性要求高，须要实时处理的数据，如实时指标展现，精准营销等，采纳的 ETL 技术是流解决技术 kafka。
l MPP 数据库
MPP 是指大规模并行处理，MPP 数据库反对 X86 集群，常见的有 Greanplum、Vertica 等，次要利用于大规模结构化数据分析，如信令剖析、DPI 剖析，个别采纳 Kettle 作为 ETL 工具。
l NoSQL 数据库
NoSQL 是指半结构化或非结构化数据库，支流的数据库有 MongoDB、HBase 和 HDFS 等，HBase 用来存储半结构化或构造很稠密的数据，HDFS 用来存储非结构化数据。HBase 和 HDFS 都不反对 SQL，须要应用 Hive 作为 SQL 接口执行一些简略的查问操作。NoSQL 数据库基于 Hadoop 平台，次要利用于大规模半 / 非结构化离线剖析，例如互联网数据分析、文档剖析等，个别采纳网络爬虫技术进行 ETL。
第八步：数据服务
通过解决后的数据，个别不提供给下层利用间接用 SQL 拜访，这一点与数据仓库不同。数据仓库把采集过去的数据通过解决后存储在汇总层，下层利用间接用 SQL 拜访。但大数据平台把解决后的数据进行封装和分类，为下层利用提供可灵便调用的数据服务接口，能够保证数据拜访的规范性和安全性。接口的承载形式有：文件、音讯、API、SDK、界面集成，其流程如下：
l 数据格式化
对原始数据进行格式化，过滤字段并进行排序。
l 数据封装
对格式化后的数据及其元数据进行封装，以实现对外统一、标准化的数据拜访接口。
l 数据分类
依据封装后的数据，按主题进行接口分类。
l 数据服务
下层利用可通过数据服务接口调用数据，实现数据的服务性能。
数据服务接口屏蔽掉大数据平台的所有细节，把平台作为一项服务提供给利用应用，这种形式称之为 Platform as a service（PaaS）。
在私有云提供商中，个别都会有对应的 PaaS 服务提供，如阿里云的 EDAS（企业级分布式应用服务）。
公有云是企业自建，对数据拜访的管制没那么严格。为了开发效率，利用通常能够通过 SQL 间接拜访数据。
第九步：大数据利用
后面 Smartbi 曾经为大家介绍了基础设施和大数据平台，也介绍了公有云和私有云的区别。对于大数据利用来说，公有云上的利用，就是咱们平时说的企业信息化零碎，只不过这些零碎是采纳大数据的架构。而私有云上的利用，指的是咱们平时应用的互联网服务，如微信、微博、支付宝等。然而，随着云服务市场的倒退，越来越多的传统 IT 厂商也通过私有云为公众提供服务，比方咱们相熟的 MicrosoftOffice 365。这种把软件作为服务提供的形式称之为：Software as a Service(SaaS)。
在国内市场，比拟常见的企业级 SaaS 服务有客户治理服务 Saleforce、团队协同服务 Google Apps 等等。国内市场的金蝶、微软、Oracle 也都提供多种 SaaS 产品和服务。咱们能够看一下 IDC 对 2017-2022 年中国私有云整体市场的预测（单位：百万美元）：
从上表能够看出，整个云服务市场的年复合增长率达到了 41%，其中 PaaS 服务增长最快，达到了 55.7%。中国企业级 SaaS 市场份额寰球第二，将来五年仍旧出现快速增长态势，年复合增长率达到 35.7%。到了 2022 年，整个 SaaS 市场规模达到 400 亿人民币。
第十步：云计算
大家有没有发现，后面说了那么久，还没提到云计算呢？其实后面都是铺垫，当初就要给大家介绍云计算了。云计算就是一种 IT 架构，是一种 IT 资源的交付和应用模式。后面介绍的 IaaS、PaaS、SaaS 就是云计算架构下对不同资源的交付模式，别离将基础设施、平台、软件以服务的模式提供给用户应用。
到目前为止，Smartbi 曾经把相干的概念都介绍给大家了。咱们把后面的大数据架构图进一步细化，大家是否看得懂了呢？
如果大家看懂了，那 Smartbi 本次的介绍也算功德圆满了。如果还没看懂，请跳到第一步再看一遍，哈哈。。。。