麦粉们大家好啊~~Smartbi间断几期分享的Smartbi行业案例，失去了大家的激情反馈，在此Smartbi向大家说声：谢谢了！你们的反对，是Smartbi后退的最大能源，Smartbi肯定再接再厉，为大家带来更多的案例、更多的干货…
那么，本期Smartbi为大家带来什么干货呢？别急，且听Smartbi用深入浅出、通俗易懂的语言，分10步率领大家意识“大数据”和“云计算”这两个当下最风行的概念，保障大家有所播种，当前碰到相干的概念不会两眼一抹黑…是不是心动了呢？那就让咱们开始吧！
第一步：大数据
“大数据”这个概念是近几年开始火起来的，当初堪称是无处不在了。在理解什么是大数据之前，咱们先理解一下什么是传统数据？
传统数据就是IT业务零碎外面的数据，如客户资料、财务数据等。这些数据是结构化的，量也不是特地大，个别只是TB级。比照传统数据，还有一种叫“新数据”，是来源于社区网络、互联网等渠道，包含文本、图片、音频、视频等非结构化的数据。目前全世界75%以上都是非结构化数据，而且还始终出现爆炸性的增长。咱们看看上面的图就更好了解了：
大数据就是：结构化的传统数据+非结构化的新数据。
因此，大数据还具备以下特点，简称“4V”：
l Volume（大量）：数据体量微小，从TB级别，跃升到PB级别；
l Variety（多样）：数据类型繁多，有网络日志、视频、图片、地理位置信息等；
l Velocity（高速）：处理速度快，可从各种类型的数据中疾速取得高价值的信息，这一点也是和传统的数据挖掘技术有着实质的不同；
l Value（价值）：只有正当利用数据并对其进行正确、精确的剖析，将会带来很高的价值回报。
第二步：大数据组成
大数据系统由基础设施、平台和利用组成。比照咱们平时应用的电脑，基础设施就是电脑这台硬件，平台就是装在外面的操作系统，利用就是操作系统下面的各种应用程序。
大数据的利用形形色色，但总体上可分为“业务利用”和“数据分析”两大类。
前者包含ERP、CRM等业务零碎，后者指的是各种剖析利用，包含经营剖析、价值剖析、人流剖析等等。剖析零碎从业务零碎获取源数据，通过剖析后能够反哺业务零碎，对其进行赋能（注智），让其具备智慧。说到这里，大家是不是感觉有点相熟了？跟咱们的BI是不是有某些分割呢？没错了，“大数据平台”和“数据分析系统”加在一起就是BI的升级版啊！既然是升级版，它与传统BI有什么区别呢？请看上面就晓得啦。
l 老本更低廉
去IOE，硬件采纳便宜的X86，软件更多应用开源，节省成本
l 容灾性好
平台部署在X86集群上，机器出问题可随时切换
l 扩展性好
X86集群可依据须要随时进行扩大，进步灵活性
l 解决效率高
当数据达到TB级别，解决效率显著进步
l 解决类型多
能够解决结构化、半结构化、非结构化数据
l 进一步开掘价值
解决的数据量大，类型多，因此可进一步开掘数据的价值。
是不是有很多降级的中央呢？为了反对这些降级，大数据系统须要具备哪些性能呢？这就波及到架构问题了，跟着Smartbi持续往下看吧。
第三步：大数据架构
咱们曾经晓得大数据系统由基础设施、平台和利用组成，咱们当初进一步细分，请看下图：
基础设施由通过局域网或互联网连贯的X86集群组成，为大数据平台提供最根本的硬件反对。
大数据平台由基础架构、数据处理和数据服务三局部组成：
基础架构负责对基础设施进行系统管理，为数据处理提供分布式底层服务；数据处理负责数据的采集、存储、计算；数据服务负责将解决后的数据提供给下层利用应用。大数据利用是面向用户的各种利用零碎，包含业务利用和数据分析。大数据系统的总体架构就是这样子，是不是跟咱们平时见到的BI架构很像呢？ 通过这个表格比照咱们就更分明了：
上面咱们将围绕这个架构开展阐明。了解了这个架构，Smartbi的目标也就达到啦。
第四步：虚拟化
基础设施提供计算、存储、网络三种能力，是大数据平台的根基。然而如何解决以下问题：
l 大量的机器如何治理
当集群的状态扭转，也即减少或者缩小一些机器的时候，难道要去批改平台的配置吗？
l 如何充分利用系统资源
当集群的能力只应用了一部分，而这个时候须要一部新的机器用来部署其它零碎，难道是从集群上拆下一部机器来提供吗？
l 如何解决弹性问题
当高峰期的时候，零碎可能须要20部机器，平时只须要10部。那么咱们是提供多少部适合呢？如果提供20部，平时闲暇下来的10部如何解决？
这些问题有一种解决办法：虚拟化。就是把集群作为一个整体进行治理，能够依据须要从某些机器中调配相干资源，疾速组成一部“新的机器”。例如能够用机器A的CPU1/2性能、1/3的内存，和机器B的1/5硬盘组成。
当集群的状态扭转时，咱们只须要批改虚拟化软件的配置，缩小对平台的影响。当集群有多余的资源时，能够虚构出一些新的机器给其它零碎应用，充分利用了系统资源。
虚拟化的支流商业软件是Vmware，开源的软件有Xen、KVM等。
第五步：云化
虚拟化尽管带来资源配置的灵活性，但也有显著的缺点。配置一部“新的机器”须要人工操作，配置十分麻烦，最多只能治理几百台电脑的规模，作为企业外部的利用是能够的。但对于提供公众服务的互联网公司来说，须要上万部电脑的规模，通过虚拟化的形式是行不通的。所以又有了新技术的呈现：云化，也即把基础设施作为一项服务提供。请看下图：
最早是亚马逊基于本身电商业务的倒退，传统的IT架构曾经满足不了需要，所以基于开源的虚拟化软件开发了AWS（Amazon Web Service），能够反对超大规模的集群利用。在解决本人的业务需要后，亚马逊发现能够把这项技术作为一项独自的业务推向市场，这就是当初稳居寰球市场头把交椅的的亚马逊云服务。同样的背景，阿里巴巴也基于Xen推出了市场化的阿里云，现成曾经成为国内云市场的老大。由此咱们也晓得为什么云服务做得最早、最好的都是互联网公司了吧？因为他们有本身的业务在驱动。规模上万部的机器，以资源池（数据中心）的模式散布在不同的地区上（很多建设在广西、贵州、内蒙等欠发达省份，电费、人工比拟便宜，又能够促成当地待业），通过调度核心进行对立治理，这就是私有云平台。
在亚马逊发展商业化云服务的同时，美国另一家叫Rackspace的公司也推出OpenStack在跟亚马逊竞争。无奈竞争不过人家，最初决定和NASA（美国国家航空航天局）单干，把OpenStack开源，一起成立了开源云平台。起初各家传统的IT巨头纷纷退出这个开源的社区，通过二次开发和包装后推出了本人的公有云平台，和自家的硬件或解决方案打包一起销售。
不论是私有云，还是公有云，都是实现了基础设施的工夫灵活性和空间灵活性，把基础设施作为一项服务提供，也即：Infranstracture as a Service（IaaS）
第六步：Hadoop
大数据平台的基础架构采纳Hadoop，包含HDFS和MapReduce两局部：
l HDFS在集群上实现分布式文件系统，负责对文件的操作。（相似windows下的文件管理系统NTFS）
l MapReduce在集群上实现分布式计算和工作解决，负责将作业分解成多个工作，分派到多部机器一起执行，同时监控执行状况，保障每个工作都能顺利执行，所有工作完结后再将后果汇总。（相似多集体一起数图书馆的书，每个人算一个书架（Map），最初把所有后果加在一起（Reduce））
那么，如何把Hadoop装置到集群上面那么多机器上呢？每部机器的配置、操作系统都可能不一样。
解决办法就是采纳“容器“技术：先将Hadoop打包到一个关闭的容器中，再对立公布到各部机器上。容器可能依据机器理论环境做出相应的调整，保障Hadoop的顺利装置。（相似用对立规格的集装箱来运送货物）
容器的支流技术是开源的Docker。不仅仅是Hadoop能够通过容器进行装置，所有的利用都能够应用。
当初曾经在集群下每部机器装置了Hadoop，那么Hadoop是如何运行的呢？请看下图：
Hadoop把集群下其中一个节点拿来当Master，其它节点当Slave。对于HDFS来说，Master就是NameNode，负责管理文件系统的命名空间和管制客户端拜访；Slave就是DataNode，负责管理存储的数据。对于MapReduce来说，Master就是JobTracker，负责调度形成一个作业的所有工作，这些工作散布在不同的TaskTracker上；Slave就是TaskTracker，负责执行由JobTracker指派的工作。
Hadoop曾经衍生出很多不同的降级版本，目前利用最成熟、最宽泛的是Spark。
第七步：数据处理
数据处理是对数据的采集、存储和计算。因为大数据有各种各样的利用，不同的利用，数据的品种、构造，数据的实时性要求都可能不同。所以要依据理论状况进行数据库选型，这是大数据平台设计的要害，将影响到整个平台的整体性能。不同的数据库类型能够进行混搭，同时采纳不同的ETL技术。
目前常见的各种数据库类型如下：
l 传统数据库
支流数据库有Oracle、DB2、MySQL，次要利用于小规模利用零碎，或者为了利用已有的资源，同时升高系统升级的危险，采纳的ETL技术是Datastage、Kettle等。
l 内存数据库
支流数据库有SQLite、HANA，次要利用于对实时性要求高，须要实时处理的数据，如实时指标展现，精准营销等，采纳的ETL技术是流解决技术kafka。
l MPP数据库
MPP是指大规模并行处理，MPP数据库反对X86集群，常见的有Greanplum、Vertica等，次要利用于大规模结构化数据分析，如信令剖析、DPI剖析，个别采纳Kettle作为ETL工具。
l NoSQL数据库
NoSQL是指半结构化或非结构化数据库，支流的数据库有MongoDB、HBase和HDFS等，HBase用来存储半结构化或构造很稠密的数据，HDFS用来存储非结构化数据。HBase和HDFS都不反对SQL，须要应用Hive作为SQL接口执行一些简略的查问操作。NoSQL数据库基于Hadoop平台，次要利用于大规模半/非结构化离线剖析，例如互联网数据分析、文档剖析等，个别采纳网络爬虫技术进行ETL。
第八步：数据服务
通过解决后的数据，个别不提供给下层利用间接用SQL拜访，这一点与数据仓库不同。数据仓库把采集过去的数据通过解决后存储在汇总层，下层利用间接用SQL拜访。但大数据平台把解决后的数据进行封装和分类，为下层利用提供可灵便调用的数据服务接口，能够保证数据拜访的规范性和安全性。接口的承载形式有：文件、音讯、API、SDK、界面集成，其流程如下：
l 数据格式化
对原始数据进行格式化，过滤字段并进行排序。
l 数据封装
对格式化后的数据及其元数据进行封装，以实现对外统一、标准化的数据拜访接口。
l 数据分类
依据封装后的数据，按主题进行接口分类。
l 数据服务
下层利用可通过数据服务接口调用数据，实现数据的服务性能。
数据服务接口屏蔽掉大数据平台的所有细节，把平台作为一项服务提供给利用应用，这种形式称之为Platform as a service（PaaS）。
在私有云提供商中，个别都会有对应的PaaS服务提供，如阿里云的EDAS（企业级分布式应用服务）。
公有云是企业自建，对数据拜访的管制没那么严格。为了开发效率，利用通常能够通过SQL间接拜访数据。
第九步：大数据利用
后面Smartbi曾经为大家介绍了基础设施和大数据平台，也介绍了公有云和私有云的区别。对于大数据利用来说，公有云上的利用，就是咱们平时说的企业信息化零碎，只不过这些零碎是采纳大数据的架构。而私有云上的利用，指的是咱们平时应用的互联网服务，如微信、微博、支付宝等。然而，随着云服务市场的倒退，越来越多的传统IT厂商也通过私有云为公众提供服务，比方咱们相熟的 MicrosoftOffice 365。这种把软件作为服务提供的形式称之为：Software as a Service(SaaS)。
在国内市场，比拟常见的企业级SaaS服务有客户治理服务Saleforce、团队协同服务Google Apps等等。国内市场的金蝶、微软、Oracle也都提供多种SaaS产品和服务。咱们能够看一下IDC对2017-2022年中国私有云整体市场的预测（单位：百万美元）：
从上表能够看出，整个云服务市场的年复合增长率达到了41%，其中PaaS服务增长最快，达到了55.7%。中国企业级SaaS市场份额寰球第二，将来五年仍旧出现快速增长态势，年复合增长率达到35.7%。到了2022年，整个SaaS市场规模达到400亿人民币。
第十步：云计算
大家有没有发现，后面说了那么久，还没提到云计算呢？其实后面都是铺垫，当初就要给大家介绍云计算了。云计算就是一种IT架构，是一种IT资源的交付和应用模式。后面介绍的IaaS、PaaS、SaaS就是云计算架构下对不同资源的交付模式，别离将基础设施、平台、软件以服务的模式提供给用户应用。
到目前为止，Smartbi曾经把相干的概念都介绍给大家了。咱们把后面的大数据架构图进一步细化，大家是否看得懂了呢？
如果大家看懂了，那Smartbi本次的介绍也算功德圆满了。如果还没看懂，请跳到第一步再看一遍，哈哈。。。。