简介： 导语：利用导向出现数据价值，阿里云在数据湖上的翻新实际，撑持起数据疾速洞察和数据输入迭代。
导语：利用导向出现数据价值，阿里云在数据湖上的翻新实际，撑持起数据疾速洞察和数据输入迭代。
数据湖并非新概念，最近又被越来越多的人提及，成为新晋网红，并呈现出千人千面的景象。
在往年云栖大会上，当云原生数据湖体系在线上正式公布时，就吸引了企业的关注。如果不是 2020 非凡期间，在 10 月 23 日举办的线下“数据湖高峰论坛规模预计会扩充几倍。
在阿里云智能存储产品资深总监陈起鲲看来，线下数据湖高峰论坛提供了与用户更多的间接互动交换机会，他心愿“云原生 + 数据湖仓共生”给更多企业带来的技术演进和技术价值。
此时，阿里云公布的业内首个云原生企业级数据湖解决方案成为他们的新抉择，这套计划将大规模利用于往年双 11，撑持阿里巴巴经济体及百万客户全面上云。
数据价值的两极化
2020 年，数据量持续爆发式增长，数字化转型再次成为行业的热点，咱们能够切身感受到基于云计算、大数据、AI 的“新基建”带来的社会效应。
数据须要更深度的价值开掘，在陈起鲲看来，数据的价值出现两极化的特色，一是及时发现，实时剖析疾速促成业务倒退；二是长期寄存，数据累积起来，摸索数据后暗藏的法则，对立剖析其价值，为业务倒退提供参考。
新的数据价值给企业带来更多智能翻新利用，比方增长黑客、举荐零碎，用户行为剖析，AIoT 带来的更多模型，这也意味着 IT 基础设施的改革。
以往的计算和存储耦合的架构就会出现资源利用率非常低的情况，数据是一直累积、一直增长，但计算的算力要求可能是峰谷，为了存储更多的数据购买更多的计算，扩容的时候必须一起扩容，最终导致稳定性不是最优，两种资源无奈独立扩大，应用老本也不是最优。
当然，在传统架构中，原始数据对立寄存在 HDFS 零碎上，引擎以 Hadoop 和 Spark 为主，受到开源软件自身能力的限度，传统技术无奈满足企业用户在数据规模、存储老本、查问性能以及弹性计算架构降级等方面的需要。
从新定义下一代数据湖
数据湖尽管是存在很久的概念，但最近一直被提及的要害还在于利用需要，随着企业业务演进，须要更低廉的数据存储老本、更精密的数据资产治理、可共享的元数据、更实时的数据更新频率以及更弱小的数据接入工具，基于此，阿里云正式公布了云原生企业级数据湖解决方案。
- 数据湖对立存储用云上对象存储 OSS 取代 HDFS，晋升数据规模、升高存储老本、实现计算和存储拆散架构；
- 数据湖构建（DLF）服务提供对立元数据和对立的权限治理，反对多套引擎接入；
- EMR 上 Spark 等计算引擎的云原生化，能够更好的利用弹性计算资源；
- 云上的数据开发治理平台 Dataworks 解决了数据湖元数据治理、数据集成、数据开发等问题。
在陈起鲲看来，阿里云云原生的数据湖解决方案从新定义了下一代数据湖体系，更具备企业个性。
首先必须承载挪动互联网、IoT 业务的外围生产环境。 对于企业而言，新的互联网利用的生产环境，必须是企业级的生产环境。由挪动利用或社交媒体利用产生的 PB 级数据，搬到剖析引擎进行实时剖析是不可能的，必须在生产环境中进行大数据分析。
其次必须有承载 EB 级别的数据量的数据湖。 通过阿里云对象存储 OSS 作为大数据存储，大文件刹时 Rename、缓存减速等都不是问题。
同时要做到与业务强耦合的数据实时剖析，须要有弹性的算力，还要有弹性性能 SLA 的保障，阿里云对象存储 OSS 是数据湖的对立存储层，因为存算拆散的架构，能够抉择不一样的计算引擎，同时可存储任意规模的数据，非常适合企业基于 OSS 构建数据湖。
另外在这次论坛中，阿里云还公布了 OSS 加速器，不同与基于传统集群自建的缓存，OSS 加速器弹性伸缩，其可能每 TB 提供 200MBps 的吞吐能力，线性扩大，随时能够开启。同时，基于 OSS 智能元数据架构，OSS 加速器提供了传统缓存计划不具备的一致性，当 OSS 上文件被更新时，加速器能自动识别，确保引擎读取到的都是最新数据。
再者必须是平安的寄存、对立的治理，确保业务平安和数据安全。 阿里云全链路加密、云上多层爱护，自带进攻性能这些都能够保障云上数据的安全性，再加上寰球部署的集群、端到端的 CRC 和被动排查故障的硬件能力，互联网利用的生产环境确保业务平安。
管得住、用的上、用的好
数据在哪里，剖析就在哪里，如何存储和剖析数据，从数据当中提取出法则和价值，阿里巴巴团体副总裁、阿里云智能计算平台事业部负责人贾扬清认为，管得住、用得上，用的好，这是阿里云构建数据湖体系的外围，这些都来自于客户现场的实在需要。
管得住数据指的就是通过 OSS 构建数据湖，通过治理元数据可能让咱们晓得数据在什么中央，在将来面向海量数据的数据湖场景下，对象存储 OSS 非常适合企业构建海量、高效、平安的数据湖。
用得上数据须要通过多样化计算引擎，无论是传统的、开源的引擎还是阿里云通过本人的利用构建的横向计算引擎，可对接业务利用、各类计算剖析平台，让用户更容易的用上数据。
数据湖的对接次要体现在元数据与存储引擎两个方面，元数据为所有用户所共享，提供对立的元数据拜访接口，各个引擎应用定制化的元数据拜访客户端来拜访元数据，元数据服务为各个用户提供租户隔离保障和认证鉴权服务。
阿里云数据湖 OSS 和数据仓库 MaxCompute 能够疾速实现企业想要的湖仓一体计划，实现了数据湖和数仓之间的无缝流转，对立智能化治理和调度，买通了数据存储和计算的不同的层面，极大的晋升了平台化服务能力，真正实现用的好数据。
全面向云原生演进
阿里巴巴团体副总裁、阿里云智能数据库产品事业部负责人李飞飞认为，从传统的自建数据分析系统、传统大数据平台、传统数仓、传统剖析型数据库等维度，到极致弹性、低成本、服务化这三个关键词定义的云原生数据库时代。
具体来讲就是将 Serverless、存储计算拆散、资源池化、容器化部署等技术整合起来，提供云原生的数据服务，升高了客户的门槛和学习老本。
与传统大数据解决方案不同的是，通过 Serverless 技术提供一键建湖，治理、建湖、计算剖析一体化的服务，采纳 DLA 对接 OSS 提供凋谢存储服务和凋谢剖析计算服务，多种数据源通过一键建湖的形式对原数据进行主动发现和治理，对下利用 OSS 提供低成本、高效能、强平安的云原生存储能力，对上通过数据湖治理以及缓存减速，以及利用社区的能力、缓存减速的能力，集成 Spark 和 Crystal 两种引擎提供交互式查问和简单的 ETL 计算剖析。
用 Serverless 办法调用计算资源，企业在用 DLA 时真正做到对多元异构数据主动治理、主动发现、按需按量配置资源，尽可能降低成本。
眼下，IT 零碎曾经从老本核心变为翻新核心，云和湖共生是下一代数据湖 2.0 的架构，咱们都熟知的英语学习平台流畅说从 2016 年上线高效 AI 英语老师，流畅说自主研发的 APP 定制板块中以人工智能课的模式推出，基于 AI 深度学习的自适应课程零碎，给用户系统化推出英语学习解决方案，截至到 2020 年 6 月 30 日，曾经累计大略 504 亿句的录音句子数量，用户的练习语音时长曾经累积到了 37 亿分钟。
面临这么大的语音数据的挑战，流畅说在阿里云上基于 OSS 进行架构设计，确保数据存储的计划简略高效，基于阿里云的数据湖架构高效建设数据湖体系，撑持整个数据迭代。
某国内出名社交游戏公司基于阿里云数据湖计划，通过日志服务 SLS，将寰球数据实时采集加工后，投递到 OSS 对立存储。利用 OSS 海量弹性能力冷热分层，通过 EMR 和 DLA 对接 OSS，搭建存算拆散的大数据架构，实现千万日活的玩家链路智能举荐实时剖析，实时渠道统计，精细化经营，帮忙公司晋升了 30% 的用户留存率。
目前，已有几千家企业在阿里云上构建云数据湖，数据湖就应该是一直演进中、可扩大的大数据存储、解决、剖析的基础设施；以数据为导向，实现任意起源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式解决与全生命周期治理；并通过与各类内部异构数据源的交互集成，反对各类企业级利用。
着眼将来，如果是云原生的企业，能够享受到大数据分析的红利；对于更多企业而言，上云有不同阶段，须要云上数据湖和云下数据连通，通过混合云存储或者混合云产品把客户的线下数据和公共云的数据买通，对立在云端治理、对立分层，在云上对接不一样的计算引擎。在数据驱动的时代当中，阿里云将助力客户疾速迭代，协同翻新。