共计 2894 个字符，预计需要花费 8 分钟才能阅读完成。
时至今日，数据曾经被越来越多的企业视为倒退的策略资源，而云数仓则是数据施展重要价值的要害媒介。云数仓的呈现，不仅扭转了传统数据仓库的服务模式，更给用户带来了应答海量、新型数据的存储和解决能力，为满足业务现代化需要提供了根底。
然而，随着经营节奏的放慢，企业对实时剖析和疾速论断的需要越来越强烈，传统数仓的离线同步曾经逐步无奈满足业务要求。
站在这样一个行业需要的路口，面对这个难题，酷克数据给出了本人的解法：在劣势 OLAP 产品的根底上，研发推出了簇新的 UnionStore 模块，在放弃顶层同一套引擎、底层同一套存储与数据的一致性设计的状况下，实现了近事务级的计算与查问实时性，为用户利用云数仓关上了新的思路和场景。
图 1：HashData UnionStore 模块架构图
酷克数据是一家专一于云端数据仓库的科技公司，公司旗舰产品 HashData 秉承云原生的理念与设计框架，帮忙诸多企业突破了数据烟囱，整合了数据孤岛；打造的企业级云数仓，撑持着各种各样的数据分析负载。
要想理解 HashData 是如何实现云数仓的实时个性，咱们须要回到云数仓的演进历史。其实，正所谓“历史始终在螺旋式回升”，任何新变动都不是欲速不达，云数仓成为明天企业数字化转型的核心技术，其中的变动也是逐渐演变而来，并非欲速不达的过程。
云数仓演进历史
过来十年是信息化高速倒退的十年，也是大数据疾速成长的十年。信息数据呈爆发式增长，不仅让传统企业减速向数字经济聚拢，更带来了底层数据架构变动的新范式。越来越多的企业心愿把数据存好、用好，通过数据背地的逻辑剖析去开掘商业价值，摸索数据之间的关联关系，找出大数据外面有价值的信息，辅助商业决策。数据仓库在此种背景下逐步被企业器重。
同传统数据仓库相比，云数仓依靠云计算的特点，在搭建、应用、扩容及运维等方面有着显著的劣势，已成为目前最为支流的技术产品。它能够把大规模并行计算与云的劣势联合在一起，更好地实现数仓的剖析能力。
比方：在高性能方面，云数仓能够反对向量计算异步的执行框架，包含通过并行计算来最大化地利用 CPU 资源去晋升查问的性能。在数据一致性方面，能够反对 ACID 个性，包含在数据新鲜度上，能够反对数据的实时增、删、改、查。而从可扩展性来看，云数仓这种存算拆散的架构，能够按需扩大，按使用量去计费，极大地升高了用户的应用老本。当计算不够的时候能够去扩计算，存储不够的时候能够扩存储，实现充沛灵便。
架构改革
一般来说，因为数仓产品广泛采纳列存，产品通常在离线解决和实时处理之中更偏差离线，而实时性会成为绝对的短板。
在离线解决的场景中，用户数据载入后，通过 ETL 进行数据的抽取和荡涤，而后存储到数据仓库，执行离线剖析、批处理、报表生成等作业。数据工程师们经常在上班前将前一天或者当天的查问打算输出到数仓，零碎在夜间来执行作业，第二天下班起初查问报表后果，时效是 T + 1 天以上。
然而，随着企业数据品种越来多，数据量越来越大，数据处理过程越来越简单，繁多的传统数仓越来越难以满足业务需要。企业心愿应用一套架构去承载数据，晋升整体性能，同时还要满足实时需要，这些都在促使 OLAP 和 OLTP 产生进一步的交融。
现在，各行各业都在一直谋求更好的用户体验，这一谋求带动了实时数据分析能力的需要越来越强烈。
例如，消费品公司心愿通过电商平台和社交网络上来理解用户的搜寻行为和关注热点，这无疑须要获取实时数据。这一变动将传统的 Lambda 架构推到风口浪尖。Lambda 架构的劣势是高容错、低延时和可扩大等特色。然而，它的弊病则在于须要将所有的算法实现两次。其中，一套零碎用来做批处理，进行存量数据计算；另一套零碎用来满足实时性业务需要。两套零碎的并行运作为开发和运维工作带来了大量的老本与累赘。
为了实现架构简化，业界推出了 Kappa 架构作为一个新的演进方向。这种只采纳流式解决引擎的形式，使得开发人员只需保护实时处理模块，极大地升高了开发的复杂性。
提到实时处理，很难不提 Flink。通过音讯队列的模式，Flink 能够保留历史数据，并反对用户源源不断地去生产这些数据，对数据进行实时处理，将后果反馈输入。对于云数仓而言，与 Flink 计划的联合，在计算和存储引擎端带来了不同的架构变动。在计算引擎上，产品须要反对实时性，疾速捕获数据。而在存储引擎上，通过分布式存储，实现高可靠性与高扩展性的需要，同时实现较低的存储老本。
图 2：基于“存算拆散”架构的 HashData 云数仓在金融行业落地计划示意图
展望未来，存算拆散和 Serverless 架构将会成为支流。思考到可扩展性老本，企业更违心基于欠缺的存储设施平台去构建技术底座，晋升查问性能。作为业内当先的云数仓产品，HashData 采纳的是元数据、计算和存储齐全拆散的架构设计，通过对象存储来共享一份全域数据的形式，充分发挥云架构劣势，实现集群的秒级主动扩缩容，在满足实时性的同时，提供了更高的架构与老本灵便度。
利用趋势
从利用趋势来看，金融、电信、能源、政务等行业畛域，会是云数仓的重要利用场景。在数字化转型浪潮推动下，会有越来越多的企业想成为数据驱动型企业，动员基于数据的业务翻新。
对于金融行业而言，业务属性对云数仓的实时性提出了更高要求，包含处理速度、I/ O 性能等。例如，在金融风控和反欺诈场景中，数据系统须要在短时间内进行响应，做出决策，能力最大水平防止经济损失。
同时，可扩展性、易用性、性价比也是金融场景的重要需要点。只有突破部门之间的壁垒，实现架构上的冲破，能力经受得住简单场景下的打磨和验证。
面对用户“既要、又要、还要”的问题，HashData 在内核层面进行了翻新冲破，让实时数据处理成为可能。以 HashData UnionStore 为例，这是一种基于日志的数据库架构思维，当存算解耦后，让应用不同引擎离开解决数据成为可能，Log is database 理念能够全面晋升数仓的 TP 性能，在磁盘随机拜访、异步提交、并发管制、批处理、重放等方面进行了全面优化，从而实现了实时性晋升。
图 3：HashData UnionStore 利用场景
现在，曾经有很多的当先金融企业抉择用 HashData 实现了传统数据仓库的代替，解决传统架构扩容难题。金融畛域数据量个别比拟大，集群很多，传统 MPP 的部署形式导致每个部门都有本人的专属集群及相干数据，扩容过程繁琐，工夫周期长，运维老本居高不下。在进行数据流动、数据共享，数据互通的操作时，个别通过数据同步或者复制的形式来创立数据正本，创立新的集群，这样的形式带来了微小的老本压力。
HashData 不仅解决了用户的可扩大问题，还能实现按需免费。举例来说，如果用户的 CPU 需要密集，能够创立一个 CPU 比拟多的集群，依据集群申请灵便扩大资源。不同集群对应同一份数据，能够满足各类读写需要。
明天咱们看到，存算拆散曾经成为云数仓的支流技术趋势。HashData 正通过一份数据全域共享的形式，满足外围业务的实时性需要，为企业业务决策提速带来了弱小助力。置信随着企业对实时剖析需要的一直加强，HashData 会和更多用户携手同行，奔向数智化的新将来！
