摘要：一个对立的现代化的数据基建须要三类架构来实际三种不同的利用场景。
近期，美国出名科技企业风投机构A16Z总结出一套通用的技术架构服务，分为以下三种场景。
一、数据基建架构全景
数据流向显示，左侧的数据源经数据处理（批量、实时流、事件流等）将数据对立汇聚到数据湖或数仓中，通过数据迷信或机器学习进行AI剖析，通过AD Hoc和实时剖析为客户或APP提供麻利的后果数据。华为云FusionInsight为政企客户提供一站式全场景的云原生数据湖，围绕政企客户在采存算管用等数据全生命周期提供当先的整体解决方案，计划次要蕴含MRS大数据、DWS数据仓库、一站式数据治理核心等云服务，助力政企客户开释海量数据价值！其架构如下：
上千个大型客户曾经基于FusionInsight架构构建其大数据利用平台。
A16Z通过考察相干业内人士得出一个论断：一个对立的现代化的数据基建须要三类架构来实际三种不同的利用场景。
- 现代化 BI 架构
- 多模式数据处理架构
- 人工智能和机器学习架构
1.现代化 BI 架构
这是对小型数据团队和估算无限的企业的默认选项，企业逐步从传统数仓迁徙到这个架构，利用云的灵便度和可扩展性。
利用场景蕴含：报表，仪表盘，自助式剖析，次要应用SQL来剖析结构化数据。
- 劣势：后期投入低，启动快，市场上人才储备充沛。
- 缺点：对于数据场景简单的团队不实用，比方须要数据迷信，机器学习，或者实时场景。
传统的小型数据团队其面对的数据根本以外围交易系统的RDBMS结构化数据为主，数据量在GB级，一般的数仓都可反对其数据的剖析开掘，无需大数据撑持就可实现，这种解决形式在2008年时的大型企业中也较为常见，其数据量较小基本上应用数仓就可实现日常的数据大屏、数据分析等工作。这是对小型数据团队和估算无限的企业的默认选项，利用云的灵便度和可扩展性，企业逐步从传统数仓迁徙到这个架构。
华为云FusionInsight可提供企业级数仓，DWS目前服务于寰球1000+大型客户，广泛应用于政府、金融、运营商、大企业等畛域。产品始于2011年，经验将近10年技术积攒，已获得180+国内外受权专利。DWS可撑持日常的结构化数据分析，其具备如下特点：
- 大规模：GaussDB(DWS)基于分布式架构，在保障ACID的根底下，冲破大规模分布式场景下集群通信（Multi-Streams）、逻辑集群（Multi-Groups）技术，具备2048节点扩大能力。值得一提的是，逻辑集群可将ODS、数据仓库、数据集市、自助剖析等不同业务负载，有机的对立起来，无效隔离、无效共享。
- 高性能：GaussDB(DWS)具备多层级全并行计算引擎。反对多个物理节点并行计算，在一个物理节点外部，反对多个CPU外围并行计算，在一个CPU外围的指令序列中，反对SIMD指令，实现一个指令同时操作多条数据。将并行能力施展到极致，为业务提供极致的性能。另外，Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片晋升30%以上。
- 高牢靠：GaussDB(DWS)具备多层级容灾能力，在AZ、集群、节点及过程呈现软硬件异样的状况下可能平滑解决。另外，Server端Multi-Retries技术大幅缩小故障失败的业务感知；其次，在辣手的亚健康问题上，GaussDB(DWS)也有欠缺的检测和解决机制；最初，离线扩容、半在线扩容、在线扩容技术可能从容应对客户不同的扩容需要。
华为云DWS数据仓库技术外围是分布式架构，过来十年始终围绕分布式构筑竞争力。将来，GaussDB(DWS) 数据仓库将基于分布式架构继续演进，围绕云、大数据、5G/IoT、人工智能，构筑下一代凋谢的、全场景剖析型数据库。
2.多模式数据处理架构
这个架构通常用于大型企业和科技公司，用来满足简单的数据需要场景。
利用场景包含：BI及高级性能，包含AI/ML，低延时剖析，大规模数据转换，多类型的数据处理（文字，图像和视频）应用各种语言（JAVA/SCALA，Python和SQL）
- 劣势：能灵便的反对各种利用，工具和UDF和部署环境。在大规模数据集上的老本劣势。
- 缺点：不适宜小型数据团队，保护这套架构须要较多的工夫，费用和专家资源投入。
在事实世界中，需要侧沉睡的同时，在平行的赛博世界中，技术的进化也始终在继续。自从2006年Apache Hadoop架构公布以来，到2011年，企业逐步采纳Hadoop架构演进进去的开源或商用大数据软件，开启了离线计算时代；2012年，以Spark等为外围的流式计算开启了实时计算时代，在线剖析和实时计算的场景也开始逐步利用，但这一阶段的使用者次要是开发人员；2013年至今，随着数据的激增，大数据平台演进成了交融大数据平台，而随着AI等技术的突飞猛进，从数据分析到数据挖掘，大数据平台向着智能化进行演进。
权威调研机构IDC示意，“数字化时代下的竞争正在减速，市场参与者要么通过数字化转型成为领头企业造成规模化劣势，要么将逐步被市场淘汰”。随着5G、AI、IoT等技术的迅猛发展，到2025年，寰球数据量将从2018年的33ZB快速增长到180ZB，寰球数字经济总量将达25万亿，CEO也越来越器重，参与度高达67%，数字化技术让投资回报率达到6.7倍，政企数字化过程为64%。综上可知，数字化转型是政企充沛开释简单场景用数需要的必经之路。
数字底座如此要害，那么大数据作为次要承载技术，天然是其重中之重。华为云FusionInsight提供MRS数据湖服务，让政企客户在一个大、快、融、稳的云原生数据湖架构下继续演进：
1)大：反对最大2万+节点大规模集群，可集群联邦有限扩容；
2)快：可T+0实时增量更新同步，可毫秒级高效实时OLAP，缩短剖析链路，实现实时数据湖；
3)融：通过HetuEngine突破多引擎、多源、跨地区的限度，打消数据孤岛，对立SQL接口交融剖析，简化用数，全民BI；
4)稳：反对在线滚动降级，无需拆集群、搬利用，使客户一个架构继续演进，十年无忧！
5)云原生数据湖：通过对立元数据，让数据全局可视；通过存算拆散的企业级EC，升高TCO。
华为云大数据，自2008 年开始投入钻研，最早于2014年推出商用产品，秉承开源凋谢的心态，践行“平台+生态”策略，华为云踩对了历史的过程，围绕政企大数据全生命周期，华为云FusionInsight是一个技术当先的云原生智能数据湖，是华为云三大使能之数据使能计划的松软数据底座。
- 人工智能和机器学习架构
利用机器学习的公司曾经在应用这套架构的一部分技术。深度应用机器学习的企业会部署整套架构，甚至自研新的工具。
- 场景：数据驱动的内外部应用程序，场景有实时的或批处理的。
- 劣势：齐全掌控整体的开发过程，将机器学习打造为企业外围且长期的能力。
- 缺点：不适宜尚在摸索机器学习，只为小范畴的外部利用场景。大规模利用机器学习仍是以后最大的数据挑战
华为云ModelArts为政企客户提供一站式的AI训练和推理平台，其具备如下特点：
- 反对AI全栈、全流程、全场景开发训练
- 反对资源对立治理、对立池化调度
- 反对业界支流引擎和自研引擎，实现零老本迁徙
- 提供多维度性能个性，满足各类用户
在近日公布的《IDC MarketScape: 中国大数据管理平台厂商评估，2020》(以下简称IDC大数据报告)报告中，对中国支流大数据厂商从能力、策略、市场份额三个维度进行了全面评估，华为云位居领导者象限当先地位，并在技术实力和市场份额两大维度双当先在技术上继续翻新打磨之外，华为云FusionInsight也是“最懂行”的大数据解决方案：
在政府畛域，国内50%的智慧城市都有华为云FusionInsight的手不释卷的身影，华为云大数据已撑持多个部委和各省市地区建设“大数据+政务”。在某市，华为云FusionInsight联结搭档建成“一云二网三平台”，在对立的政务数据逻辑模型的领导下，针对民生、产业、政府的“痛点”和“难点”，从构建城市数据资源库为开始，以大数据分析撑持政府智慧决策，以建设智慧利用为抓手，突破信息孤岛，实现信息资源替换共享，在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面，施展大数据的威力，撑持 “一号、一窗、一网” 政务服务，让简政放权、百姓办业务“最多跑一次”成为事实。
在金融畛域，国内50%的TOP20金融客户(含银行、证券、保险等)均已应用华为云FusionInsight构建其大数据平台。某行应用华为云FusionInsight构建大数据根底平台，撑持了银行企业级数据湖、数据仓库、团体信息库为外围的“一湖两库”建设，承载了总行及各支行业务零碎，撑持日常银行BI、AI、数据挖掘、数据分析等，实现了一份数据全局可用，罢黜数据搬迁，晋升协同效率10倍，存储周期晋升2倍，资源利用率最大可达90%，减速银行数字化转型过程。
在运营商畛域，国内三大运营商均应用华为云FusionInsight构建其大数据平台。广东挪动基于华为云FusionInsight，联结政企客户独特打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆利用，买通数据全生命周期链路，实现对内业务撑持、对外利用赋能，全面撑持了各类政务、民生等大数据应用服务。
在交通畛域，深圳地铁在6、10号线采纳华为云FusionInsight构建大数据分析平台，打造当先的5G+大数据计划，并构建其数据资产核心和运行监控核心，承载地铁各业务零碎，撑持设施衰弱、能耗治理、客流统计、线路核心级监控、应急决策和图像型火灾剖析等线路级数据分析，数据分析效率从周级缩短至分钟级，实现高效经营，推动深圳步入更美妙的全联接数字化轨道交通新时代…
除过在以上各行业的利用，在环境保护方面，青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据翻新平台，实现了布局辅助决策、用气象数据迷信领导发电等翻新业务，为上下游产业链企业提供25类47项数据服务，推动28座新能源场站实现了“无人值班、少人值守”，并无效撑持了青海“绿电15日”，以大数据为基石，建设绿色新青海，守护高原谐和生态。
同时，华为保持“本人的降落伞本人先跳”，华为团体IT通过FusionInsight构建OneData大数据集群，实现大数据平台在大规模场景下的开辟，OneData集群其规模已至1万+节点;同时，实现了对立的数据管理服务，在菩提海UniDB产品中，通过逻辑对立形式，把50+物理扩散的计算集群(Hadoop+MPP)，基于五对立(数据安全，元数据目录，数据集成，数据拜访，任务调度)，整合成湖仓一体的架构，撑持上千个企业租户的PB级数据分析解决需要。一个基于FusionInsight MRS+DWS 的“+治理，+AI，+经营，+云”的交融数据底座(菩提海)曾经在华为团体IT宽泛应用，将来可期。
以上只是“冰山的一角”，华为云FusionInsight一方面不断深入了解客户一直倒退的业务诉求，另一方面，继续技术创新并引领行业倒退，商业诉求+技术创新双轮驱动行业可继续、高质量倒退，“用数”助力客户商业胜利!下面的阐述曾经充分证明，华为云是“懂行”的大数据领导者，真正让客户用好数、管好数、释怀用。
据理解，截至2020 年10月底，华为云FusionInsight 智能数据湖已服务60+个国家和地区，3,000+客户，笼罩政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、批发、制作、互联网等行业。
点击关注，第一工夫理解华为云陈腐技术~