以后，数字经济成为我国经济高质量倒退的新引擎，企业面临着以大数据为外围的数字化转型重要时机和挑战。如何打造安全可靠的数据基础设施和价值开掘平台，施展数据资产的外围价值是企业是否赢取将来的关键所在。
9 月 28 日，在上海举办的“云智技术论坛”智能大数据专场，百度智能云带来了云智一体的大数据产品架构全景图，为企业提供从构建新型数据基础设施、深度开掘数据价值，到保障数据安全的全流程大数据解决方案。
百度智能云大数据产品架构全景图共三层：底层通过湖仓数据基础设施为企业提供数据存储、数据处理、数据开发等能力；中层的数据价值开掘平台，充分利用百度智能大数据技术，实现企业数据资产价值最大化；顶层，即基于底层和中层的技术，帮忙各行各业落地大数据利用落地。
构建新型数据基础设施
随着企业数字化转型的减速，企业日常经营中产生的数据量呈指数级增长，且数据的类型更加多样化，数据的利用场景日益繁冗，以及基于实时数据的疾速决策越来越遍及，繁多的数据仓库或者数据湖解决方案满足不了用户对数据挖掘和应用的需要。于是湖仓一体架构成为云原生时代数据架构演变的必然趋势。
百度智能云湖仓一体架构的劣势次要体现在三个方面。
首先是云原生，它是数仓基础架构的一个根本的演变方向。百度智能云云原生湖仓架构以云为根底，为客户提供弹性、低成本的数据存储和按需伸缩的计算资源。在存储上，百度智能云 BOS 是业界当先的数据湖对象存储；在计算上，BMR 是灵便、高性价比的托管大数据处理，凭借先进的计算存储拆散架构、智能弹性伸缩技术确保高牢靠的同时，真正帮忙用户实现用时高效获取资源、闲时及时开释资源，用最低的老本获取最高的计算性能。
其次，百度智能云通过数据湖架构为客户提供全面的数据分析能力。百度 Palo 是数据湖剖析能力的外围产品，是百度基于 Apache Doris 构建的企业级 MPP 数据仓库，专门应答高并发、低延时的 PB 级实时数据仓库应用场景，全面兼容 MySQL 协定，能够毫秒级、针对亿万级数据进行及时的多维分析透视和业务探查。
在架构上来看，Palo 与常见的分布式存储系统的架构有些不同。Palo 次要有 FE（Frontend）和 BE（Backend）这两类零碎过程，其中 FE 能够了解为 Palo 的管控节点，次要负责用户申请的染指、查问打算的解析、元数据的存储以及集群治理等工作，BE 次要负责数据存储以及查问打算的执行，这两类零碎过程都能够横向拓展，而不须要依赖任何第三方零碎（如 HDFS、ZooKeeper 等），这样高度集成的架构设计也极大简化了一款分布式系统的运维老本。同时 Palo 在 FE 过程中实现了 MySQL 兼容协定层，这样用户通过规范 MySQL 客户端或其余各类工具即可便捷连贯到 Palo，并且 Palo 还反对规范 SQL 语言，不论是简略的单表聚合、排序过滤或简单的多表关联、子查问、窗口函数、自定义函数等，都能够通过 SQL 疾速实现，极大缩小用户的应用老本。
应用 Palo 时，能够从本地、RDS、BOS、百度智能云 MapReduce 等导入海量数据，进行大数据的多维分析。同时 Palo 还兼容支流 BI 工具，数据分析师能够通过可视化的形式剖析和展现数据，疾速获取洞察以辅助决策。此外，Palo 还提供了全新 UI 反对，5 分钟上手，轻松实现建库建表、数据导入、数据查问。
最初，百度智能云利用数据湖治理与剖析平台 EasyDAP，以对立元数据为抓手，一站式实现数据集成、治理、开发、剖析、服务。EasyDAP 是全场景、低门槛、兼容凋谢、安全可靠的一站式数据湖治理与剖析平台，其服务范畴笼罩数据集成、数据管理、数据治理、数据开发、数据分析、数据服务，实现采、存、管、用一体化。
开掘数据资产价值
实现数据基础设施构建后，企业如何实现数据资产价值最大化？百度智能云给出了答案。
首先，百度智能云通过数据资产治理与经营平台 DAMP 将各类数据通过根底治理后造成的数据资产进行对立治理，以资产目录的模式让企业外部资产更清晰化，同时通过利用超市帮忙企业更好的经营数据资产，实现数据资产因素“好治理”、“好找到”、“好了解”、“好利用”。
其次，百度智能云通过商业智能和数据迷信工具让数据施展大价值。
在商业智能方面 ，百度 Sugar BI 能够疾速搭建数据可视化页面，帮忙客户洞察过来。Sugar BI 是百度自助 BI 报表剖析和制作可视化数据大屏的工具，直连 MySQL、本地 excel 等各类数据源，通过丰盛的图表和拖拽式编辑帮忙客户 5 分钟即可生成可视化页面，并以炫酷大屏出现，让数据信息更直观。同时，Sugar 交融了百度语音、语义辨认等多种 AI 技术，客户通过语音的形式就能够疾速获取想要的数据。
在数据迷信方面 ，百度智能云通过全功能 AI 开发平台 BML 为数据迷信的场景提供全流程开发反对，帮忙客户预测将来。BML 整合了大数据和百度 AI 技术，能够实现从数据源治理、数据荡涤与裁减、数据标注、数据预处理，到模型构建，模型治理与优化、预测服务部署、服务治理与监控等全流程能力撑持，升高企业应用数据技术的门槛。BML 为数据迷信提供高效的算力治理和调度、高性能数据迷信引擎、主动机器学习、丰盛的建模形式四大外围性能。
在算力治理和调度方面 ，BML 提供计算资源、存储资源的治理和调度。在这之上，提供一套作业执行与调度机制，帮忙客户实现模型与服务治理。
在高性能数据迷信引擎方面 ，BML 提供高度兼容的 Pandas/Sklearn，面向单机的数据分析和机器学习，提供 5 -10 倍的开源工具的数据处理能力。
在主动机器学习方面 ，BML 提供主动建模工具，实现从数据拆分、训练数据集、黑盒优化算法、模型训练、成果评估等全流程的自动化。
在丰盛的建模形式方面 ，BML 提供丰盛的交互界面、文本编辑器、可视化的利落拽、脚本调参等工具。
爱护数据隐衷平安
百度数据安全体系贯通了大数据基础设施构建、数据价值开掘的全过程，笼罩了数据全生命周期，从多个维度爱护企业数据安全。
在数据资产平安方面，百度数据安全体系提供细粒度数据权限、数据加密脱敏、对立身份认证、多租户资源隔离等技术，确保资产生命周期过程中的安全性，以及数据在企业内外部利用过程中的安全性。
在隐衷爱护方面，百度数据安全体系实现了事先安全隐患发现、事中敏感数据爱护、预先精准溯源的平安爱护闭环，为客户提供平安合规的数据利用能力。
在隐衷计算方面，百度智能云通过“百度点石”实现“数据可用不可见”与“数据不动算法动”根底之上的隐衷计算。百度点石数据安全及隐衷爱护计划是基于百度外部数据安全治理以及千行百业的合作伙伴业务实际，整合了信息安全技术、隐衷计算技术、区块链技术，积淀造成了整套的数据安全及隐衷爱护解决方案。
计划整合了四款隐衷计算引擎：
1、数据安全沙箱：利用信息安全技术，在集中计算的根底上，实现了数据不动算法动。以较高的安全性和无损的性能，实现数据价值的开掘和利用。宽泛的利用于集中数据源向外输入数据价值的各类场景。
2、联邦学习平台：利用机器学习及密码学算法，在扩散计算的根底上，通过调度多节点的算法、算力，实现了数据不动算法动。以较高的安全性的和较少的性能损失，实现多方数据的交融计算。广泛应用于多方数据联结构建机器学习模型的场景中。
3、多方平安计算：利用密码学算法，在扩散计算的根底上，通过协调多个节点的算法、算力，实现了数据的可用不可见。以极高的安全性和可承受的性能损失，实现多方数据在密态下的联结计算。可用于较多数据联结计算的场景。
4、秘密计算（MesaTEE）：利用第三方可信硬件，基于密码学，在集中计算的根底上，通过平安硬件的爱护，实现多方数据的密态计算。是目前世界上利用最宽泛的隐衷计算引擎，广泛应用于爱护个人隐私、商机秘密等场景中。
目前，百度点石数据安全及隐衷爱护计划已在政务、金融、医疗、电商、教育、媒体等多个畛域胜利落地。
平安、合规是百度智能云服务客户的根底。目前，百度智能云共获取了 40+ 项国家、国内机构认可的资质认证，包含 SOC1 Type2、SOC2 Type1、SOC2 Type2、SOC3 等多项 SOC 平安审计，以及 MTCS 最高平安评级等国内外平安权威机构认证。同时，百度智能云是国内首家通过 ISO 27032、ISO 29151、ISO 27081、ISO 27017、BS 10012 认证的云服务商。
推动数据落地利用
百度智能云大数据治理计划已在智慧城市、智慧金融、智慧能源、智能制作等多个畛域落地。
北京海淀城市大脑基于百度智能云数据治理和大数据分析落地了智能经营指挥核心，实现了城管事件的智能发现和自动化解决。例如，通过 300 余台检测基站，实现了空气质量实时监测预警；将 976 家重点单位纳入消防物联网监控零碎，火灾防控和隐患处理实现最优化。
中国人寿财险大数据部门，将百度 Sugar BI 作为晋升可视化界面开发效率的工具，在总公司及全国几十个分公司集中推广应用，实现了零编码“可见即可得”地展示页面开发，比原生开发的速度晋升了几十倍，利用场景包含实时业绩展现、理赔要害指标监控、合作伙伴地图展示、零碎运行监控等。
泉州水务与百度智能云单干构建了水务数据资产体系，解决了水务场景中基于人的不平安行为和物的不稳固状态的监管预警问题，同时将算法智能模型集中化治理，晋升了模型复用率，实现了高效智能化监管。从利用成果看，泉州水务大脑使团体整体人员效率晋升 5% 以上，制水供水单位能耗降落 8%，分散式污水处理设施失常运行率晋升 5%。
凭借多年的技术积攒和丰盛的落地教训，百度智能云大数据平台产品和服务能力深受业界认可。数据湖治理与剖析平台 EasyDAP、托管大数据平台 BMR、数据仓库 Palo、数据可视化 Sugar BI 均通过了信通院专项能力测评。在行业内，数据湖治理与剖析平台 EasyDAP 获 2020 中国国内大数据大会最佳用户体验奖；数据可视化 Sugar BI 获 2021 中国国内大数据大会翻新计划奖；数据资产治理与经营平台 DAMP 获 2021 中国国内大数据大会利用实际奖等，彰显了百度智能云大数据平台当先的技术能力和翻新解决方案。
在数字经济浪潮下，大数据畛域呈现出 4V 个性更凸显、数据利用场景更繁冗、数据安全隐患更高的趋势。百度智能云打造的智能大数据产品架构全景图，为更多企业构建云智一体的大数据技术与能力体系，实现对更大规模、更多类型、更多源数据进行解决和利用，全面助推企业数字化转型。
点击进入取得更多技术信息~~