Shutdown

随着数据价值被越来越多企业认可，数据湖存储已成为企业级存储的首选和新一代晋升生产力的服务。12月1日，在2022腾讯数字生态大会存储专场，腾讯云降级了云原生数据湖产品能力，并具体阐释了其设计理念，对其在多个行业的利用进行了案例分享，为更多企业提供升高存储老本、晋升存储性能的实际参考。 当下，数据的生产、存储和生产模式突飞猛进，随着数据的爆发式增长，在数据存储和解决方面的降本增效成为企业亟待解决的问题。 腾讯云存储高级产品经理林楠认为，“市场须要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应答多样化、多源化数据存储需要，应答多协定兼容和敏捷性服务等方面，均能满足企业构建对立存储服务的须要，是企业级存储的将来状态。” 适应这一趋势，腾讯云于2021年公布了国内首个云原生数据湖存储产品图谱，推出了基于对象存储服务的数据湖三级减速体系，并推出了数据湖三级减速体系。 在设计理念方面，腾讯云原生数据湖三级减速体系秉承了对立存储的思路，其底层存储基座应用了腾讯自研对象存储服务，单集群可治理百EB级别文件；在此基础上组合元数据加速器、AZ加速器和数据加速器GooseFS等多种高内聚、松耦合的数据减速服务，以实现性能和老本的整体优化与均衡。 具体而言，该体系通过数据加速器GooseFS，实现近计算端的缓存减速服务，升高超过50%的对象存储拜访带宽；通过元数据加速器，提供原子性的文件系统语义操作，实现元数据操作性能10倍晋升；通过AZ加速器，提供 Tbps 级海量吞吐和毫秒级的响应。同时，以三者的灵便组合利用，以应答不同业务场景。 此次大会上，腾讯云原生数据湖存储实现了性能的再降级，以更灵便的可插拔服务和更具性价比的解决方案，助力企业上云，用数赋智。 在理论应用过程中，该体系展示了优良的性能和老本优化能力，例如，应用GooseFS + COS的组合，相较于本地HDFS集群部署可实现20%的性能晋升，同时利用对象存储服务海量、低成本的劣势，实现了更高性价比的数据存储。此外，腾讯云原生数据湖三级减速体系还买通了腾讯云生态，企业客户能够依靠腾讯云构建残缺的企业级数据治理计划，实现数据因素的疾速流转和价值发现，晋升企业竞争力。 通过数据湖三级减速体系，腾讯云胜利服务了多个等各行业标杆客户，助力其将本地大数据存储迁徙到私有云上，并由此取得老本上的收益和性能上的晋升，促成客户数据业务的稳步增长。 以某音乐客户的实际为例，腾讯云原生数据湖存储帮忙其真正实现了按需存数和按需用数，客户不必按峰值筹备资源，存储老本间接缩小18.4%。同时，通过GooseFS就近计算节点的缓存能力，业务侧也缩小了对底层存储的读写带宽，最高实现了50%的均匀带宽升高。 在另一主动驾驶客户的实际中，针对AI 训练场景，客户应用 GooseFS 加载 TFRecord 文件减速模型训练。依据训练结果显示，应用 GooseFS 能够达到实践性能下限的 95.6% ；对于原始小文件均匀提速19.2%。 此次数据湖三级减速体系的能力更新，是腾讯云存储在云原生数据湖畛域的新摸索与构建。将来，腾讯云存储也将继续推动云原生数据湖技术的倒退和落地，为宽广企业提供更快、更全能、更低成本的存储服务，助力各行各业开释数据价值，减速迈向数字化。 直播回放：https://2022gdes.cloud.tencen...

服务器虚拟化数据恢复环境：故障虚拟机是由物理机迁徙到ESXI，迁徙实现后做了一个快照。故障虚拟机上运行的是一个sql server数据库，记录了近5年的数据。ESXI上有二十多台虚拟机，EXSI连贯一台HP EVA存储，所有的虚拟机（包含故障虚拟机）都放在这台EVA存储上。 服务器虚拟化故障&剖析：因为误操作不小心将3年前的快照还原了，即把虚拟机还原到3年前的状态，最近3年的数据都被删除了。虚拟机还原快照意味着删除数据，开释底层的存储空间。为了不让这部分空间被从新利用，须要将连贯这台存储的所有虚拟机都关机。如果有重要的虚拟机不能长时间关机，能够迁徙到别的EXSI上。本案例刚好有一台虚拟机运行要害业务不能关机，只能做热迁徙。因为vmware热迁徙须要建设多个快照来实现，而这会给前期的复原快照工作带来额定的艰难。迁徙完所有虚拟机后依照北亚数据恢复流程须要对底层的EVA存储做残缺镜像，然而因为用户比拟焦急，而镜像整个存储工夫太长，只能将EVA存储以只读的形式挂载到一台北亚备份服务器上以只读的形式复原数据。 服务器虚拟化数据恢复过程：Vmware的文件系统叫做Vmfs，所有的虚拟机都寄存在这个文件系统中。Vmfs文件系统会默认将整个磁盘划分成1M的Block，调配给文件的最小单位就是一个Block。Vmfs文件系统中会有一片区域描述这些1M Block的应用状况，每1024个Block（也就是1GB）会用一个MAP来记录。这个MAP外面记录的1M Block在物理磁盘上不肯定是间断的，但这个MAP所记录的所有1M Block肯定是同一个文件的。换句话说：一个文件是由N多个MAP中的1024个Block组成的，即FileSize = N MAP 1024（Block）。 Vmware快照就是一个文件，还原快照就是删掉一个文件。在Vmfs文件系统中删除一个文件只会删掉文件的索引项，而不会删掉文件的理论数据以及指向数据的MAP。 1、提取整个vmfs文件系统中闲暇的MAP。2、闲暇的MAP中找到一个合乎快照文件头构造的MAP。3、依据快照文件的构造提取快照文件剩下的碎片。4、提取完快照文件后将快照文件和原vmdk合并生成新的vmdk，新的vmdk中蕴含了所有的数据。5、挂载新的vmdk并解释外面的数据即可复原还原快照之前的数据。