关于数据库:13万张表数亿行代码迁移只需数小时还是异构数据库

54次阅读

共计 1801 个字符,预计需要花费 5 分钟才能阅读完成。

摘要: 而对企业来说,构建对立的数据底座,能力让数据供给和业务端更高效、更平安、更易共享。随着技术的突飞猛进,上云已责难事,但异构数据库(转换数据库类型)迁徙上云在业界仍是一个微小的挑战。

本文分享自华为云社区《13 万张表,数亿行代码,华为云 UGO 助力异构数据库迁徙只需小时级实现!》,原文作者:神思胖。

以后,云上办公,云上交易,云上数字经营已成为支流,不把业务部署到云端,好像跟不上时代的步调。而对企业来说,构建对立的数据底座,能力让数据供给和业务端更高效、更平安、更易共享。随着技术的突飞猛进,上云已责难事,但异构数据库(转换数据库类型)迁徙上云在业界仍是一个微小的挑战。

华为团体是多业态、长链条、全场景的企业,在 20 年前就开始应用数据库,遍布了研发、供给、财经、行政等畛域,有离线场景、实时场景、数仓等应用场景,这些场景应用支流商业数据库居多,随着数字化转型过程放慢,在迭代方面,跟不上云的节奏,于是华为团体流程 IT 携手华为云数据库寻求云上转型。

对于领有海量数据、多种数据库类型、数据库专家星散的华为团体流程 IT 来说,上云也并非易事。业界流行“两条腿”走路准则,既要多快好省又要平安稳固牢靠,当然华为团体也不例外。面临新的异构数据库,既心愿性能大幅晋升,也要平安稳固,于是华为团体流程 IT 抉择将业务搬迁至华为云数据库 RDS 与 GaussDB,而兼容性和性能是异构数据库迁徙最大的难题。

关山难越,异构数据库迁徙难以逾越的“深坑”

迁徙数据库如同搬家,间接搬不太可行,须要先搬“房子主体”,再搬“房子里的家具”等,其中波及的迁徙问题不仅繁冗,而且不能出差错。尤其是令人头疼的兼容问题,岂但波及到构造迁徙、语法转换、SQL 转换等简单操作,对数据库性能要求也很高。

腾云而出,华为云 UGO 为自动化搬迁而生


首先华为云数据库联结华为团体流程 IT 对业务进行全面评估,华为团体数据库有数十万张表,10 万级的存储过程,存储过程的代码超过亿级的代码,几十万个任务调度,迁徙数据量高达数 TB。经评估后,利用手动革新工作量微小,须要成熟的企业级端到端对象迁徙或者是评估工具,来晋升异构数据库迁徙转化率。

华为云推出的数据库和利用迁徙 UGO 则为异构数据库对象迁徙和利用迁徙而生!通过预迁徙评估、自动化语法转换,帮忙用户提前辨认迁徙危险,晋升迁徙效率,最大化升高用户的数据库迁徙老本。华为云数据库给出了三步走的迁徙计划,通过华为云 UGO 评估并转换异构数据库语法进行语法迁徙,再通过华为云数据复制服务 DRS 基于日志的实时变动数据捕获,进行数据迁徙,最初通过华为云 DRS 数据校验保证数据一致性。

应用的关键技术有:1)迁徙工作量评估 :根据海量业务场景下的理论人力迁徙老本作为评估基线,根据大量业务场景自动化迁徙过程,累计迁徙工作量作为输出,同时联合代码量、转化率、不兼容个性革新难度,不便客户对迁徙工作有一个具体的量化感知。2) 利用 SQL 迁徙 :通过采集源库 SQL 流量,并进行 SQL 动静转换,将数据通过流量仿真回放模式迁徙到指标库中,提供主动谬误定位和迁徙校验,迁徙过程中勘误对象清晰明确。同时,通过对源库进行迁徙评估和 SQL 翻译,并且输入 SQL 翻译报告,实现利用革新,最初迁徙到指标库。

神速之光,华为云 UGO 小时级实现搬迁

华为团体流程 IT 领有数 TB 级别的数据量、数十万存储过程,迁徙周期从以天为单位缩短至小时级,缩小了 50% 存储过程革新老本,撑持支流商业数据库 500+ 个 Schema 迁徙,节俭了 70%+ 工作量,迁徙套数 1000+。

在个别状况下,迁徙周期和各方面的评估须要 1 - 2 个月的工夫,迁徙周期也是按天计算,而 UGO 只需小时级就实现了迁徙。华为云 UGO 打消了异构数据库迁徙难度大、周期长、老本低等问题,高效的撑持了华为团体流程 IT 数字化转型。此外,上云后实现了数据库分钟级扩容、数据秒级入库,解决了传统数据库扩大难及数据入库压力大的问题,可撑持逻辑库亿级别的数据量。微服务化革新后,预期可撑持 2 年的业务数据增长。

目前,华为云数据库利用迁徙解决方案顺利通过信通院“数据库利用迁徙服务能力”评测,成为国内首批通过该项的商用数据库迁徙计划,胜利获得了国内首批评测最高级别的问题。将来,华为云 UGO 将会不断创新,继续构筑技术硬实力,为客户提供更简略易用、高效牢靠的迁徙计划。

华为云 UGO 炽热公测中,立刻收费体验

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0