关于mongodb:2天完成17TB数据量迁移华为云数据库是如何做的

36次阅读

共计 1924 个字符,预计需要花费 5 分钟才能阅读完成。

摘要:童年时候,咱们会对着墙上挂着的中国地图,来意识一处处山川河流和城市人文。现在,数字化时代下,传统的地图曾经不能满足人们的需要,如何获取各种丰盛的天文内容和实时动静信息成为现代人广泛的地理信息诉求。作为国家根底地理信息公共服务平台,天地图集成了来自国家、省、市(县)各级测绘地理信息部门,以及相干政府部门、企事业单位、社会个人、公众的地理信息公共服务资源,以门户网站、服务接口、前置服务等模式向政府、业余部门、企业、公众等用户提供在线地理信息服务。此前,国家根底天文信息中心携手华为云,基于天地图平台,独特打造云上智慧地图,促成地理信息资源共享和高效利用,让世界触手可及。

天文数据量减少,数据库弹性迎挑战

天地图覆盖全国 300 多个地级以及地级以上城市 0.6 米分辨率的卫星遥感影像等地理信息数据,全库数据量达到 17TB,数据吞吐量微小。微小的吞吐量和高额运维老本,促使国家根底天文信息中心迫切寻求低成本、高可用、高性能、大容量的数据库产品,同时心愿能够将迁徙工夫压缩到 2 天左右。

  • 低成本: 晚期天地图经营投入较多资金,包含数据库在内的 IT 投入老本居高不下。业务有读写拆散诉求,心愿在保障性能的前提下,通过一套实例实现读写拆散,从而升高数据库老本。
  • 高可用: 社区版 MongoDB 一个 shard 少数节点故障,就会导致该 shard 成为只读,因而心愿提供无状态的路由节点,实现疾速故障转移。
  • 高性能: 天地图每天的访问量在 6 亿左右,随着数据量和业务访问量的减少,现有零碎不足以撑持日益增长的业务需要,须要更高性能的数据库来撑持日益增长的业务数据。
  • 容量: 随着瓦片层级减少,数据量越来越大,现有 MongoDB 扩容难度大,须要一款数据库反对不少于 20TB 的瓦片数据,反对在线扩容。
  • 运维效率: 运维人力无限,零碎运维压力越来越大,运维工作老本越来越高,现有社区版 MongoDB 难以撑持运维工作需要。心愿可能提供数据库自运维能力,能为数据库做技术兜底,升高运维老本。

天地图 & 华为云

彰显云上“数字中国”新魅力

天地图业务数据简单,数据品种多样,联合客户诉求和业务特点,华为云数据库采纳私有云对外服务为主,公有云对内测试为辅的混合云架构,提供多种数据库引擎计划,联结打造高性能、高可用的数字底座。

华为云 GaussDB(for Mongo) 提供在线地图的瓦片数据处理服务;华为云 RDS for PostgreSQL 提供矢量数据和三维数据处理服务;华为云 RDS for MySQL 提供用户治理和专题图层属性服务,多款数据库极速交融,独特发力,17TB 的海量数据迁徙仅仅用了 2 天。

  • 高可用个性加持,业务稳固运行

天地图作为国家级的服务平台,数据的安全可靠堪称至关重要。华为云 GaussDB(for Mongo) 反对跨 AZ 高可用,领有欠缺的跨区域容灾策略,每天主动进行全量备份和增量备份,并定期进行复原演练,验证备份复原流程的有效性,实现分钟级备份复原。同时提供无状态的路由节点,反对秒级故障转移,客户业务无感知,业务运行稳固。

  • 超高性能与大容量,再大流量也不怕

天地图为 30+ 部委机构和全国 30 多个省市提供地理信息根底平台服务,日均 API 和服务调用超过 6 亿次,拜访压力极大。华为云 GaussDB(for Mongo) 可实现分钟级节点扩容和秒级存储扩容,满足麻利业务弹性须要,对天地图高达上亿的拜访毫无压力,响应能力快稳准,无效保障了天地图在高负载情景下业务的失常运行。而且 GaussDB(for Mongo) 基于存算拆散架构和 rocksdb 优化,相比开源 MongDB 性能进步 3 倍以上,最大反对 96TB 的数据处理能力,齐全满足天地图海量业务申请。

  • 降本增效不止一点点

GaussDB(for Mongo) 齐全兼容 MongoDB 协定,客户业务无需任何革新,即可轻松切换数据库,极大缩小了革新老本;而且通过实时生成快照和删除快照的能力,GaussDB(for Mongo) 实现一套集群即可提供读写拆散的能力,数据库老本节俭至多 50%。天地图上华为云之后,基于数据库服务自动化运维平台,数据更新效率晋升 5 倍,新业务上线速度进步 2 倍,还加重了 DBA 沉重的运维压力,让客户更聚焦业务层面。

自 2019 年 2 月上线以来,华为云数据库已轻松撑持天地图 6 亿 + 的日均访问量,保障业务安稳运行,实现零事变;同时为公众提供了更为全面、精准、权威、智能、人性化的地理信息服务,让全社会共享测绘倒退成绩,感触“数字中国”的独特魅力。

Ps:【云数据库特惠专场】新用户 4.5 折起,助力企业效益增长,详情请戳 https://activity.huaweicloud.com/dbs_Promotion/index.html

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0