乐趣区

关于mysql:大体量数据迁移思路

背景

以后零碎数据量级别千万级或亿级,单表无奈撑持业务量,须要思考拆表或分表,且迁徙同时不能影响线上业务

详情

  • 千万或亿级数据量
  • 不能影响线上业务,零碎 24 小时运行,不可停机
  • 须要拆表迁徙数据

计划

思考到上述情况,在不影响线上业务的状况下,须要将业务数据同步至数据仓库,默认状况下每天凌晨同步前一天的增量 & 批改数据;再从数据仓库将数据迁徙至分表中,能够通过更新工夫的字段作为分界线,更新工夫小于选定值的数据为初始量,大于选定值得为增量;初始量同步实现后定期同步增量数据,直到写入新表的性能上线

  • 数据同步至数仓
  • 选定字段宰割初始量、增量数据
  • 同步初始量数据
  • 定期同步增量数据
  • 零碎上线
  • 敞开数据同步
  • 下线旧表
退出移动版