TiDB Binlog 主要由 Pump 和 Drainer 两部分组成，其中 Pump 负责存储 TiDB 产生的 binlog 并向 Drainer 提供按时间戳查询和读取 binlog 的服务，Drainer 负责将获取后的 binlog 合并排序再以合适的格式保存到对…

数据复制主要指通过互联的网络在多台机器上保存相同数据的副本，通过数据复制方案，人们通常希望达到以下目的：1）使数据在地理位置上更接近用户，进而降低访问延迟；2）当部分组件出现故障时，系统依旧可以继续…

本文为 DM 源码阅读系列文章的第八篇，上篇文章 对 DM 中的定制化数据同步功能进行详细的讲解，包括库表路由（Table routing）、黑白名单（Black & white table lists）、列值转化（Column mapping）、binlog…

TiDB Binlog 组件用于收集 TiDB 的 binlog，并准实时同步给下游，如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制，会收集各个 TiDB 实例产生的 binlog，并按事务提交的时间排序，全局有序的将数据同…

在日前举行的阿里云“企业级”云灾备解决方案发布会上，阿里云智能技术战略总监陈绪就来了一场现场“断电”演示，拔掉了数据库的电源。

本文为 DM 源码阅读系列文章的第七篇，在 上篇文章 中我们介绍了 relay log 的实现，主要包括 relay log 目录结构定义、relay log 数据的处理流程、主从切换支持、relay log 的读取等逻辑。本篇文章我们将会对 DM…

Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景…

作者：吕丹（凝睇），2011 年加入支付宝，先后负责了支付宝 Wap、alipass 卡券、SYNC 数据同步等项目，并参与了多次双十一、双十二、春节红包大促活动，在客户端基础服务方面有一定的项目实践经验与积累。目前负…

TiDB Binlog 组件用于收集 TiDB 的 binlog，并准实时同步给下游，如：TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制，会收集各个 TiDB 实例产生的 binlog，并按事务提交的时间排序，全局有序的将数据同步…

前段时间与同事一起为产品接入了 Elasticsearch 框架技术。从参与方案会议到搭建开发上线过程中有很多讨论点，故产生本文，希望藉此总结和分享一些经验。