关于后端:电商类面试问题01Elasticsearch与Mysql数据同步问题

39次阅读

共计 946 个字符,预计需要花费 3 分钟才能阅读完成。

在实现基于关键字的搜寻时,首先须要确保 MySQL 数据库和 ES 库中的数据是同步的。为了解决这个问题,能够思考两层计划。

  1. 全量同步:全量同步是在服务初始化阶段将 MySQL 中的数据与 ES 库中的数据进行全量同步。能够在服务启动时,对 ES 库进行全量数据同步操作,以确保数据的一致性。而在进行服务时,能够清空 ES 的缓存库,以便下次启动服务时进行全量同步。
  2. 增量同步:为了实现热同步,即在不重启服务的状况下保持数据的同步,能够应用增量同步来解决新的或批改过的数据。有几种增量同步的实现形式可供选择。
  • 同步双写:最后的计划是通过同步双写的形式,在 MySQL 中有数据插入或批改时,同时对 ES 中的数据进行同步更新或插入。然而,因为这种形式会导致代码的耦合性较高,这是个劣势,面试能够点一下。
  • 异步双写:为了解决代码耦合性的问题,引入了 RabbitMQ 作为中间件。在数据写入 ES 之前,数据先被发送到 RabbitMQ 中,而后 RabbitMQ 生产数据并将其写入 ES。如果写入失败,能够采取熔断降级策略,将数据发送到死信队列,并进行重试,直到胜利写入 ES 为止。尽管这种形式可能会存在一些延时,但绝对于保证数据一致性而言,是能够容忍的。

优化计划:为了进一步优化数据同步的性能和可靠性,还能够思考了以下计划:

  • 批量同步:将多条记录批量写入 ES,而不是每条记录都发送一次申请,能够缩小网络开销并进步写入性能。
  • 并发同步:应用多线程或异步工作来并行处理同步操作,从而进步同步速度和吞吐量。
  • 数据过滤:依据需要过滤须要同步的数据,防止同步无关的数据,缩小同步工作量和资源耗费。
  • 监控和重试机制:实现监控和报警机制,及时发现同步异样或失败,并进行相应的重试或错误处理。

另外,还思考到每次敞开和重启服务时全量同步工夫逐步增长的问题。

解决方案是设置两个 ES 服务器正本。一个服务器(A 节点)始终进行同量写入,并将数据同时写入主节点(A 节点)和备份节点(B 节点)。当须要降级 A 节点时,能够切换申请到 B 节点,暂停 A 节点的服务进行降级,而 B 节点持续提供服务。这样就实现了数据的无缝连接,在不须要大量同步工夫的状况下实现搜寻服务的执行。待 A 节点实现降级后,再将其与 B 节点进行数据同步,而后切回 A 节点。

通过上述优化措施,能够进一步提高数据同步的性能、效率和可靠性。

正文完
 0