关于javascript:图解-Elestricsearch-写入流程

44次阅读

共计 1987 个字符,预计需要花费 5 分钟才能阅读完成。

整体上看,Client 向 ES 发送写申请,es 接收数据,写入磁盘文件,返回响应给 Client 写入胜利,这样就实现了。

而后拉近看一下,看看外部都做了什么工作。

2. ES 整体构造

ES 集群外面有多个 Server 节点,一个 ES Index 有多个 shard 分片,每个 shard 有多个正本。

其中有一个 primary 主正本,负责写入,其余正本为 replica,不能写,只能同步 primary 的数据,但能够解决读申请。

ES 收到写申请后,会将申请路由到指标 shard 的 primary 正本。

每一个 shard 就是一个 Lucene Index,蕴含多个 segment 文件,和一个 commit point 文件。

segment 文件存储的就是一个个的 Document,commit point 记录着都有哪些 segment 文件。

理解了 ES 的整体构造,可知 primary shard 收到写申请,就是把 Document 数据写入 segment。

3. 间接写 Segment 效率低怎么办?

如果每次写操作都是间接落盘的话,I/O 效率会比拟低。

所以,ES 应用了一个 内存缓冲区 Buffer,先把要写入的数据放进 buffer。

内存性能好,但不平安,会丢数据,所以 es 应用了一个 日志文件 Translog。就像 MySQL 的 Binlog,记录着每一条操作日志,如果 ES 呈现故障,重启之后能够从 Translog 中复原数据。

因为日志文件只是单纯的做内容追加,没有其余逻辑操作,所以写入速度很快。

并不是每条操作间接写入磁盘,也是有一个内存缓冲,每隔 5 秒写入磁盘。所以,极其状况下会有 5 秒数据的失落,如果要严格保障数据安全,能够调整这个工夫。

这样,数据来到 primary shard 之后,先是进入 buffer,并把操作记录写入 Translog。

4. Buffer 中数据怎么写入 Segment 文件?

ES 每隔一秒执行一次 refresh 操作,会创立一个 Segment 文件,将 buffer 中的数据写入这个 segment,并清空 buffer。

进入 segment 的数据就进入了 Lucene,建设好了倒排索引,能够被搜寻到。

5. 如何进一步晋升写 Segment 效率?

须要留神,ES 尽管把数据写入了 segment 文件,但实际上还没有真正落盘,因为操作系统的文件系统也是有缓存的,这是操作系统层面的性能优化,由操作系统决定物理落盘工夫,除非程序写文件时应用同步写 fsync。

ES 为了性能天然没有应用 fsync,因为有 Translog 记录了所有操作步骤。

尽管可能还没理论写入 segment 物理文件,但只有进入了操作系统的文件系统,就能够被搜寻了,这一点不必放心。

6. Translog 日志文件越来越大怎么办?

随着写入数据的减少,Translog 也越来越大,须要清理。

触发清理动作须要 2 个条件:

  1. 大小触发设定的阈值
  2. 30 分钟

任意条件满足即触发一次 commit 提交操作。

操作流程:

  1. 执行 refresh 操作。
  2. 把这次提交动作之前所有没有落盘的 segment 强制刷盘,确保写入物理文件。
  3. 创立一个提交点,记录这次提交对应的所有 segment,写入 commit point 文件。
  4. 清空 Translog,因为 Segment 都曾经虚浮落地了,之前的 Translog 就不须要了。

这个提交流程,称为 flush

7. Segment 太多怎么办?

通过下面的流程,能够发现,segment 文件太多了,一秒就产生一个,这会重大影响搜寻性能。

es 有一个后台程序,用于 merge 合并这些 segment 文件,把小 segment 整合到一个大的 segment 中,并批改 commit point 的 segment 记录。

merge 过程还会清理被删除的数据。

es 接管到删数据申请时,不会真的到 segment 中把数据删了,而是把要删除的数据写到 ‘.del‘ 文件中,在读操作时,会依据这个文件进行过滤。

merge 合并时才真正删除,合并后的 segment 中就没有曾经删除的数据了。

8. 小结

写操作时,ES 把写申请路由到指标 Shard 所在的 Server 节点,Doc 先被放入 Buffer,并记录此申请的操作日志,写入 Translog。

每隔一秒,执行 Refresh 操作,将 Buffer 中数据写入 Segment 文件,并清空 Buffer。

Refresh 理论写入的 Segment 文件缓存,会在 Flush 操作中刷盘到物理文件。

当 Translog 过大,或者每隔 30 分钟,执行一次 Flush 操作。

先执行一次 Refresh,而后将所有 Segment 文件缓存刷盘到物理文件,并创立提交点,记录此次操作设计的 Segment,写入 Commit Point 文件,最初清空 Translog。

ES 的 Merge 程序负责合并小 Segment,并革除被删除的 Document。

举荐浏览

OAuth2 图解

轻松了解 Kubernetes 的外围概念

开发者必须要理解的架构技术趋势:Service Mesh

正文完
 0