乐趣区

关于go:Golang-GC-从原理到优化

jiezi

写在后面

这篇文章与笔者之前所写几篇不同，是一篇偏综述型的文章，心愿从 GC 的原理、在 Golang 中的利用、以及如何去做优化，这三个角度逐次进行论述，文章中对于一些技术点会援用到多篇文章，心愿读者也都能进行浏览，这有助于更全面的理解 Golang GC。

同时，特地鸣谢 @王德宇 同学对这篇文章的斧正，以及撰写过程中的诸多帮忙与解答。

实践

GC 和内存调配形式是强相干的两个技术，因而在剖析两者的设计原理之时，要联合起来一起看。

GC 算法

标记 - 革除
标记 - 整顿
标记 - 复制
分代收集
对于以上算法的简略介绍

内存调配形式

线性调配

线性调配（Bump Allocator）是一种高效的内存调配办法，然而有较大的局限性。当咱们应用线性分配器时，只须要在内存中保护一个指向内存特定地位的指针，如果用户程序向分配器申请内存，分配器只须要查看残余的闲暇内存、返回调配的内存区域并批改指针在内存中的地位，即挪动下图中的指针：

线性分配器尽管线性分配器实现为它带来了较快的执行速度以及较低的实现复杂度，然而线性分配器无奈在内存被开释时重用内存。如下图所示，如果曾经调配的内存被回收，线性分配器无奈从新利用红色的内存：

线性分配器回收内存因为线性分配器具备上述个性，所以须要与适合的垃圾回收算法配合应用，例如：标记压缩（Mark-Compact）、复制回收（Copying GC）和分代回收（Generational GC）等算法，它们能够通过拷贝的形式整顿存活对象的碎片，将闲暇内存定期合并，这样就能利用线性分配器的效率晋升内存分配器的性能了。因为线性分配器须要与具备拷贝个性的垃圾回收算法配合，所以 C 和 C++ 等须要间接对外裸露指针的语言就无奈应用该策略，咱们会在下一节具体介绍常见垃圾回收算法的设计原理。

援用自：https://draveness.me/golang/d…

利用代表：Java（如果应用 Serial, ParNew 等带有 Compact 过程的收集器时，采纳调配的形式为线性调配）
问题：内存碎片
解决形式：GC 算法中退出「复制 / 整顿」阶段

闲暇链表调配

闲暇链表分配器（Free-List Allocator）能够重用曾经被开释的内存，它在外部会保护一个相似链表的数据结构。当用户程序申请内存时，闲暇链表分配器会顺次遍历闲暇的内存块，找到足够大的内存，而后申请新的资源并批改链表：

闲暇链表分配器因为不同的内存块通过指针形成了链表，所以应用这种形式的分配器能够从新利用回收的资源，然而因为分配内存时须要遍历链表，所以它的工夫复杂度是 𝑂(𝑛)O(n)。闲暇链表分配器能够抉择不同的策略在链表中的内存块中进行抉择，最常见的是以下四种：

  • 首次适应（First-Fit）— 从链表头开始遍历，抉择第一个大小大于申请内存的内存块；
  • 循环首次适应（Next-Fit）— 从上次遍历的完结地位开始遍历，抉择第一个大小大于申请内存的内存块；
  • 最优适应（Best-Fit）— 从链表头遍历整个链表，抉择最合适的内存块；
  • 隔离适应（Segregated-Fit）— 将内存宰割成多个链表，每个链表中的内存块大小雷同，申请内存时先找到满足条件的链表，再从链表中抉择适合的内存块；

援用自：https://draveness.me/golang/d…

利用代表：GO、Java（如果应用 CMS 这种基于标记 - 革除，采纳调配的形式为闲暇链表调配）
问题：相比线性调配形式的 bump-pointer 调配操作（top += size），闲暇链表的调配操作过重，例如在 GO 程序的 pprof 图中常常能够看到 mallocgc() 占用了比拟多的 CPU；

在 Golang 里的利用

残缺解说：https://time.geekbang.org/col…

内存调配形式

Golang 采纳了基于闲暇链表调配形式的 TCMalloc 算法。

对于 TCMalloc
官网文档

  • Front-end：它是一个内存缓存，提供了疾速调配和重分配内存给利用的性能。它次要有 2 局部组成：Per-thread cache 和 Per-CPU cache。
  • Middle-end：职责是给 Front-end 提供缓存。也就是说当 Front-end 缓存内存不够用时，从 Middle-end 申请内存。它次要是 Central free list 这部分内容。
  • Back-end：这一块是负责从操作系统获取内存，并给 Middle-end 提供缓存应用。它次要波及 Page Heap 内容。

TCMalloc 将整个虚拟内存空间划分为 n 个等同大小的 Page。将 n 个间断的 page 连贯在一起组成一个 Span。PageHeap 向 OS 申请内存，申请的 span 可能只有一个 page，也可能有 n 个 page。ThreadCache 内存不够用会向 CentralCache 申请，CentralCache 内存不够用时会向 PageHeap 申请，PageHeap 不够用就会向 OS 操作系统申请。

援用自：
https://www.cnblogs.com/jiuju…

GC 算法

Golang 采纳了基于并发标记与打扫算法的三色表记法。

  1. Golang GC 的四个阶段

    Mark Prepare – STW
    做标记阶段的筹备工作，须要进行所有正在运行的 goroutine(即 STW)，标记根对象，启用内存屏障，内存屏障有点像内存读写钩子，它用于在后续并发标记的过程中，保护三色标记的齐备性(三色不变性)，这个过程通常很快，大略在 10-30 微秒。

    Marking – Concurrent
    标记阶段会将大略 25%(gcBackgroundUtilization)的 P 用于标记对象，一一扫描所有 G 的堆栈，执行三色标记，在这个过程中，所有新调配的对象都是彩色，被扫描的 G 会被暂停，扫描实现后复原，这部分工作叫后盾标记 (gcBgMarkWorker)。这会升高零碎大略 25% 的吞吐量，比方 MAXPROCS=6，那么 GC P 冀望使用率为 6 *0.25=1.5，这 150%P 会通过专职(Dedicated)/ 兼职(Fractional)/ 懒惰(Idle) 三种工作模式的 Worker 独特来实现。
    这还没完，为了保障在 Marking 过程中，其它 G 调配堆内存太快，导致 Mark 跟不上 Allocate 的速度，还须要其它 G 配合做一部分标记的工作，这部分工作叫辅助标记(mutator assists)。在 Marking 期间，每次 G 分配内存都会更新它的”负债指数”(gcAssistBytes)，调配得越快，gcAssistBytes 越大，这个指数乘以全局的”负载汇率”(assistWorkPerByte)，就失去这个 G 须要帮忙 Marking 的内存大小(这个计算过程叫 revise)，也就是它在本次调配的 mutator assists 工作量(gcAssistAlloc)。

    Mark Termination – STW
    标记阶段的最初工作是 Mark Termination，敞开内存屏障，进行后盾标记以及辅助标记，做一些清理工作，整个过程也须要 STW，大略须要 60-90 微秒。在此之后，所有的 P 都能持续为应用程序 G 服务了。

    Sweeping – Concurrent
    在标记工作实现之后，剩下的就是清理过程了，清理过程的实质是将没有被应用的内存块整顿回收给上一个内存管理层级(mcache -> mcentral -> mheap -> OS)，清理回收的开销被平摊到应用程序的每次内存调配操作中，直到所有内存都 Sweeping 实现。当然每个层级不会全副将待清理内存都归还给上一级，防止下次调配再申请的开销，比方 Go1.12 对 mheap 偿还 OS 内存做了优化，应用 NADV_FREE 提早偿还内存。

    援用自：https://wudaijun.com/2020/01/…

  2. 对于 GC 触发阈值

    对应关系如下：

    • GC 开始时内存使用量：GC trigger；
    • GC 标记实现时内存使用量：Heap size at GC completion；
    • GC 标记实现时的存活内存量：图中标记的 Previous marked heap size 为上一轮的 GC 标记实现时的存活内存量；
    • 本轮 GC 标记实现时的预期内存使用量：Goal heap size；

    援用自: https://www.jianshu.com/p/406…

存在问题

  1. GC Marking – Concurrent 阶段，这个阶段有三个问题：
    a. GC 协程和业务协程是并行运行的，大略会占用 25% 的 CPU，使得程序的吞吐量降落；
    b. 如果业务 goroutine 调配堆内存太快，导致 Mark 跟不上 Allocate 的速度，那么业务 goroutine 会被招募去做帮助标记，暂停对业务逻辑的执行，这会影响到服务解决申请的耗时。
    c. GO GC 在稳态场景下能够很好的工作，然而在瞬态场景下，如定时的缓存生效，定时的流量脉冲，GC 影响会急剧回升。一个典型例子：IO 密集型服务 耗时优化
  2. GC Mark Prepare、Mark Termination – STW 阶段，这两个阶段尽管依照官网说法工夫会很短，然而在理论的线上服务中，有时会在 trace 图中观测到长达十几 ms 的进展，起因可能为：OS 线程在做内存申请的时候触发内存整理被“卡住”，Go Runtime 无奈抢占处于这种状况的 goroutine，进而阻塞 STW 实现。（内存申请卡住起因：HugePage 配置不合理）

  3. 过于关注 STW 的优化，带来服务吞吐量的降落（高峰期内存调配和 GC 工夫的 CPU 占用超过 30%）；

    性能问题之 GC
    这里谈一下 GC 的问题，或者说内存治理的问题。
    内存治理包含了内存调配和垃圾回收两个方面，对于 Go 来说，GC 是一个并发 – 标记 – 革除（CMS）算法收集器。然而须要留神一点，Go 在实现 GC 的过程当中，过多地把重心放在了暂停工夫——也就是 Stop the World（STW）的工夫方面，然而代价是就义了 GC 中的其余个性。
    咱们晓得，GC 有很多须要关注的方面，比方吞吐量——GC 必定会减慢程序，那么它对吞吐量有多大的影响；还有，在一段固定的 CPU 工夫里能够回收多少垃圾；另外还有 Stop the World 的工夫和频率；以及新申请内存的调配速度；还有在分配内存时，空间的节约状况；以及在多核机器下，GC 是否充分利用多核等很多方面问题。十分遗憾的是，Golang 在设计和实现时，适度强调了暂停工夫无限。但这带来了其余影响：比方在执行的过程当中，堆是不能压缩的，也就是说，对象也是不能挪动的；还有它也是一个不分代的 GC。所以体现在性能上，就是内存调配和 GC 通常会占用比拟多 CPU 资源。
    咱们有共事进行过一些统计，很多微服务在晚高峰期，内存调配和 GC 工夫甚至会占用超过 30% 的 CPU 资源。占用这么高资源的起因大略有两点，一个是 Go 外面比拟频繁地进行内存调配操作；另一个是 Go 在调配堆内存时，实现绝对比拟重，耗费了比拟多 CPU 资源。比方它两头有 acquired M 和 GC 相互抢占的锁；它的代码门路也比拟长；指令数也比拟多；内存调配的局部性也不是特地好。

    援用自：https://mp.weixin.qq.com/s/0X…

  4. 因为 GC 不分代，每次 GC 都要扫描全量的存活对象，导致 GC 开销较高。（解决形式：GO 的分代 GC）

优化

强烈建议浏览官网这篇 Go 垃圾回收指南（翻译）

指标

  • 升高 CPU 占用；
  • 升高服务接口延时；

方向

  1. 升高 GC 频率；
  2. 缩小堆上对象数量；

问题：为什么升高 GC 频率能够改善提早
那么要害的一点是，升高 GC 频率也可能会改善提早。这不仅实用于通过批改调整参数来升高 GC 频率，例如减少 GOGC 和 / 或内存限度，还实用于优化指南中形容的优化。
然而，了解提早通常比了解吞吐量更简单，因为它是程序即时执行的产物，而不仅仅是老本的聚合之物。因而，提早和 GC 频率之间的分割更加软弱，可能不那么间接。上面是一个可能导致提早的起源列表，供那些偏向于深入研究的人应用。

  • 当 GC 在标记和扫描阶段之间转换时，短暂的 stop-the-world 暂停
  • 调度提早是因为 GC 在标记阶段占用了 25% 的 CPU 资源
  • 用户 goroutine 在高内存调配速率下的辅助标记
  • 当 GC 处于标记阶段时，指针写入须要额定的解决（write barrier）
  • 运行中的 goroutine 必须被暂停，以便扫描它们的根。

援用自：https://blog.leonard.wang/arc…

伎俩

其余

Java 中如何优化 GC：ZGC 在去哪儿机票运价零碎实际、Java 中 9 种常见的 CMS GC 问题剖析与解决

退出移动版