FPM 的黑魔法

首先，传统的跑在 FPM 下的 PHP 代码是没有“内存透露”一说的，所谓的内存透露就是遗记开释内存，导致过程占用的物理内存(附1)继续增长，得益于 PHP 的短生命周期，PHP 内核有一个要害函数叫做php_request_shutdown此函数会在申请完结后，把申请期间申请的所有内存都开释掉，这从根本上杜绝了内存透露，极大的进步了 PHPer 的开发效率，同时也会导致性能的降落，例如单例对象，没必要每次申请都从新申请开释这个单例对象的内存。（这也是Swoole等cli计划的劣势之一，因为 cli 申请完结不会清理内存）。

Cli 下的内存透露

置信 PHPer 都遇见过这个报错Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 12288 bytes)，是因为向 PHP 申请的内存达到了下限导致的，在 FPM 下肯定是因为这次 web 申请有大内存块申请，例如 Sql 查问返回一个超大后果集，但在 Cli 下报这个错大概率是因为你的 PHP 代码呈现了内存透露。

常见的透露姿态有：

  • 向类的动态属性中追加数据，例如：
//不停的调用foo() 内存就会始终涨function foo(){        ClassA::$pro[] = "the big string";}
  • 向 $GLOBAL 全局变量中追加数据，例如：
//不停的调用foo() 内存就会始终涨function foo(){        $GLOBAL['arr'][] = "the big string";}
  • 向函数的动态变量中追加数据，例如：
//不停的调用foo() 内存就会始终涨function foo(){        static $arr = [];        $arr[] = "the big string";}

咱们须要检测工具

有的同学可能会说很简略嘛，把追加的变量在申请完结后unset()掉就能够了。但实在场景远没有你想的那么简略：

  • 例一：
function foo(){    $obj = new ClassA(); //foo函数完结后将主动开释 $obj对象    $obj->pro[] = str_repeat("big string", 1024);}while (1) {    foo();    sleep(1);}
上述代码 Cli 运行起来会透露吗？肉眼来看必定不会透露，因为foo()函数完结后$obj是栈上的对象主动开释掉了，但答案是可能透露也可能没透露，这取决于ClassA的定义：
class classA{    public $pro;    public function __construct()    {        $this->pro = &$GLOBALS['arr']; //pro是其余变量的援用    }}
如果ClassA的定义是下面的样子，那么这个例子就是透露的！！
  • 例二：
class Test{    public $pro = null;    function run()    {        $var = "Im global var now";//此处 $var 是长生命周期。        $http = new \Swoole\Http\Server("0.0.0.0", 9501, SWOOLE_BASE);        $http->on("request", function($req, $resp) {            //此处没有给类的动态属性赋值，没有给全局变量赋值，            //也没有给函数的动态变量赋值，然而这里是透露的，因为 $this 变成长生命周期了。            $this->pro[] = str_repeat("big string", 1024);            $resp->end("hello world");        });        $http->start();        echo "run done\n"; //输入不了        //这个函数永远不会完结，局部变量也变成了"全局变量"    }}(new Test())->run();
new Test()的本意尽管是创立一个长期的对象，然而run()办法触发了server->start()办法，代码将不向下执行，run()函数完结不了，run()函数的局部变量$var和长期对象自身都能够视为全局变量了，给其追加数据都是透露的！！
  • 例三：
因为php_request_shutdown的存在，很多 PHP 扩大其实是有内存透露的(emalloc 后没有 efree)，然而在 FPM 下是能够失常运行的，而这些扩大放到 Cli 下就会有内存透露问题，如果没有工具，Cli 下遇到扩大的透露问题，那也只能 gg 了-.-！

还有就是当咱们调用第三方的类库的函数，要传一个参数，这个参数是全局变量，我不晓得这个第三方库会不会给这个参数追加数据，一旦追加数据就会产生透露，同理他人给我的函数传的参数我也不敢赋值，第三方函数的返回值有没有全局变量我也不晓得。

综上咱们须要一个检测工具，绝对于其余语言 PHP 在这个畛域是空白的，能够说没有这个工具整个 Cli 生态就无奈真正的倒退起来，因为简单的我的项目都会遇到透露问题。

Swoole Tracker能够检测透露问题，但它是一款商业产品，当初咱们决定重构这个工具，把内存透露检测的性能（下文简称Leak工具）完全免费给 PHP 社区应用，欠缺 PHP 生态，回馈社区，上面我将概述它的具体用法和工作原理。

Swoole Tracker 用法

Leak工具的实现原理是间接拦挡零碎底层的 emalloc，erealloc，以及 efree 调用，记录一个微小的指针表，emalloc/erealloc 的时候增加，efree 的时候删除表中的记录，如果申请完结，指针表中依然有值就证实产生了内存透露，不仅能发现 PHP 代码的透露，扩大层甚至 PHP 语言层面的透露都能发现，从根本上杜绝透露问题。

应用形式很简略：

  • 返回官网下载最新的 tracker(3.0+) 扩大。
  • php.ini 退出以下配置：
extension=swoole_tracker.so;总开关apm.enable=1;Leak检测开关apm.enable_malloc_hook=1
  • 在 Cli 模式下主业务逻辑肯定是能够形象成循环体函数的，例如Swoole的OnReceive函数，workerman 的OnMessage函数，以及上文例一中的foo()函数， 在循环体主函数(下文简称主函数)最开始加上trackerHookMalloc()调用即可：
function foo(){    trackerHookMalloc(); //标记主函数，开始hook malloc    $obj = new ClassA();    $obj->pro[] = str_repeat("big string", 1024);}while (1) {    foo();    sleep(1);}

每次调用主函数完结后（第一次调用不会被记录），都会生成一个透露的信息到/tmp/trackerleak日志外面。

查看透露后果

在 Cli 命令行调用trackerAnalyzeLeak()函数即可剖析透露日志，生成透露报告，能够间接php -r "trackerAnalyzeLeak();"即可。

上面是透露报告的格局：

  • 没有内存透露的状况：

[16916 (Loop 5)] ✅ Nice!! No Leak Were Detected In This Loop

其中16916示意过程 id，Loop 5示意第 5 次调用主函数生成的透露信息
  • 有确定的内存透露：

[24265 (Loop 8)] /Users/guoxinhua/tests/mem_leak/http_server.php:125 => <span style="color:red">[12928]</span>
[24265 (Loop 8)] /Users/guoxinhua/tests/mem_leak/http_server.php:129 => <span style="color:red">[12928]</span>
[24265 (Loop 8)] ❌ This Loop TotalLeak: <span style="color:red">[25216]</span>

示意第 8 次调用http_server.php的 125 行和 129 行，别离透露了 12928 字节内存，总共透露了 25216 字节内存。

通过调用trackerCleanLeak()能够革除透露日志，从新开始。

技术个性（技术难点）

  • 反对持续增长检测：

设想一个场景，第一次申请运行主函数的时候申请 10 字节内存，而后申请完结前开释掉，而后第二次申请申请了 100 字节，申请完结再开释掉，尽管每次都能正确的开释内存然而每次又都申请更多的内存，最终导致内存爆掉，Leak工具反对这种检测，如果某一行代码有N次(默认 5 次)这种行为就会报"可疑的内存透露"，格局如下：

<span style="color:#b0b05f">The Possible Leak As Malloc Size Keep Growth:</span>
/Users/guoxinhua/tests/mem_leak/hook_malloc_incri.php:39 => <span style="color:red"> Growth Times : [8]; Growth Size : [2304]</span>

示意 39 行有 8 次 malloc size 的增长，总共增长了 2304 字节。

  • 反对跨 loop 剖析：
//Swoole Http Server的OnRequest回调$http->on("request", function($request, $response) {    trackerHookMalloc();    if(isset(classA::$leak['tmp'])){        unset(classA::$leak['tmp']);//每一次loop都开释上一次loop申请的内存        }    classA::$leak['tmp'] = str_repeat("big string", 1024);//申请内存 并在本次loop完结后不开释    $response->end("hello world");});

依照失常的检测透露的实践，上述代码每次都会检测出透露，因为每次都给classA::$leak['tmp']赋值并在 Loop 完结也没有开释，但理论业务代码常常这样写，并且此代码也是不会产生透露的，因为本次 Loop 的透露会在下次开释掉，Leak工具会跨相邻 2 个Loop 进行剖析，主动对冲下面这种状况的透露信息，如果是跨多个 Loop 的开释，会以如下格局输入：

[28316 (Loop 2)] /Users/guoxinhua/tests/mem_leak/hook_efree_pre_loop.php:37 => <span style="color:red">[-12288]</span>
<span style="color:#5f92b0">Free Pre (Loop 0) : /Users/guoxinhua/tests/mem_leak/hook_efree_pre_loop.php:42 => [12288]</span>
[28316 (Loop 2)] /Users/guoxinhua/tests/mem_leak/hook_efree_pre_loop.php:42 => <span style="color:red">[12288]</span>
[28316 (Loop 2)] ✅ Nice!! No Leak Were Detected In This Loop

上述信息示意 Loop 2 开释了 Loop 0 的 12288 字节内存，而后 Loop 2 又申请了 12288 字节内存，总体来说本次 Loop 跑下来没有内存透露。

  • 反对循环援用状况：

首先简略的介绍一下循环援用问题：

function foo(){    $o = new classA();    $o->pro[] = $o;    //foo完结后 $o无奈开释，因为本人援用了本人，即循环援用}while (1) {    foo();    sleep(1);}

因为循环援用，下面的代码每次运行foo()内存都会增长，然而这个代码的确没有内存透露的，因为增长到肯定水平 PHP 会开启同步垃圾回收，把这种循环援用的内存都开释掉。

然而这给Leak工具带来了麻烦，因为$o的变量是提早开释的，foo()完结后会报透露，而这种写法又的确不是透露。

Swoole Tracker的Leak工具会自动识别下面的状况，会马上开释循环援用的内存，不会造成误报。

如果你发现你的过程内存始终涨，开启了 Tracker 的透露检测，通过memory_get_usage(false);打印发现内存不涨了，那么证实你的利用存在循环援用，并且原本就没有内存透露问题。
  • 反对子协程统计：
function loop(){      trackerHookMalloc();      classA::$leak[] = str_repeat("big string", 1024);//申请内存    go(function() {        echo co::getcid() . "child\n";        go(function() {          echo co::getcid()."child2\n";          classA::$leak = [];//开释内存        });    });}Co\run(function(){    while (1) {        loop();        sleep(1);    }});

上述代码申请的内存会在第二个子协程外面开释，Leak工具会自动识别协程环境，会在所有子协程都完结后才统计汇总，所以上述代码不会有误报状况。

  • 反对 defer，context：
$http->on("request", function($request, $response) {    trackerHookMalloc();    $context = Co::getContext();    $context['data'] = str_repeat("big string", 1024);//context会在协程完结主动开释    classA::$leak[] = str_repeat("big string1", 1024);    defer(function() {        classA::$leak = [];//注册defer开释内存    });    $response->end("hello world");});

Leak工具会自动识别协程环境，如果存在 defer 和 context，会在 defer 执行完结和 context 开释之后再统计汇总，所以上述代码不会有误报状况，当然如果下面没有注册 defer 也会正确的报告透露信息。

  • 反对旁路函数烦扰排除：

例如一个过程由主函数响应申请（OnRequest 等），而后还有个定时器在运行（旁路函数），咱们心愿检测的是主循环函数的透露状况，而当主循环函数执行到一半的时候定时器函数执行了,并申请了内存，而后又切回到主循环函数，此时会误报，Leak工具会反对辨认出旁路函数而后不收集旁路函数的 malloc 数据。

除了上述这些，Leak工具还反对internd string抓取等等，在此不再开展。

留神

  • 前几次 Loop 的透露信息不必管，因为大部分我的项目都有一些初始化的缓存是不开释的。
  • 检测期间尽量不要有并发。
  • 因为开启透露检测后性能会十分差，不要在 php.ini 中开启apm.enable_malloc_hook = 1压测。
  • 和 Swoole Tracker2.x 的查看透露原理不一样，不能一起用。
  • 一个过程只能有一个中央调用trackerHookMalloc()函数。
  • Swoole4.5.3因为底层 api 有问题，Leak工具无奈失常工作，请降级到最新版Swoole或者降级Swoole版本。

附件：

  • 收费公开课--如何正确查看过程内存占用