关于node.js:使用-Nodejs-Stream-API-减少服务器端内存消耗的一个具体例子

让咱们看一个示例，展现在内存耗费方面，采纳流的编程思路带来的微小优越性。

咱们先创立一个大文件：

const fs = require('fs');
const file = fs.createWriteStream('./big.file');

for(let i=0; i<= 1e6; i++) {file.write('this is a big file.\n');
}

file.end();

fs 模块可用于应用流接口读取和写入文件。在下面的示例中，咱们通过一个循环写入 100 万行的可写流，向该 big.file 写入数据。

运行下面的代码会生成一个大概 400 MB 的文件。

这是一个简略的 Node Web 服务器，旨在专门为 big.file 提供服务：

const fs = require('fs');
const server = require('http').createServer();

server.on('request', (req, res) => {fs.readFile('./big.file', (err, data) => {if (err) throw err;
  
    res.end(data);
  });
});

server.listen(8000);

启动该服务器，其耗费的初始内存为 8 MB 左右。

应用浏览器拜访服务器之后，内存耗费跃升至 434.8 MB。

咱们基本上将整个 big.file 内容放在内存中，而后再将其写入响应对象。这是十分低效的。

HTTP 响应对象（下面代码中的 res）也是一个可写流。这意味着如果咱们有一个示意 big.file 内容的可读流，咱们能够将这两个相互连接起来，并在不耗费约 400 MB 内存的状况下取得简直雷同的后果。

Node 的 fs 模块能够应用 createReadStream 办法为咱们提供任何文件的可读流。咱们能够将其通过管道传递给响应对象：

const fs = require('fs');
const server = require('http').createServer();

server.on('request', (req, res) => {const src = fs.createReadStream('./big.file');
  src.pipe(res);
});

server.listen(8000);

咱们当初拜访上述从新实现过的服务器，发现内存消耗量大大降低了。

这是因为，当客户端申请该大文件时，咱们一次将其流式传输一个块，这意味着咱们基本不会将其整个的宏大文件内容缓冲在内存中。内存使用量减少了大概 25 MB，仅此而已。

咱们能够把测试场景设计得更极其一些：用 500 万行而不是 100 万行从新生成 big.file，这将使文件超过 2 GB，这实际上大于 Node.js 中的默认缓冲区限度。

如果尝试应用 fs.readFile 提供该文件，则默认状况下会呈现 out of memory 的谬误。

然而应用 fs.createReadStream，将 2 GB 的数据流式传输到请求者齐全没有问题，而且最重要的是，过程内存应用状况大致相同。