关于node.js:使用-Nodejs-Stream-API-减少服务器端内存消耗的一个具体例子

1次阅读

共计 1228 个字符,预计需要花费 4 分钟才能阅读完成。

让咱们看一个示例,展现在内存耗费方面,采纳流的编程思路带来的微小优越性。

咱们先创立一个大文件:

const fs = require('fs');
const file = fs.createWriteStream('./big.file');

for(let i=0; i<= 1e6; i++) {file.write('this is a big file.\n');
}

file.end();

fs 模块可用于应用流接口读取和写入文件。在下面的示例中,咱们通过一个循环写入 100 万行的可写流,向该 big.file 写入数据。

运行下面的代码会生成一个大概 400 MB 的文件。

这是一个简略的 Node Web 服务器,旨在专门为 big.file 提供服务:

const fs = require('fs');
const server = require('http').createServer();

server.on('request', (req, res) => {fs.readFile('./big.file', (err, data) => {if (err) throw err;
  
    res.end(data);
  });
});

server.listen(8000);

启动该服务器,其耗费的初始内存为 8 MB 左右。

应用浏览器拜访服务器之后,内存耗费跃升至 434.8 MB。

咱们基本上将整个 big.file 内容放在内存中,而后再将其写入响应对象。这是十分低效的。

HTTP 响应对象(下面代码中的 res)也是一个可写流。这意味着如果咱们有一个示意 big.file 内容的可读流,咱们能够将这两个相互连接起来,并在不耗费约 400 MB 内存的状况下取得简直雷同的后果。

Node 的 fs 模块能够应用 createReadStream 办法为咱们提供任何文件的可读流。咱们能够将其通过管道传递给响应对象:

const fs = require('fs');
const server = require('http').createServer();

server.on('request', (req, res) => {const src = fs.createReadStream('./big.file');
  src.pipe(res);
});

server.listen(8000);

咱们当初拜访上述从新实现过的服务器,发现内存消耗量大大降低了。

这是因为,当客户端申请该大文件时,咱们一次将其流式传输一个块,这意味着咱们基本不会将其整个的宏大文件内容缓冲在内存中。内存使用量减少了大概 25 MB,仅此而已。

咱们能够把测试场景设计得更极其一些:用 500 万行而不是 100 万行从新生成 big.file,这将使文件超过 2 GB,这实际上大于 Node.js 中的默认缓冲区限度。

如果尝试应用 fs.readFile 提供该文件,则默认状况下会呈现 out of memory 的谬误。

然而应用 fs.createReadStream,将 2 GB 的数据流式传输到请求者齐全没有问题,而且最重要的是,过程内存应用状况大致相同。

正文完
 0