关于node.js:nodejskoa以流的形式返回数据

需要背景： 我的项目中有多处下载数据的中央，有时候遇到几百万条数据，一口气返回的话，可能会导致内存不够用。

需要：是不是有一种办法，能让我循环每次取一点数据返回？

解决方案：目前想到两种——

一种是node端应用 stream 形式返回，前端用window.location.href的形式关上后端接口。

另一种是后端提供分页接口，前端应用 StreamSaver.js（文件大小无限度） 或 FileSaver.js（文件大小受限于前前端可用内存和Blob容许的最大值即2G） 保留文件。

两种办法各有劣势，按需选取。

本文先介绍第一种，另一种另起一篇文章。

服务端stream

查阅koa的文档，只须要 ctx.body= 左边的值类型是 ReadableStream 即可。那么能够用 stream.Readable，因为我不习惯stream.Readable自身的用法，所以我封装了一个繁难的函数：

/** * 创立一个可读 stream ，循环调用 getData 函数获取数据，当 该函数 返回 null 时完结，如果返回undefined，会认为是返回空字符串 * @param getData size参数是用于参考单次返回多少数据，不是说要严格依照这个。size单位应该是字节。必须返回的是 utf8 编码的 * */ function createReadableStream(  getData: (size: number) => Promise<string | null>) {  return new stream.Readable({    async read(size) {      while (true) {        let data = null        try {          data = await getData(size)        } catch (e) {          console.error('[h-node-utils-error createReadable]:', e)        }        const goContinue = this.push(data, 'utf8')        if (!goContinue || data === null) {          break        }      }    },  })}

应用办法：

ctx.set('Content-Type', 'text/csv; charset=utf-8')// 中文必须用 encodeURIComponent 包裹，否则会报 Invalid character in header content ["Content-Disposition"]ctx.set(  'Content-Disposition',  `attachment; filename=${encodeURIComponent('具体数据')}.csv`)let page = 0ctx.body = createReadableStream(async () => {  page += 1  // 这里从数据库读一页数据，  // 如果有数据，把数据转为字符串，如果是csv则够用了，如果要用Excel，须要查查有没有办法能够用  // 如果没有更多数据了，返回null})

前端浏览器间接关上该接口地址即可下载