业务需要

产品经理：小明啊，咱们须要做一个附件上传的需要，内容可能是图片、pdf 或者视频。

小明：能够实现的，不过要限度下文件大小。最好别超过 30MB，太大了上传比较慢，服务器压力也大。

产品经理：沟通下来，视频是肯定要的。就限度 50MB 以下吧。

小明：能够。

测试同学：这文件上传也太慢了吧，我试了一个 50mb 的文件，花了一分钟。

小明：whats up，这么慢。

产品经理：不行，你这太慢了，想方法优化下。

优化之路

问题定位

整体的文件上传调用链路如下图：

小明发现前端开始上传，到申请到后端就破费了近 30 秒，应该是浏览器解析文件导致的慢。

后端服务申请文件服务也比较慢。

解决方案

小明：文件服务有异步接口吗？

文件服务：临时没有。

小明：这个上传的确很慢，有优化倡议吗？

文件服务：没有，看了下就是这么慢。

小明：……

最初小明还是决定把后端的同步返回，调整为异步返回，升高用户的等待时间。

把后端的实现调整了一番适应业务，前端调用后获取异步返回标识，后端依据标识查问文件服务同步返回的后果。

毛病也很显著，异步上传失败，用户是不晓得的。

不过碍于工夫起因，也就是能权衡利弊，临时上线了。

最近小明有些工夫，于是就想着本人实现一个文件服务。

文件服务

碍于文件服务的性能十分原始，小明就想着本人实现一个，从以下几个方面优化：

（1）压缩

（2）异步

（3）秒传

（4）并发

（5）直连

压缩

日常开发中，尽可能和产品沟通分明，让用户上传 / 下载压缩包文件。

因为 网络传输是十分耗时的。

压缩文件还有一个益处就是节约存储空间，当然，个别咱们不必思考这个老本。

长处：实现简略，成果拔群。

毛病：须要联合业务，并且压服产品。如果产品心愿图片预览，视频播放，压缩就不太实用。

异步

对于比拟耗时的操作，咱们会天然的想到异步执行，升高用户同步期待的工夫。

服务端接管到文件内容后，返回一个申请标识，异步执行解决逻辑。

那如何获取执行后果呢？

个别有 2 种常见计划：

（1）提供后果查问接口

绝对简略，然而可能会有有效查问。

（2）提供异步后果回调性能

实现比拟麻烦，能够第一工夫获取执行后果。

秒传

小伙伴们应该都用过云盘，云盘有时候上传文件，十分大的文件，却能够霎时上传实现。

这是如何实现的呢？

每一个文件内容，都对应惟一的文件哈希值。

咱们能够在上传之前，查问该哈希值是否存在，如果曾经存在，则间接减少一个援用即可，跳过了文件传输的环节。

当然，这个只在你的用户文件数据量很大，且有肯定反复率的时候劣势能力体现进去。

伪代码如下：

public FileUploadResponse uploadByHash(final String fileName,
                                       final String fileBase64) {FileUploadResponse response = new FileUploadResponse();

    // 判断文件是否存在
    String fileHash = Md5Util.md5(fileBase64);
    FileInfoExistsResponse fileInfoExistsResponse = fileInfoExists(fileHash);
    if (!RespCodeConst.SUCCESS.equals(fileInfoExistsResponse.getRespCode())) {response.setRespCode(fileInfoExistsResponse.getRespCode());
        response.setRespMessage(fileInfoExistsResponse.getRespMessage());
        return response;
    }

    Boolean exists = fileInfoExistsResponse.getExists();
    FileUploadByHashRequest request = new FileUploadByHashRequest();
    request.setFileName(fileName);
    request.setFileHash(fileHash);
    request.setAsyncFlag(asyncFlag);
    // 文件不存在再上传内容
    if (!Boolean.TRUE.equals(exists)) {request.setFileBase64(fileBase64);
    }

    // 调用服务端
    return fillAndCallServer(request, "api/file/uploadByHash", FileUploadResponse.class);
}

并发

另一种形式就是对一个比拟大的文件进行切分。

比方 100MB 的文件，切成 10 个子文件，而后并发上传。一个文件对应惟一的批次号。

下载的时候，依据批次号，并发下载文件，拼接成一个残缺的文件。

伪代码如下：

public FileUploadResponse concurrentUpload(final String fileName,
                                           final String fileBase64) {
    // 首先进行分段
    int limitSize = fileBase64.length() / 10;
    final List<String> segments = StringUtil.splitByLength(fileBase64, limitSize);

    // 并发上传
    int size = segments.size();
    final ConcurrentHashMap<Integer, String> map = new ConcurrentHashMap<>();
    final CountDownLatch lock = new CountDownLatch(size);

    for(int i = 0; i < segments.size(); i++) {
        final int index = i;
        Thread t = new Thread() {public void run() {
               // 并发上传
               // countDown
               lock.countDown();}
        };
        t.start();}

    // 期待实现
    lock.await();

    // 针对上传后的信息处理
}

直连

当然，还有一种策略就是客户端间接拜访服务端，跳过后端服务。

当然，这个前提要求文件服务必须提供 HTTP 文件上传接口。

还须要思考平安问题，最好是前端调用后端，获取受权 token，而后携带 token 进行文件上传。

拓展浏览

晋升文件上传性能的 4 种形式，你会吗？

异步查问转同步的 7 种实现形式

java 压缩归档算法框架工具 compress

小结

文件上传是十分常见的业务需要，上传的性能问题是必定要思考和优化的一个问题。

下面的几种办法能够灵便的组合应用，联合本人的业务进行更好的实际。

心愿本文对你有所帮忙，如果喜爱，欢送点赞珍藏转发一波。

我是老马，期待与你的下次重逢。