乐趣区

关于算法:提升文件上传性能的-4-种方式你会吗

业务需要

产品经理:小明啊,咱们须要做一个附件上传的需要,内容可能是图片、pdf 或者视频。

小明:能够实现的,不过要限度下文件大小。最好别超过 30MB,太大了上传比较慢,服务器压力也大。

产品经理:沟通下来,视频是肯定要的。就限度 50MB 以下吧。

小明:能够。

测试同学:这文件上传也太慢了吧,我试了一个 50mb 的文件,花了一分钟。

小明:whats up,这么慢。

产品经理:不行,你这太慢了,想方法优化下。

优化之路

问题定位

整体的文件上传调用链路如下图:

小明发现前端开始上传,到申请到后端就破费了近 30 秒,应该是浏览器解析文件导致的慢。

后端服务申请文件服务也比较慢。

解决方案

小明:文件服务有异步接口吗?

文件服务:临时没有。

小明:这个上传的确很慢,有优化倡议吗?

文件服务:没有,看了下就是这么慢。

小明:……

最初小明还是决定把后端的同步返回,调整为异步返回,升高用户的等待时间。

把后端的实现调整了一番适应业务,前端调用后获取异步返回标识,后端依据标识查问文件服务同步返回的后果。

毛病也很显著,异步上传失败,用户是不晓得的

不过碍于工夫起因,也就是能权衡利弊,临时上线了。

最近小明有些工夫,于是就想着本人实现一个文件服务。

文件服务

碍于文件服务的性能十分原始,小明就想着本人实现一个,从以下几个方面优化:

(1)压缩

(2)异步

(3)秒传

(4)并发

(5)直连

压缩

日常开发中,尽可能和产品沟通分明,让用户上传 / 下载压缩包文件。

因为 网络传输是十分耗时的

压缩文件还有一个益处就是节约存储空间,当然,个别咱们不必思考这个老本。

长处:实现简略,成果拔群。

毛病:须要联合业务,并且压服产品。如果产品心愿图片预览,视频播放,压缩就不太实用。

异步

对于比拟耗时的操作,咱们会天然的想到异步执行,升高用户同步期待的工夫。

服务端接管到文件内容后,返回一个申请标识,异步执行解决逻辑。

那如何获取执行后果呢?

个别有 2 种常见计划:

(1)提供后果查问接口

绝对简略,然而可能会有有效查问。

(2)提供异步后果回调性能

实现比拟麻烦,能够第一工夫获取执行后果。

秒传

小伙伴们应该都用过云盘,云盘有时候上传文件,十分大的文件,却能够霎时上传实现。

这是如何实现的呢?

每一个文件内容,都对应惟一的文件哈希值。

咱们能够在上传之前,查问该哈希值是否存在,如果曾经存在,则间接减少一个援用即可,跳过了文件传输的环节。

当然,这个只在你的用户文件数据量很大,且有肯定反复率的时候劣势能力体现进去。

伪代码如下:

public FileUploadResponse uploadByHash(final String fileName,
                                       final String fileBase64) {FileUploadResponse response = new FileUploadResponse();

    // 判断文件是否存在
    String fileHash = Md5Util.md5(fileBase64);
    FileInfoExistsResponse fileInfoExistsResponse = fileInfoExists(fileHash);
    if (!RespCodeConst.SUCCESS.equals(fileInfoExistsResponse.getRespCode())) {response.setRespCode(fileInfoExistsResponse.getRespCode());
        response.setRespMessage(fileInfoExistsResponse.getRespMessage());
        return response;
    }

    Boolean exists = fileInfoExistsResponse.getExists();
    FileUploadByHashRequest request = new FileUploadByHashRequest();
    request.setFileName(fileName);
    request.setFileHash(fileHash);
    request.setAsyncFlag(asyncFlag);
    // 文件不存在再上传内容
    if (!Boolean.TRUE.equals(exists)) {request.setFileBase64(fileBase64);
    }

    // 调用服务端
    return fillAndCallServer(request, "api/file/uploadByHash", FileUploadResponse.class);
}

并发

另一种形式就是对一个比拟大的文件进行切分。

比方 100MB 的文件,切成 10 个子文件,而后并发上传。一个文件对应惟一的批次号。

下载的时候,依据批次号,并发下载文件,拼接成一个残缺的文件。

伪代码如下:

public FileUploadResponse concurrentUpload(final String fileName,
                                           final String fileBase64) {
    // 首先进行分段
    int limitSize = fileBase64.length() / 10;
    final List<String> segments = StringUtil.splitByLength(fileBase64, limitSize);

    // 并发上传
    int size = segments.size();
    final ConcurrentHashMap<Integer, String> map = new ConcurrentHashMap<>();
    final CountDownLatch lock = new CountDownLatch(size);

    for(int i = 0; i < segments.size(); i++) {
        final int index = i;
        Thread t = new Thread() {public void run() {
               // 并发上传
               // countDown
               lock.countDown();}
        };
        t.start();}

    // 期待实现
    lock.await();

    // 针对上传后的信息处理
}

直连

当然,还有一种策略就是客户端间接拜访服务端,跳过后端服务。

当然,这个前提要求文件服务必须提供 HTTP 文件上传接口。

还须要思考平安问题,最好是前端调用后端,获取受权 token,而后携带 token 进行文件上传。

拓展浏览

晋升文件上传性能的 4 种形式,你会吗?

异步查问转同步的 7 种实现形式

java 压缩归档算法框架工具 compress

小结

文件上传是十分常见的业务需要,上传的性能问题是必定要思考和优化的一个问题。

下面的几种办法能够灵便的组合应用,联合本人的业务进行更好的实际。

心愿本文对你有所帮忙,如果喜爱,欢送点赞珍藏转发一波。

我是老马,期待与你的下次重逢。

退出移动版