关于深度学习:恒源云Child-Tuning-反向传播版的Dropout

5次阅读

共计 4384 个字符，预计需要花费 11 分钟才能阅读完成。

文章起源 | 恒源云社区（专一人工智能 / 深度学习云 GPU 服务器训练平台，官网体验网址：gpushare.com/）

原文地址 |https://bbs.gpushare.com/topic/693/child-tuning-%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%89%88%E7%9A%84dropout?_=1636359613997

这篇文章次要是对 EMNLP2021 上的论文 Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning 进行解说。论文题目有些形象，然而用作者的话来说，这篇论文的思维能够归结为两个词：Child Tuning

尽管这篇文章次要针对 NLP 工作以及 NLP 相干的模型，但实际上我看完之后感觉这是一个通用的办法，CV 畛域也能够应用。具体来说，目前预训练模型的参数十分大，在上游工作中，咱们只能用无限的训练集对模型进行微调，有一种螳臂当车的感觉，因而作者提出了一种新的微调办法——Child Tuning。如果用一句话概述其思维那就是：在反向流传过程中，咱们不必更新所有的参数，只更新某些参数即可，而这些被更新的参数所对应的网络结构，咱们叫做 Child Network（子网络）

如上图所示，下面一行是失常的反向流传过程，其中

下标 0 不是指某一个参数，而是指第 0 个迭代过程，\(\eta\)是学习率。对于上面一行来说，\(Δw _0\)有一部分被 MASK 掉了，导致这外面的梯度为 0

其中，\(M\)矩阵内的元素非 0 即 1，\(\odot\)是矩阵内的元素做对应地位相乘。咱们能够用两步来概括 Child Tuning 的过程：

在预训练模型中发现并确认 Child Network，并生成对应 Weights 的 0 -1 MASK
反向流传计算完梯度后，仅对 Child Network 中的参数进行更新

所以当初的问题是如何确认 Child Network？

HOW TO FIND CHILD NETWORK?
实际上咱们并不需要真的找到 Child Network，只有确定矩阵 \(M\)即可。论文提供了两种算法用于生成矩阵 \(M\)，别离是工作无关算法 Child_Tuning_F (F for Task-Free)以及与具体任务相干的算法 Child_Tuning_D (D for Task-Drivern)

Child_Tuning_F
工作无关算法的意思是与你具体所做的具体任务没有关系，都能够应用这个算法，是一种通用的办法。具体来说，此时 \(M\)是依据伯努利散布生成的

其中 \(p_F\in [0,1]\)是一个超参数，他管制着 Child Network 的大小，如果 \(p_F=1\)，则 Child Network 就是原网络，此时 Child Tuning 就是 Fine Tuning；如果 \(p_F=0\)，则没有任何参数会被更新。上面是我写的一个简略模仿的代码帮忙大家了解

import torch
from torch.distributions.bernoulli import Bernoulli

gradient = torch.randn((3, 4)) # 这里用一个随机生成的矩阵来代表梯度
p_F = 0.2
gradient_mask = Bernoulli(gradient.new_full(size=gradien.size(), fill_value=p_F))
gradient_mask = gradient_mask.sample() / p_F # 除以 p_F 是为了保障梯度的冀望不变
print(gradient_mask)

gradient *= gradient_mask
print(gradient)

Bernoulli是一个类，生成的 gradient_mask 是一个对象，咱们须要调用这个对象的 sample() 办法能力失去一个矩阵。其中比拟重要的一点是尽管咱们失去了 0 -1 MASK，但咱们须要将这个 MASK 内所有的 1 扩充 \(1/p_F\)倍以维持梯度的期望值

别的梯度都不在了，活着的梯度要带着其他人的意志坚强的反向流传上来啊！

Child_Tuning_D

思考到存在不同的上游工作，作者提出一种与具体任务相干的算法 Child_Tuning_D，它能够检测出对指标工作最重要的子网络（或者参数）。具体来说，作者采纳 Fisher 信息估计法来寻找与特定上游工作高度相干的参数。模式上，模型参数 \(\mathbf{w}\)的 Fisher Information Matrix(FIM)定义如下：

其中，\(x,y\)别离是输出和输入，由此咱们能够推出第 \(i\)个参数的 Fisher 信息如下：

其中，\(|D|\)是所有样本的数量。作者认为，参数对指标工作越重要，其 Fisher 信息越大，因而 Child Tuning 是由 Fisher 信息最高的那些参数组成，此时 Child Network 的比例为

其中 \(| \bar{\mathcal{C}}|\)示意非子网络，当 \(p_D=1\)时，Child Tuning 就进化为了 Fine Tuning。实际上 Fisher 信息的计算是相当耗时的，如果咱们每次反向流传后都去计算一次所有参数的 Fisher 信息，而后找出最大的前几个是很麻烦的，因而作者提出在真正开始训练之前，咱们先对所有样本进行一次残缺（一个 Epoch）的前向流传和反向流传，此时计算出 Fisher 信息最高的那些参数，以及此时确定的 Child Network 当前就不再变动了，就以这一次所选定的为准

上面给出计算 Fisher 信息的代码

def calculate_fisher():
    gradient_mask, p_F = {}, 0.2
    train_loader = torch.utils.data.DataLoader(train_dataset, batch_size, shuffle=True)
    N = len(train_dataloader) # N = |D|
    for name, params in model.named_parameters():
        if 'layer' in name:
            gradient_mask[params] = params.new_zeros(params.size())
    for batch in train_loader:
        outpus = model(**batch)
        loss = outpus['loss'] if isinstance(outpus, dict) else outputs[0]
        loss.backward()

        for name, params in model.named_parameters():
            if 'layer' in name:
                torch.nn.utils.clip_grad_norm(params, 1)
                gradient_mask[params] += (params.grad ** 2) / N
        model.zero_grad()
    
    r = None
    for k, v in gradient_mask.items():
        v = v.view(-1).cpu().numpy() # flatten
        if r is None:
            r = v
        else:
            r = np.append(r, v)
    
    # polar = np.percentile(a, q) # a 中有 q% 的元素小于 polar
    polar = np.percentile(r, (1-p_F)*100)
    for k in gradient_mask:
        gradient_mask[k] = gradient_mask[k] >= polar
    print('Polar => {}'.format(polar))

    return gradient_mask

PROOF
如果这篇论文就讲了这些货色，很大概率是中不了 EMNLP 的，之所以被录用了，我集体感觉和这篇论文里大量的证实无关，作者证实了应用 Child Tuning 能够帮忙模型逃离部分极小值点，接下来我尝试着把论文中的证实局部说分明

首先咱们假如 \(\mathbf{g}^{(i)}\)是给定样本 \(\mathbf{x}^{(i)}\)时参数 \(\mathbf{w}\)的梯度，并且它遵从正态分布, 定义 \(\mathbf{g}=\sum\limits_{i=1}^{|\mathcal{B}|}\frac{\mathbf{g}^{(i)}}{|\mathcal{B}|}\)，则有

对于 \(\mathbf{g}\)，咱们有

设 \(\hat{\mathbf{g}} = \frac{\mathbf{g}}{p}\odot M\)，其中 \(p\)是 \(p_D 或 p_F\)（看你用的哪种算法），则

下面的公式推导其实并不严格，例如分子的 \(p\)是从哪来的就没法解释，分子的 \(p\)只有可能是 \(\mathbb{E}[M]\)的后果，可是 \(M\)是个矩阵，矩阵的冀望怎么就变成一个数了呢？但要强行解释也能够，因为将 \(M\)中所有的 1 加起来除以 \(M\)内的所有元素仿佛也是等于 \(p\)的设 \(\hat{g_i}, g_i\) 别离是 \(\hat{\mathbf{g}}, \mathbf{g} ,\)第 \(i\)维度上的值，那么有 \(\hat{g_i} = \frac{g_i}{p}\odot M_i\)

因而

最终咱们就失去

特地地，当参数 \(\mathbf{w}\)训练到部分极小值点时，\(\frac{\partial{\mathcal{L}}}{\partial \mathbf{w}}=0 \)，此时 \(E[Δw]=0,\Sigma[\Delta \mathbf{w}] = \frac{\eta^{2} \sigma_{\mathbf{g}}^{2} \mathbf{I}_{k}}{p|\mathcal{B}|}\)，咱们留神到 \(Σ[Δw]\)是对于 \(p\)的一个递加函数，\(p\)越大，\(Σ[Δw]\)越小，极其状况是 \(p=1\)，此时 Child Tuning 进化为 Fine Tuning，并且 \(Σ[Δw]\)最小，相当于它的变动量每次都不大，因而就很难跳出部分极小值点；\(p\)越小，\(Σ[Δw]\)越大，相当于它的变动量每次都很大，因而比拟容易跳出部分极小值点

集体总结

这篇论文刚读的时候感觉很厉害，但实际上理解之后就感觉这其实就是一个反向流传版的 Dropout，理论的翻新并没有特地大，包含其中提到的 Fisher 信息也并不是这篇论文提出来的。再就是论文中的试验的确很多，试验结果表明，相比于 Fine Tuning 大概能够晋升 1.5～8.6 个点不等。最初要说一下这篇论文的公式证实局部，我集体感觉这篇论文的证实其实没有很谨严，例如为什么一个矩阵的冀望就变成一个数了。总的来说这个办法能够作为打较量时候的一个 Trick 来应用

U1S1，1 年 1 度 GPU 云种草大会，十大流动礼包等你来拿哦～

正文完