大家好，今日带来的是有对于飞桨框架v2.4 AP降级的内容~快来看看是不是你所期待的新内容吧！也欢送大家分享本人的认识哦。
2022年11月，飞桨框架2.4版本公布。相比飞桨框架2.3版本，飞桨框架v2.4减少了167个功能性API，新增稠密计算(paddle.sparse)、图学习(paddle.geometric)和语音解决(paddle.audio)等更多畛域API，同时也进一步欠缺了loss计算、张量计算、分布式和视觉变换等类别的API。上面咱们将为大家具体介绍每一类新增API及其利用场景示例，不便大家疾速理解和上手应用哦~
全面反对支流模型稠密化训练及推理以后越来越多的场景有稠密计算的需要，例如3D点云图像处理和NLP中的稠密Attention等。神经网络的稠密化能够进步网络的性能，缩小计算量及内存/显存的占用，已成为深度学习的钻研热门之一。飞桨v2.4新增了如下稠密类API，反对支流稠密模型的训练和推理，并反对多种稠密Tensor格局及稠密Tensor与浓密Tensor的混合计算，同时其名称和应用形式与惯例浓密Tensor的API保持一致，不便记忆且容易上手。 稠密根底计算API：
一元计算：paddle.sparse.sin/sinh/tan/tanh/expm1/log1p/pow/square/sqrt/abs/cast/neg...二元计算：paddle.sparse.add/substract/multiply/divide...矩阵和向量计算：paddle.sparse.matmul/masked_matmul/addmm/mv...数据变形：paddle.sparse.transpose/reshape...稠密组网API：
网络层：paddle.sparse.nn.Conv3D/SubmConv3D/MaxPool3D/BatchNorm...激活层：paddle.sparse.nn.ReLU/ReLU6/LeakyReLU/Softmax...笼罩稠密计算支流利用场景3D点云指标检测CenterPoint是一种物体检测器，以点云作为输出，将三维物体在Bird-View下的中心点作为关键点，基于关键点检测的形式回归物体的尺寸、方向和速度。
飞桨框架v2.4残缺提供了这类模型须要的稠密SubmanifoldConv3D/Conv3D、稠密BatchNorm和稠密ReLU等API。模型的训练评估、动转静及推理的各项性能均已齐全实现，欢送试用。实测比业界同类竞品提速4%，训练精度晋升0.2%。
CenterPoint模型介绍https://github.com/PaddlePadd...
Sparse Transformer稠密Transformer与经典的浓密Transformer相比，能反对更长的输出序列，失去更好的网络性能。 稠密Attention的外围计算逻辑为： 飞桨框架v2.4提供稠密矩阵乘、稠密softmax等运算，可残缺反对SparseTransformer的运算。在高稠密度场景下，相比应用DenseTensor提速105.75%，相比同类产品稠密计算提速4.01%~58.55%，极致节俭显存并晋升性能。 反对多种稠密Tensor格局及稠密Tensor与浓密Tensor的混合计算飞桨API反对最常应用的稠密数据COO和CSR格局。COO为稠密数据坐标格局，CSR为压缩行信息格式。不同格局的稠密数据应用场景不同，其中SparseConv3D更适宜解决COO格局的数据，SparseTransformer中有较多取整行的操作，更适宜解决CSR格局的数据，能更好升高计算复杂度。尽管这些API有不同的格局偏向，然而飞桨稠密API在设计时，每个都尽可能反对多种稠密格局，这样在不同模型场景下解决不同的数据格式时都能够应用雷同的API，不必批改代码，更灵便且更能极致晋升性能。 以ReLU激活函数为例，其反对解决不同的稠密Tensor：
# 稠密COO Tensorcoo = paddle.sparse.sparse_coo_tensor( indices = [[0, 1, 2], [1, 2, 0]], values = [1., 2., 3.], shape = [3, 3])out = paddle.sparse.nn.functional.relu(coo)# 稠密CSR Tensorcsr = paddle.sparse.sparse_csr_tensor( crows = [0, 1, 2, 3], cols = [1, 2, 0], values = [1., 2., 3.], shape = [3, 3])out = paddle.sparse.nn.functional.relu(csr)除了反对不同的稠密格局外，对于二元计算及矩阵向量计算等API，还反对多种稠密格局和惯例的浓密格局(Dense Tessor)的混合计算，网络能够局部应用传统组网，局部应用稠密，更不便已有模型的优化：
# COO与Dense矩阵乘，返回浓密Tensorcoo = paddle.sparse.sparse_coo_tensor( indices = [[0, 1, 2], [1, 2, 0]], values = [1., 2., 3.], shape = [3, 3])dense = paddle.rand([3, 2])out = paddle.sparse.matmul(coo, dense)# CSR与Dense矩阵乘，返回浓密Tensorcsr = paddle.sparse.sparse_csr_tensor( crows = [0, 1, 2, 3], cols = [1, 2, 0], values = [1., 2., 3.], shape = [3, 3])dense = paddle.rand([3, 2])out = paddle.sparse.matmul(csr, dense)# Dense与Dense矩阵乘，返回稠密Tensorx = paddle.rand([3, 5])y = paddle.rand([5, 4])mask = paddle.sparse.sparse_csr_tensor( crows = [0, 2, 3, 5], cols = [1, 3, 2, 0, 1], values= [1., 2., 3., 4., 5.], shape = [3, 4])out = paddle.sparse.masked_matmul(x, y, mask)名称和应用形式与惯例浓密Tensor的API保持一致，不便记忆且容易上手个别模型中应用的API都是解决浓密数据(Dense Tensor)的API。飞桨SparseAPI在设计之初就思考尽可能升高了解老本，与惯例解决浓密数据(Dense Tensor)的API放弃格调统一，不便用户疾速上手。 以模型中一段ResNet稠密网络的代码为例：
import paddlefrom paddle import sparsefrom paddle.sparse import nnclass SparseBasicBlock(paddle.nn.Layer): def __init__( self, in_channels, out_channels, stride=1, downsample=None, ): super(SparseBasicBlock, self).__init__() self.conv1 = nn.SubmConv3D( in_channels, out_channels, kernel_size=3, stride=stride, padding=1) self.bn1 = nn.BatchNorm(out_channels, epsilon=1e-3, momentum=0.01) self.relu = nn.ReLU() self.conv2 = nn.SubmConv3D( out_channels, out_channels, kernel_size=3, stride=stride, padding=1) self.bn2 = nn.BatchNorm(out_channels, epsilon=1e-3, momentum=0.01) self.downsample = downsample def forward(self, x): identity = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) if self.downsample is not None: identity = self.downsample(x) out = sparse.add(out, identity) out = self.relu(out) return out能够看到，ResNet稠密网络的代码和惯例ResNet网络代码简直没有差异，只须要通过paddle.sparse.代替paddle.即可，源于飞桨Sparse系列API在整体应用上与Dense系列API高度一致。如果可能减少import门路替换，甚至原网络代码都无需改变。例如通过frompaddle.sparseimportnn，则可放弃与原来的nn.*写法完全一致，更易于上手。
新增图学习类API，反对高效图学习计算近几年，图学习相干钻研倒退迅速，在自然语言解决、计算机视觉、举荐零碎、生物化学等畛域具备较为宽泛的利用和倒退。图学习逐步成为机器学习畛域的关键技术，本次飞桨框架v2.4新增paddle.geometric图学习类API，提供更好的图学习建模和高效图学习计算体验。
高效图消息传递现有的大多数图学习框架在进行图模型设计时，通常采纳图消息传递机制的经典范式。飞桨框架v2.4新增图学习消息传递API，反对高效图消息传递。其中，新增的send_u_recv、send_ue_recv、send_uv共计3个API，通过实现原子级别的音讯发送与接管，大大减少了冗余的两头显存变量占用，从而带来显著的显存收益。在浓密图场景下，GCN、GAT等经典图神经网络模型可节俭50%+的显存，并可进一步晋升训练速度约20%。各个send_recv系列API反对sum、mean、max、min共计4个音讯聚合形式，在节点特色与边特色交互时则反对add、sub、mul、div共计4种计算形式。应用形式示例如下：
import paddlex = paddle.to_tensor([[0, 2, 3], [1, 4, 5], [2, 6, 7]], dtype="float32")y = paddle.to_tensor([1, 1, 1, 1], dtype="float32")indexes = paddle.to_tensor([[0, 1], [1, 2], [2, 1], [0, 0]], dtype="int32")src_index, dst_index = indexes[:, 0], indexes[:, 1]out = paddle.geometric.send_ue_recv(x, y, src_index, dst_index, message_op="add", reduce_op="sum")高性能图采样图采样步骤对于图采样模型特地是在大图场景下是十分有必要的，但同时也是图模型训练的性能瓶颈。本次新增了高性能图采样API，反对高并发图采样，放慢图采样模型采样和训练效率，经典图模型Graphsage的采样速度可晋升32~142倍，训练速度可晋升12~57倍。除了反对纯GPU采样和CPU采样之外，还能够反对借助UVA（Unified Virtual Addressing，对立虚构寻址）技术，将图构造搁置在内存中进行GPU采样，该实现形式在大图场景下十分无效。简略示例如下：
import paddlefrom paddle.fluid import corerow = np.array([3, 7, 0, 9, 1, 4, 2, 9, 3, 9, 1, 9, 7])colptr = np.array([0, 2, 4, 5, 6, 7, 9, 11, 11, 13, 13])row = core.eager.to_uva_tensor(row)colptr = core.eager.to_uva_tensor(colptr)nodes = paddle.to_tensor([0, 8, 1, 2])sample_size = 2# 街坊采样API的输出要求图构造信息为CSC格局neighbors, neighbor_count = paddle.geometric.sample_neighbors(row, colptr, nodes, sample_size=sample_size)# 生成重编号后的边reindex_src, reindex_dst, out_nodes = paddle.geometric.reindex_graph(nodes, neighbors, neighbor_count)新增语音畛域类API近几年，智能语音畛域疾速迅速，深度学习畛域产生了很多语音训练解决根底能力的需要。本次飞桨框架v2.4新增paddle.audio类API提供了语音根底解决能力，晋升了语音建模和学习便捷性。
高效的特征提取模块特征提取模块是深度学习语音畛域最根底的模块，特地在大规模数据训练和推理过程中，其速度为一个性能瓶颈。本次新增MFCC、Spectrogram、LogMelSpectrogram等特征提取API，反对GPU计算，相比CPU实现解决性能晋升15倍以上，可大幅晋升语音模型训练GPU利用率，达到疾速训练和推理的成果。应用示例如下：
import paddlefrom paddle.audio.features import LogMelSpectrogram#设置音频相干参数sample_rate = 16000wav_duration = 0.5num_channels = 1num_frames = sample_rate * wav_durationwav_data = paddle.linspace(-1.0, 1.0, num_frames) * 0.1waveform = wav_data.tile([num_channels, 1])#设置特色提起器相干参数feature_extractor = LogMelSpectrogram(sr=sample_rate, n_fft=512, window = 'hann', power = 1.0)feats = feature_extractor(waveform)音频解决根底模块深度学习语音畛域，除了传统的经典模型外，还有很多语音前端解决的试验须要进行，定制化语音特色的需要应运而生。本次新增窗函数、离散余弦变换等特征提取根底API，不便用户自定义语音特征提取，不便实现定制化需要。应用示例如下：
import paddle#cosine窗函数示例n_fft = 512cosine_window = paddle.audio.functional.get_window('cosine', n_fft)#高斯窗函数std = 7gaussian_window = paddle.audio.functional.get_window(('gaussian',std), n_fft)#离散余弦变换示例n_mfcc = 23n_mels = 257dct = paddle.audio.functional.create_dct(n_mfcc, n_mels)语音IO模块对各种语音数据进行读取是音频解决的根底。事实场景中语音的编码格局各式各样，所以须要IO模块灵便地反对多种格局。飞桨框架v2.4新增语音IO模块，提供2种音频I/Obackend，反对6种编解码，便捷地实现语音数据的加载。应用示例如下：
import osimport paddle#设置相干参数，生成示例音频sample_rate = 16000wav_duration = 0.5num_channels = 1num_frames = sample_rate * wav_durationwav_data = paddle.linspace(-1.0, 1.0, num_frames) * 0.1waveform = wav_data.tile([num_channels, 1])base_dir = os.getcwd()filepath = os.path.join(base_dir, "test.wav")#保留和提取音频信息paddle.audio.save(filepath, waveform, sample_rate)wav_info = paddle.audio.info(filepath)#wav_info中会有sample_rate, num_frames, num_channels等信息语音分类数据集在训练深度学习语音模型的时候，不便地下载解决数据集会为模型训练带来便捷。飞桨框架v2.4新增TESS、ESC50语音分类数据集。用户不用进行简单的预处理，能够不便地启动训练流程，便捷地实现训练。用户也能够按照此代码，不便定制本人的数据集。应用示例如下：
import paddlemode = 'dev'esc50_dataset = paddle.audio.datasets.ESC50(mode=mode, feat_type='raw')for idx in range(5): audio, label = esc50_dataset[idx] # do something with audio, label print(audio.shape, label) # [audio_data_length] , label_idesc50_dataset = paddle.audio.datasets.ESC50(mode=mode, feat_type='mfcc', n_mfcc=40)for idx in range(5): audio, label = esc50_dataset[idx] # do something with mfcc feature, label print(audio.shape, label) # [feature_dim, length] , label_id其它新增的API除了以上形容的几类新增API，飞桨框架v2.4还对已有的一些API类别进行了裁减。
loss计算API为了更不便地反对各种组网的loss计算需要，飞桨框架v2.4裁减了多个loss计算的API，包含：
paddle.nn.functional.cosine_embedding_loss依据label类型，计算2个输出之间的CosineEmbedding损失。paddle.nn.functional.soft_margin_loss计算输出和label间的二分类softmargin损失。paddle.nn.functional.multi_label_soft_margin_loss计算输出和label间的多分类最大熵损失。paddle.nn.functional.triplet_margin_loss和paddle.nn.functional.triplet_margin_with_distance_loss计算输出与正样本和负样本之间的绝对相似性，后者可自定义间隔计算函数。张量计算API飞桨框架2.3之前的版本实现了很多根底的张量计算API，飞桨框架2.4版本基于这些根底API，通过组合的形式裁减了张量计算API，不便用户间接应用，包含：
新增paddle.sgn取复数的单位值和实数的符号。新增paddle.count_nonzero沿给定的轴统计输出张量中非零元素的个数。新增paddle.take将输出张量视为一维，返回指定索引上的元素汇合。新增paddle.bucketize依据给定的一维桶划分，失去输出张量对应的桶索引。新增paddle.triu_indices和paddle.tril_indices别离取二维张量(矩阵)中上/下三角矩阵元素的行列坐标。新增paddle.heaviside计算赫维赛德阶跃函数。新增paddle.nanmedian和paddle.nanquantile疏忽张量中的nan值，别离计算出中位数和分位数值。分布式API新增10个分布式通信API，如paddle.distributed.communication.stream.all_gather等，反对在主计算流上做通信，升高了在流切换、事件期待时的性能开销，可能使分布式GPT3模型训练提速11.35%。 视觉变换API基于飞桨根底API，裁减了paddle.vision.transforms中视觉变换API，包含：
paddle.vision.transforms.affine和paddle.vision.transforms.RandomAffine对图像进行仿射变换，后者应用随机产生的仿射变换矩阵参数。paddle.vision.transforms.erase和paddle.vision.transforms.RandomErasing应用给定的值擦除输出图像中的像素，前者是选定区域，后者是随机区域。paddle.vision.transforms.perspective和paddle.vision.transforms.RandomPerspective对图像进行透视变换，前者是选定区域，后者是随机区域，两者都能够抉择插值办法。除了下面的介绍外，飞桨框架v2.4还裁减了一些组网类(如paddle.nn.ChannelShuffle)、辅助类(如paddle.iinfo)等API，具体列表可点击下方链接参考Release Note。
Release Note地址https://github.com/PaddlePadd...
结语飞桨框架的建设除了来自百度的工程师外，还有一批酷爱飞桨、酷爱开源的开发者，他们正在用本人的形式参加飞桨框架的建设，与飞桨独特成长。在飞桨框架v2.4中，有约三分之一的新增API由社区开发者奉献，飞桨的凋敝离不开宽广开发者的应用与反对。 飞桨框架v2.4逐步形成了成熟的API开发范式，框架的开发难度继续升高。配合官网提供的规范开发环境，飞桨社区开发者能够更加顺畅地实现飞桨API开发与奉献。具体体现在：
简化API开发步骤：飞桨框架v2.4实现了根底框架算子体系重构，结构高可复用的PHI算子库(Paddle HIgh reusability operator library)，反对基于已有的算子内核以及Kernel Primitives API组合实现新的算子，反对插件式接入新硬件或者新减速库。PHI算子库的成熟，晋升了飞桨API的开发效率，并造成了通用的API开发流程，使得开发者能够更加简洁流畅地参加飞桨API的开发与奉献。公布规范API奉献指南：飞桨框架v2.4造成了规范的API奉献指南，包含奉献流程与操作指南、API设计文档模板、API代码模板、API文档写作标准，为飞桨社区开发者提供清晰的文档指引与辅助，使得开发者能够疾速上手。提供规范开发环境：飞桨AIStudio平台推出规范开发环境，为开发者提供飞桨镜像环境、在线IDE与专属GPU算力，登录即可开发调试，免去环境配置与算力限度，随时随地参加飞桨框架的开发与奉献。飞桨框架v2.4提供了更加丰盛的API体系，不仅更好地反对深度学习稠密计算、图学习、语音畛域的疾速迭代和翻新，而且一直扩大对3D点云、Sparse Transformer等场景利用的反对，同时也一直优化飞桨API的应用体验，更好地反对业界论文中模型的实现，减速翻新，让基于深度学习的利用开发更简略！