随着数据迷信在生产中的利用逐渐减少，应用N维数组灵便的表白数据变得愈发重要。咱们能够将过来数据迷信运算中的多维循环嵌套运算简化为简略几行。因为进一步开释了计算并行能力，这几行简略的代码运算速度也会比传统多维循环快很多。这种数学计算的包曾经成为于数据迷信，图形学以及机器学习畛域的规范。同时它的影响力还在一直的扩充到其余畛域。
在Python的世界，调用NDArray的规范包叫做NumPy。然而现在在Java畛域中，并没有与之同样规范的库。为了给Java开发者发明同一种应用环境，亚马逊云服务开源了DJL，一个基于Java的深度学习库。只管它蕴含了深度学习模块，然而它最外围的NDArray零碎能够被用作N维数组的规范。它具备低劣的可扩展性，全平台反对，以及弱小的后端引擎反对（TensorFlow、PyTorch、Apache MXNet）。无论是CPU还是GPU，PC还是安卓，DJL都能够轻而易举的实现工作。
下文将介绍NDArray，并通知大家如何写与NumPy同样简略的Java代码，以及如何将NDArray应用在事实中的利用之中。
装置DJL
能够通过下方的配置来配置gradle我的项目，或者也能够跳过设置间接应用咱们的在线JShell。
plugins {id 'java'}repositories {jcenter()}dependencies {implementation "ai.djl:api:0.6.0"// PyTorchruntimeOnly "ai.djl.pytorch:pytorch-engine:0.6.0"runtimeOnly "ai.djl.pytorch:pytorch-native-auto:1.5.0"}而后，咱们就能够开始上手写代码了。
基本操作
首先尝试建设一个Try block来蕴含咱们的代码（如果应用在线JShell可跳过此步）：
try(NDManager manager = NDManager.newBaseManager()) {}NDManager是DJL中的一个Class，能够帮忙治理NDArray的内存应用。通过创立NDManager，咱们能够更及时地对内存进行清理。当这个Block里的工作运行实现时，外部产生的NDArray都会被清理掉。这个设计保障了咱们在大规模应用NDArray的过程中，能够通过清理其中的NDManager来更高效地利用内存。为了做比照，咱们能够参考NumPy在Python之中的利用。
import numpy as np创立NDArray
Ones是一个创立全是1的N维数组操作。
Python (Numpy)
nd = np.ones((2, 3))[[1. 1. 1.][1. 1. 1.]]Java (DJL NDArray)
NDArray nd = manager.ones(new Shape(2, 3));/*ND: (2, 3) cpu() float32[[1., 1., 1.],[1., 1., 1.],]*/咱们也能够尝试生成随机数。比方须要生成一些从0到1的随机数：
Python (Numpy)
nd = np.random.uniform(0, 1, (1, 1, 4))# [[[0.7034806 0.85115891 0.63903668 0.39386125]]]Java (DJL NDArray)
NDArray nd = manager.randomUniform(0, 1, new Shape(1, 1, 4));/*ND: (1, 1, 4) cpu() float32[[[0.932 , 0.7686, 0.2031, 0.7468],],]*/这只是简略演示一些罕用性能。当初NDManager反对多达20种在NumPy中创立NDArray的办法。
数学运算
咱们能够应用NDArray进行一系列数学操作。假如想对数据做一个转置操作，而后对所有数据加一个数的操作。能够参考如下的实现：
Python (Numpy)
nd = np.arange(1, 10).reshape(3, 3)nd = nd.transpose()nd = nd + 10[[11 14 17][12 15 18][13 16 19]]Java (DJL NDArray)
NDArray nd = manager.arange(1, 10).reshape(3, 3);nd = nd.transpose();nd = nd.add(10);/*ND: (3, 3) cpu() int32[[11, 14, 17],[12, 15, 18],[13, 16, 19],]*/DJL当初反对60多种不同的NumPy数学运算，根本涵盖了大部分的利用场景。
Get和Set
其中一个对于NDArray最重要的亮点就是它轻松简略的数据设置/获取性能。咱们参考了NumPy的设计，将Java过来对于数据表白中的艰难做了精简化解决。假如想筛选一个N维数组所有小于10的数：
Python (Numpy)
nd = np.arange(5, 14)nd = nd[nd >= 10]# [10 11 12 13]Java (DJL NDArray)
NDArray nd = manager.arange(5, 14);nd = nd.get(nd.gte(10));/*ND: (4) cpu() int32[10, 11, 12, 13]*/是不是非常简单？接下来，咱们看一个略微简单一些的利用场景。假如当初有一个3×3的矩阵，而后咱们想把第二列的数据都乘以2:
Python (Numpy)
nd = np.arange(1, 10).reshape(3, 3)nd[:, 1] *= 2[[ 1 4 3][ 4 10 6][ 7 16 9]]Java (DJL NDArray)
NDArray nd = manager.arange(1, 10).reshape(3, 3);nd.set(new NDIndex(":, 1"), array -> array.mul(2));/*ND: (3, 3) cpu() int32[[ 1, 4, 3],[ 4, 10, 6],[ 7, 16, 9],]*/在下面的案例中，咱们在Java引入了一个NDIndex的Class。它复刻了大部分在NumPy中对于NDArray反对的get/set操作。只须要简略的放进去一个字符串表达式，开发者在Java中能够轻松玩转各种数组的操作。
事实中的利用场景
上述的操作对于宏大的数据集是非常有帮忙的。当初咱们来看一下这个利用场景：基于单词的分类零碎训练。在这个场景中，开发者想要利用从用户中获取的数据来进行情感剖析预测。NDArray被利用在了对于数据进行前后解决的工作中。
分词操作
在输出到NDArray数据前，咱们须要对于输出的字符串进行分词操作并编码成数字。上面代码中看到的Tokenizer是一个Map<String, Integer>。它是一个单词到字典地位的映射。
String text = "The rabbit cross the street and kick the fox";String[] tokens = text.toLowerCase().split(" ");int[] vector = new int[tokens.length];/*String[9] { "the", "rabbit", "cross", "the", "street","and", "kick", "the", "fox" }*/for (int i = 0; i < tokens.length; i++) {vector[i] = tokenizer.get(tokens[i]);}vector/*int[9] { 1, 6, 5, 1, 3, 2, 8, 1, 12 }*/NDArray解决
通过编码操作后，咱们创立了NDArray。而后须要转化数据的构造：
NDArray array = manager.create(vector);array = array.reshape(new Shape(vector.length, 1)); // form a batcharray = array.div(10.0);/*ND: (9, 1) cpu() float64[[0.1],[0.6],[0.5],[0.1],[0.3],[0.2],[0.8],[0.1],[1.2],]*/最初，咱们将数据传入深度学习模型中。如果应用Java要达到这些须要更多的工作量：如果须要实现相似于Reshape的办法，咱们须要创立一个N维数组：List<List<List<...List<Float>...>>>来保障不同维度的可操作性。同时咱们须要可能反对插入新的List<Float>来创立最终的数据格式。
为什么应该应用NDArray呢？
通过了这个教程，大家应该取得了根本的NDArray在Java中的应用体验。然而这依然只是表象，它的很多外在价值只有在生产环境中能力体现进去。总结一下，NDArray具备如下几个长处：
- 大海捞针：轻松应用超过60个在Java中的形式实现与NumPy雷同的后果。
- 快如闪电：具备各路深度学习框架加持，DJL NDArray具备各种硬件平台的减速，比方在CPU上的MKLDNN减速以及GPU上的CUDA减速。无论多大的数据集都能够轻松应答。
- 深度学习：同时具备高维数组反对，同时具备离散数组反对。咱们能够轻松地将DJL与其余大数据或者流数据平台联合起来利用：比方分布式解决的Apache Spark平台，以及Apache Flink的流数据平台。为现有的计划构建一层深度学习的中间件。
- 离散数组当初只蕴含PyTorch中的COO以及MXNet中的CSR/Row_Sparse。
NDArray在DJL中的实现过程
大家兴许会好奇，NDArray到底是如何在DJL之中构建的呢？接下来，咱们会解说一下NDArray在DJL外部的架构。
NDArray架构
如上图所示，NDArray有三个要害的层。界面层（Interface）蕴含了所用到的NDArray，它只是一个Java的界面并定义了NDArray的输入输出构造。咱们很认真地剖析了每一个形式的应用办法以便尽可能的将它们和用户的利用场景对立以及便于应用。在引擎提供者层（EngineProvider），是DJL各种深度学习引擎为NDArray界面开发的包。这个层把原生的深度学习引擎算子表白映射在NumPy之上。这样通过这样一层转译，咱们在不同引擎上看到NDArray的体现都是统一的而且同时兼顾了NumPy的体现。在C++层，为了更便于Java应用，咱们构建了JNI和JNA暴露出C/C++等办法，它能够保障咱们有足够的办法来构建NDArray所须要的性能。同时C++与Java的间接调用也能够保障NDArray领有最好的性能。
对于DJL
Deep Java Library (DJL)是一个基于Java的深度学习框架，同时反对训练以及推理。DJL博取众长，构建在多个深度学习框架之上（TenserFlow、PyTorch、MXNet等），也同时具备多个框架的低劣个性。咱们能够轻松应用DJL来进行训练而后部署模型。
它同时领有着弱小的模型库反对：只需一行便能够轻松读取各种预训练的模型。当初DJL的模型库同时反对高达70个来自GluonCV、HuggingFace、TorchHub以及Keras的模型。NDArray的到来帮忙DJL胜利转变为Java在深度学习畛域中最好的工具。它具备平台自检测机制，无需任何额定设置，便能够在利用中构建基于CPU/GPU的代码。
在最新的版本中，DJL 0.6.0增加了对于MXNet 1.7.0、PyTorch 1.5.0和TensorFlow 2.2.0的反对。咱们同时也增加了ONNXRuntime以及PyTorch在安卓平台的反对。
请参考咱们的GitHub、demo repository、Slack channel以及知乎来获取更多信息！