共计 1792 个字符，预计需要花费 5 分钟才能阅读完成。
不同类型 AI 服务器之比拟剖析，通过上面这张二维图中咱们能够对不同架构的服务器进行简略的比拟。
首先看下不同类型 AI 服务器的比拟，从左上方到右下角顺次是 CPU、GPU、FPGA、TPU、ASIC，从横轴来看，越往右性能 (Performance) 越好。
纵轴
Programmability/Flexibility 是指服务器的可编程性和灵活性，ASIC 的性能最好，因为它是将算法固化在芯片上，算法是比拟固定的，所以它的性能最好的，然而它的编程性和灵活性就绝对比拟弱。而 CPU 的灵活性和编程性最好，但性能最弱。
总的来说，GPU 的灵活性比 CPU 弱，但它的性能更好。往下顺次是 FPGA、TPU 以及 ASIC。
在理论抉择时须要思考到功耗、老本、性能、实时性等各方面因素，尤其是一些具备专用目标的处理器，如果算法曾经固化并且很简略，能够思考 ASIC，因为 ASIC 性能好且功耗低。如果是在训练或者通用状况下，GPU 则是更好的抉择。
抉择 GPU 服务器的根本准则
在介绍抉择 GPU 服务器的根本准则之前，先来跟大家介绍下常见的 GPU 和 GPU 服务器。
常见的 GPU，按总线接口类型能够分为 NV-Link 接口、传统总线接口以及传统 PCI- e 总线三种。
NV-Link 接口类型的 GPU 典型代表是 NVIDIA V100，采纳 SXM2 接口，在 DGX- 2 上有 SXM3 的接口。
NV-Link 总线规范的 GPU 服务器能够分为两类，一类是 NVIDIA 公司设计的 DGX 超级计算机，另一类是合作伙伴设计的 NV-Link 接口的服务器。DGX 超级计算机不仅仅提供硬件，还有相干的软件和服务。
传统总线接口的 GPU，目前支流的有这几款产品，比方采纳了 PCI- e 接口的 V100、P40(P 结尾指的是上一代 PASCAL 架构)和 P4，以及最新的图灵架构 T4 等。其中比拟薄和只占一个槽位的 P4 和 T4，通常用于 Inference，目前也曾经有成熟的模型进行推理和辨认。
传统 PCI- e 总线的 GPU 服务器也分为两类，一类是 OEM 服务器，比方曙光、浪潮、华为等其余国际品牌；另一类是非 OEM 的服务器，也包含很多品种。
抉择服务器时除了分类，还要思考性能指标，比方精度、显存类型、显存容量以及功耗等，同时也会有一些服务器是须要水冷、降噪或者对温度、移动性等等方面有非凡的要求，就须要非凡的服务器。
抉择 GPU 服务器时首先要思考业务需要来抉择适宜的 GPU 型号。在 HPC 高性能计算中还须要依据精度来抉择，比方有的高性能计算须要双精度，这时如果应用 P40 或者 P4 就不适合，只能应用 V100 或者 P100；同时也会对显存容量有要求，比方石油或石化勘探类的计算利用对显存要求比拟高；还有些对总线规范有要求，因而抉择 GPU 型号要先看业务需要。
GPU 服务器人工智能畛域的利用也比拟多。
GPU 服务器的次要利用场景
海量计算解决
GPU 服务器超强的计算性能可利用于海量数据处理方面的运算，如搜寻、大数据举荐、智能输入法等：
• 本来须要数天实现的数据量，采纳 GPU 服务器在数小时内即可实现运算。
• 本来须要数十台 CPU 服务器独特运算集群，采纳单台 GPU 服务器可实现。
深度学习模型
GPU 服务器可作为深度学习训练的平台：
1.GPU 服务器可间接减速计算服务，亦可间接与外界连贯通信。
2.GPU 服务器和云服务器搭配应用，云服务器为主 GPU 云服务器提供计算平台。
3. 对象存储 COS 能够为 GPU 服务器提供大数据量的云存储服务。
当 GPU 型号选定后，再思考用什么样 GPU 的服务器。这时咱们须要思考以下几种状况：
第一、在边缘服务器上须要依据量来抉择 T4 或者 P4 等相应的服务器，同时也要思考服务器的应用场景，比方火车站卡口、机场卡口或者公安卡口等；在核心端做 Inference 时可能须要 V100 的服务器，须要思考吞吐量以及应用场景、数量等。
第二、须要思考客户自身应用人群和 IT 运维能力，对于 BAT 这类大公司来说，他们本人的经营能力比拟强，这时会抉择通用的 PCI- e 服务器；而对于一些 IT 运维能力不那么强的客户，他们更关注数字以及数据标注等，咱们称这类人为数据科学家，抉择 GPU 服务器的规范也会有所不同。
第三、须要思考配套软件和服务的价值。
第四、要思考整体 GPU 集群零碎的成熟水平以及工程效率，比方像 DGX 这种 GPU 一体化的超级计算机，它有十分成熟的从底端的操作系统驱动 Docker 到其余局部都是固定且优化过的，这时效率就比拟高。