Intel

前言 我老爹已经传授给我一个古老的智慧：如果你是手艺人，那么你就要对靠着吃饭的家伙式非常相熟。自从我毕业开始从事图像方面的工作，我更加发现这句话的重要性。我工作中接触不少算法工程师，算法设计和模型推理过程曾经逐渐变成黑盒模式。仿佛能跑起来就是“理所因当”的，漠视效率在理论业务交付中的重要性。 本系列的文章就是为了扭转这种思考误区存在. 2012年AlexNet的横空出世，其中训练用的G580 3G的奉献被大大低估了。直到2023年，ChatGPT的呈现，大家才猛然发现，A100在其中的奉献比例超乎设想。根本所有人都陷入数据处理效率比不上模型自身重要的误区，所有人就感觉在训练和推理模型上浪费时间是“理所应当”。 然而，我回绝。我回绝将模型推理作为一个黑盒，所以我走向底层，去钻研怎么让计算算得更快，如何缩小应用指令数量来实现性能。我走向C和C++，我抉择去了解计算机体系结构的利用。 这系列文章的目标是编写本人的机器学习框架，所以我会从学习ncnn开始，会从C和汇编开始。我心愿阅读者懂一些机器学习的基础知识，感兴趣于推理框架设计和Layer优化。 本系列会先探讨密集计算的Intrinsic 和inline Assembly优化技术，进一步探讨针对某个Layer，ncnn是如何在Intel 和Arm上都进行优化的。所有代码都会依照TDD的分析方法，把Layer底层逐渐拆出来进行解析。 目录Intrinsicinline AssemblyConv im2col sgemmConv Winograd ncnn Layer解析是个巨量的工程，咱们会先以Conv为例,先探讨根底的矩阵优化，进一步探讨im2col_sgemm,最初咱们才会到ncnn目前所应用的技术Winograd中。 补充材料ncnnGiantPandaCValgorithmica 感激以上材料的作者，及材料自私的contributors 更新日志2023-04-20 更新AI算法优化总览文章本文参加了SegmentFault 思否写作挑战赛，欢送正在浏览的你也退出。

参考资料： 《Intel® 64 and IA-32 Architectures Software Developer’s Manual》在文中简称《手册》寄存器的分类Basic Program Execution Registers1Memory-Management Registers2Controll Registers31、Basic Program Execution Registers(BPER)IA-32 architecture provides 16 basic program execution registers for use in general system and application programing从这段形容能够看出，BPER 是提供给软件开发人员编程时应用的。16 个寄存器的构造和分类见下图： 1.1、通用寄存器通用寄存器用来保留算数/逻辑运算的操作数、地址计算操作数、内存指针、运算后果等。此外，一些指令会赋予通用寄存器非凡的用处（比方：对于字节乘法运算，MUL 指令规定 AL 保留被乘数，AX 保留运算后果；MOVSB 指令进行字符串拷贝时，依据 DS:(E)SI 和 ES:(E)DI 来确定源字符串和指标字符串的起始地址）。《手册》中对通用寄存器的非凡用处做了以下总结： 2、Memory-Management Registers3、Controll Registers参考资料：《Intel® 64 and IA-32 Architectures Software Developer’s Manual》 详见《手册》 Vol-1 Section-3.4 ↩ 详见《手册》 Vol-3 Section-2.4 ↩ 详见《手册》 Vol-3 Section-2.5 ↩

本周「龙蜥大讲堂」预报来啦！社区邀请了龙蜥社区云原生秘密计算 SIG Maintainer、Intel 高级云计算工程师朱运阁分享《Intel 开源秘密计算社区 CCZoo》主题演讲、零碎运维 SIG Contributor 韩笑分享《SysOM 2.0 操作系统迁徙施行》，快来扫码入群，预约前排小板凳观看直播！ 彩蛋直播内容介绍直播主题：Intel 开源秘密计算社区 CCZoo 直播工夫：2023 年 02 月 22 日（周三）16：00-17：00 直播内容： 1、秘密计算介绍； 2、Intel TEE (SGX,TDX)介绍； 3、CCZoo开源我的项目介绍； 4、平安解决方案参考案例分享。 听众受害： 带大家理解 Intel SGX 和 TDX 技术背景介绍、CCZoo 背景介绍、CCZoo 典型案例剖析。 适宜人群：秘密计算畛域的爱好者，开发人员。 讲师介绍： 朱运阁，龙蜥社区云原生秘密计算 SIG Maintainer、Intel 高级云计算工程师，专一于以 Intel SGX 和 TDX 为主的秘密计算平安解决方案设计和研发；Intel 开源社区 CCZoo 的发起者和维护者。 SysOM 2.0系列直播内容介绍直播主题：SysOM 2.0 操作系统迁徙施行 直播工夫：2023 年 02 月 23 日（周四）16：00-17：00 直播内容：解说迁徙工具的架构及其工作原理，随后对迁徙失败后回滚的计划进行论述，最初对迁徙工具的应用办法进行介绍，并对常见问题进行解答。 听众受害：帮忙用户了解迁徙工具的工作原理，提供对迁徙工具进行性能扩大的思路以及向迁徙工具奉献代码的流程。 适宜人群： CentOS 服务端研发工程师、运维工程师，心愿定制本人迁徙工具的研发工程师 讲师介绍： 韩笑，龙蜥社区零碎运维 SIG Contributor ，毕业于北京邮电大学信息与通信工程学院，目前负责操作系统迁徙工具以及备份还原工具的研发和保护。 ...

本周「龙蜥大讲堂」预报来啦！龙蜥社区邀请了 Intel Arch SIG Maintainer、英特尔 AI 软件开发工程师黄文欢，英特尔软件工程师王林分享《Intel Arch SIG 月会》；eBPF 技术摸索 SIG Contributor 陈书意分享《 eBPF 在低内核版本的运行原理》，快来扫码入群，预约前排小板凳观看直播吧！ 直播主题及内容介绍一、Intel Arch SIG 月会直播工夫：2022 年 09 月 14 日 （明天）15：00-16:00 直播内容： Intel Advanced Matrix Extensions (Intel AMX)是英特尔在行将公布的第四代英特尔至强可扩大处理器上引入的全新的减速引擎，通过指令集层面的反对来显著减速深度学习算法中的张量计算。它蕴含一组被命名为 TILE 的二维寄存器，以及称之为 TMUL（Tile Matrix Multiply Unit）的硬件逻辑，用来实现减速基于 TILE 寄存器的矩阵运算。 Intel AMX 反对 INT8 和 BF16 这两种业界广泛应用的数据类型，领有可扩大的硬件架构和优化的软件生态（AI Framework，Libraries & Toolkits），是英特尔至强可扩大处理器内建的适配 AI 减速场景的重要构件。 听众受害： 理解 AMX 的技术细节、内核及龙蜥社区的反对状况，以及如何利用 AMX 进行基于 CPU 的 AI 优化。 适宜人群：芯片从业者、AI 从业者、高性能计算从业者。 讲师介绍： 黄文欢，龙蜥社区Intel Arch SIG Maintainer、英特尔 AI 软件开发工程师，深耕于英特尔 x86 平台的 AI 性能优化。 ...

作者：韩信子@ShowMeAI 机器学习实战系列：https://www.showmeai.tech/tutorials/41 本文地址：https://www.showmeai.tech/article-detail/295 申明：版权所有，转载请分割平台与作者并注明出处 珍藏ShowMeAI查看更多精彩内容咱们在利用机器学习模型时，除了最终成果，也十分关注它们的性能。而机器学习模型的性能，不仅仅取决于咱们的利用形式（特色多少、模型复杂度），也和硬件非亲非故。 在本篇内容中，ShowMeAI 要给大家介绍到的是 Intel 针对 Scikit-Learn 机器学习工具库做的减速不定，能够十分大程度减速咱们的模型训练与预测速度。 在咱们的机器学习利用案例中，应用intel拓展减速的形式，仅仅破费原始建模形式1/5的工夫，能够实现一样的工作达到统一的成果。 Scikit-Learn （SKlearn) 机器学习工具库Scikit-Learn （Sklearn) 是 Python 中最有用和最弱小的机器学习库。 它通过 Python 中的接口为机器学习和统计建模提供了一系列无效工具，包含分类、回归、聚类和降维。 SKLearn 官网 SKLearn Github SKLearn 的疾速应用办法也举荐大家查看[ShowMeAI](https://www.showmeai.tech/)的文章和速查手册： 机器学习实战 | SKLearn入门与简略利用案例机器学习实战 | SKLearn最全利用指南AI 垂直畛域工具库速查表 | Scikit-Learn 速查表 面向 Scikit-Learn 的英特尔扩大Scikit-Learn是一个大而全的工具库，但它的性能并不总是最佳的，有时候一些 ML 算法可能须要数小时能力运行，工夫老本很高。 面向 Scikit-Learn 的英特尔扩大（Intel(R) Extension for Scikit-learn）只需在大家相熟的建模办法根底上，增加几行代码，就能显着晋升性能，而且它也是开源的。 scikit-learn-intelex 提速成果通过 scikit-learn-intelex 优化算法运行形式，能够取得 1-3 个数量级的效率改良，最终取决于应用到的数据集和算法。 Intel Extension for Scikit-Learn 提供了许多 Scikit-Learn 算法（下表）的优化实现，这些算法与原始版本统一，有一样的最终后果。即便大家应用到了以后拓展不反对的算法或参数，工具包也会主动退回到原始 Scikit-Learn，保障大家无缝连接，大部分代码能够维持原来的模式，无需重写代码。 ...

采访整顿：Segmentfault 思否｜技术编辑 朱玲采访嘉宾：Grace 练丽萍 Intel 软件与先进技术事业部 Intel 开源云计算软件研发团队主管近年来，随着 OpenStack 技术的演进与大规模部署，寰球云计算翻新、开源云技术倒退进入了新阶段。在科技界巨头纷纷布局，踊跃拥抱开源、深耕云计算开源技术畛域的大趋势下，越来越多的开源基础设施技术开始不断涌现，且已在各畛域大规模部署和利用。这其中，就包含致力于“盘活”整个开源云计算“生态”的 Intel 技术及其开源奉献。 作为芯片“大厂”，Intel 近年来始终在云计算、开源云技术畛域方面一直发力，为云计算基础设施提供技术创新和技术撑持。而实力的背地，离不开日复一日磨砺和保持翻新的技术研发团队。 工程师出身的技术研发部主管练丽萍，自 1997 年退出 Intel 后就始终在 SSG(Software & Service Group, 软件和服务事业部)从事研发工作，目前在 Intel 美国总部率领云计算相干软件研发团队从事云计算相干系统软件研发，至今已在 Intel 工作近 25 年。 多年来，练丽萍 敢于创新一直率领团队胜利攻克了一个又一个技术挑战。21 年前（2001年），练丽萍凭着一股子激情和执着，以初生牛犊不怕虎的精力率领团队击败劲敌拿下的电信级 Linux 我的项目，现在该我的项目组织曾经在中国成长成为了一个有着好几百员工的开源技术研发团队，就是大家所熟知的 Intel 开源技术核心。 前段时间，Segmentfault 思否 就专访到了 Intel 云计算相干系统软件研发团队的“老大”练丽萍（Grace）女士，就 Intel 正在从事的云计算基础设施等开源我的项目、技术以及云原生开源软件研发方面的投入、Intel 的凋谢文化等相干议题做了分享。 本次采访共围绕10个问题为主线来开展一些探讨，以下内容整顿自访谈实录。 Segmentfault: 对于您本身所经验的背景、目前所在部门和负责的业务？练丽萍：“我英文叫 Grace Lian，中文叫练丽萍，我是中国人。” 自 1997 在中国退出 Intel 后，我始终在中国 Intel 工作了很多年，且始终从事开源计算中心相干软件研发工作，刚于几年前调入 Intel 美国总部寰球团队，目前次要负责 Intel 开源云计算软件尤其是云原生和云根底软件方面的研发和策略。 在 2001 年，我帮忙 Intel 在中国成立了第一个 Linux 的工程师团队，这对过后的中国来说是十分“超前”了。现在这个团队曾经缓缓成长成为了一个开源技术核心—— OTC（Intel Open Source Technology Center），在那里，开源技术专家正扎根中国与来自寰球的工程师们独特推动开源软件的开发。 ...

近期，首批搭载英特尔 12 代酷睿 i9 处理器的产品曾经正式上线，英特尔此前曾宣称其新一代酷睿 i9 处理器性能能够超过苹果公司目前最弱小的 M1 Max 芯片。、 外媒 Macworld 就微星 MSI GE76 的理论体现，做了跟苹果 M1 Max（16 英寸 MacBook Pro）的性能比照。 依据测试，搭载酷睿 i9-12900HK 处理器的 GE76 笔记本的 Geekbench 5 多核跑分后果为 12707，单核得分为 1838；而搭载苹果 M1 Max 芯片的 16 英寸 MacBook Pro Geekbench 5 多核跑分为 12244，单核为 1774。 通过上述跑分比照，这意味着酷睿 i9-12900HK 处理器的多核性能比 M1 Max 晋升 4%，单核性能晋升 3.5%。 然而，当运行 Cinebench R23 CPU 测试时，酷睿 i9-12900HK 的功耗为 100W，峰值更是高达 140W，作为比照，16 英寸 MacBook Pro 运行雷同测试时，功耗只有约为 39.7 W。 在功耗上的差距过大，也导致了两款产品的续航体现不同：在播放离线视频时，微星 MSI GE76 Raider 续航工夫只有约 6 个小时，而 MacBook Pro 却达到了约 17 个小时。 ...

英特尔发表在新任首席执行官 Pat Gelsinger 的领导下对其业务构造进行重组，设立一些部门以增强其对网络和边缘、软件和计算产品的关注。 该公司的数据平台团体被调整为两个新的部门：一个是数据中心和人工智能部门，由长期负责执行副总裁兼总经理的桑德拉-里维拉领导；另一个是网络和边缘部门，该部门联结了以前的网络平台、物联网和连贯部门。后者将由斯坦福大学传授和 Barefoot Networks 联结创始人 Nick McKeown 领导。英特尔在 2019 年收买了 Barefoot Networks，之后 McKeown 负责了英特尔兼职高级研究员。 芯片制造商英特尔公司 6 月 22 日示意，它还将创立两个新的业务部门，别离专一于软件和高性能计算及图形。 英特尔还示意，现任高管 Sandra Rivera 和 Raja Koduri 将负责新的高级领导职务，而技术行业的资深人士 Nick McKeown 和 Greg Lavender 将退出该公司。 最近负责 VMware 高级副总裁兼首席技术官的 Lavender 将负责新的软件和先进技术团体的总经理，而 Koduri 将领导一个减速计算零碎和图形团体。 科杜里是苹果公司（AAPL.O）和先进微设施公司（AMD.O）的资深员工，他将领导新的小组，负责与竞争对手英伟达公司（NVDA.O）竞争，因为人工智能和机器学习软件的衰亡，英伟达的图形芯片在数据中心取得了位置。 尽管英特尔在制作业务上的失误导致其旗舰中央处理器落后于竞争对手，但该公司对其图形芯片采取了不同的做法，容许在其余中央生产。路透社往年早些时候报道称，英特尔打算利用台湾中芯国内集成电路制作有限公司（2330.TW）来更好地与英伟达的芯片竞争。 在给软件开发商提供为其芯片编写代码的工具后，Nvidia 也在英特尔背后获得了劣势。这些工作将是 Lavender 新成立的小组的重点。英特尔曾经示意，它正在开发软件工具，为新型芯片（如基于开源 RISC-V 架构的芯片）编写应用程序。 里维拉、麦基翁、拉文德和科杜里将间接向英特尔首席执行官帕特-盖尔辛格报告。 在里维拉之前负责数据中心组的纳文-希诺伊（Navin Shenoy）将于 7 月 6 日来到英特尔。 "Moor Insights & Strategy 公司的首席分析师 Pat Moorhead 说："我置信在这个时刻，一个更扁平的组织是更好的，因为它应该可能更快地做出决策和执行。"尽管英特尔依然领有超过 90%的通用服务器处理器份额，但它在五年前的确领有 98%的份额，我认为这是一个难以解脱的光环。"

文章首发：申耀的科技察看 毫无疑问，目前寰球软件行业有两个重要的趋势：一方面是“软件当初吞噬所有”，每一家公司都正在变成软件公司；另一方面是“开源也在吞噬所有”，越来越多的公司也都在拥抱开源，回馈开源。 英特尔也不例外，过来几年英特尔开始开启了由“以PC为核心”向“以数据为核心”的业务转型，而在“以数据为核心”的业务转型当中，英特尔又提出了包含制程与封装、XPU架构、内存与存储、互连、平安、软件在内的六大技术支柱。 目前，英特尔在软件畛域已造成了涵盖固件IP与BIOS、硬件驱动、操作系统、虚拟化和云计算编排、底层零碎库、中间件与框架层以及运行库、应用程序在内的弱小软件栈生态圈；除此之外，英特尔拥抱开源也超过20多年的工夫，特地是在Linux Kernel/KVM 两大社区中，英特尔代码奉献量更是长年高居第一。 从这个角度来说，软件已深深地植入到英特尔的“基因”之中。那么，在数智化转型的浪潮之下，英特尔又如何开释本身软件和开源凋谢的力量，推动新架构、新技术和新业务的减速落地呢？ 软件优先 咱们晓得，在往年8月举办的英特尔“架构日2020”流动上，英特尔颁布了包含Tiger Lake SoC、Xe GPU、SuperFin晶体管工艺、FPGA路线图、oneAPI框架等一系列最新的技术停顿，特地是Xe GPU的呈现，也正式宣告英特尔实现了Scalar（CPU）、Vector（GPU）、Matrix（ASIC）、Spatial（FPGA）四大计算类型芯片的全笼罩。 对此，英特尔架构、图形和软件团体副总裁兼中国区总经理谢晓清示意，随着异构计算的强势崛起，利用场景越来越多样化，以及用户对利用体验谋求的一直进步，这些都对软件提出了前所未有的挑战和要求。为此，英特尔也“与时俱进”的提出了全新的软件策略，心愿能更好的施展出软件的价值劣势，具体而言： 一是，软件优先。从计算的角度来看，英特尔过来几十年在CPU上构建的软件生态是一笔贵重的“财产”，这让英特尔无论是在编程语言、零碎库还是工具链方面都有着弱小的生态反对，但Xe GPU毕竟刚刚“锋芒毕露”，将来在图形、多媒体、计算畛域都须要更弱小的软件撑持，在这方面英特尔则能够利用现有的软件生态作为根底，为Xe GPU下一步的倒退打下一个更好的终点和根底。 二是，易于扩大。目前GPU市场中的细分畛域十分多，不同市场须要不同的功耗，不同的性能。对英特尔来说，将来也也心愿可能最大限度的失去所有GPU开发者的反对，因而软件的可扩展性就变得至关重要。 三是，全新的计算负载和用户场景。目前，面对越来越多样化的工作负载和利用场景，传统的软件和解决方案已“疲于应答”，因而英特尔软件将来的重点和方向，将是倒退新的计算负载和用户场景，这是将来的大势所趋，也是英特尔差异化的价值所在。 不仅如此，在英特尔全新软件策略的落地中，oneAPI无疑也表演了一个非常要害的角色。在往年稍早之前，英特尔公布了oneAPI的全新标准，12月又公布了oneAPI的Gold版本，全新版本中外围是Data Parallel C++ （DPC++），这是建设在 C++ 和 Khronos SYCL 规范之上的语言，除了基于 LLVM/Clang 的 DPC++ 编译器工具链外，oneAPI 还蕴含了许多库，如深度学习的 oneDNN、作为数学内核库的oneMKL、用于剖析的oneDAL、用于线程的oneTBB，以及用于视频解决的oneVPL 等软件组件。 谢晓清认为，oneAPI可能给开发者带来三个方面的价值：包含能给开发者一个十分敌对的编程环境，使得开发者能够自由选择它的硬件平台；英特尔提供的编译器、零碎都是高度优化的，因而开发者能够实现最大化的硬件产能，并且能以最优的形式反对不同异构计算的硬件加速。此外，它的开发模式十分疾速、高效，这样就使得原码的保护老本能够达到最低。 “oneAPI的口号是‘No Transistor Left Behind’，而往年12月份推出的全新Gold版本将会率先反对CPU和GPU，今后oneAPI还会陆续反对其余的AI硬件加速以及FPGA等计算芯片，这样就能让开发者能够更疾速无效的实现软件的开发工作。”她说。 由此可见，在“软件优先”策略的推动之下，同时借助oneAPI这样全新的开发工具，英特尔正在使将来多计算架构的软件普及化变为“新常态”，置信也可能更好的反对更宽泛的行业生态系统和更多的开发者，在对立软件架构的赋能之下，实现利用开发翻新的“新演进”。 开源凋谢 除了强化软件的价值之外，面对数据、算法、算力独特驱动的人工智能浪潮的衰亡，英特尔也在开源凋谢方面加大了投入，其中最为标志性的事件就是去年6月英特尔在中国发表设立了大数据分析和人工智能翻新院，心愿放慢对立的大数据分析和人工智能技术的翻新和利用。 在英特尔大数据技术寰球CTO、大数据分析和人工智能翻新院院长戴金权看来，AI已成为了当下中国产业降级和企业数字化转型中的新动能和驱动力，然而AI要走向更为宽泛的产业利用，其实是一项非常复杂的精细化工程。 在此过程中，开发者往往会遭逢两大挑战：一方面是数据量十分宏大，开发者面临着如何将AI算法利用到简单的数据中去；另一方面是数据非常复杂，不同行业的AI算法定制代码工作量大，耗时长，无奈疾速实现业务上线，比方在数据标注与筹备阶段，数据标注与筹备就十分耗时费劲，约占整体开发工夫50%，所以业界常说“没有人工就没有智能”，因而如何将AI间接利用到大数据的生产环境之中，并且可能无缝的进行大规模的扩大，以达到最好的AI利用成果是目前的“事不宜迟”。 面对这种行业难题，英特尔也开源了一款大数据 AI 的开源软件平台Analytics Zoo，Analytics Zoo构建在oneAPI底层的减速库优化框架之上，可能将数据做并行化解决，无论开发者用的是TensorFlow、PyTorch、spark，Flink、Ray都能够很容易地实现部署，而不必再去做优化，最初Analytics Zoo都会主动实现集群调度和分布式计算，让整个AI的开发过程变得“行云流水”。 戴金权示意，Analytics Zoo具备端到端大数据+AI的软件能力，其中底层提供数据流水线的能力，可能帮忙开发者间接无缝的将AI模型运行在其分布式大数据上；中间层提供机器学习的工作流，可能将很多人工的作业、人工的工作自动化起来；最上层，则构建了十分多的不同利用场景，包含举荐零碎、工夫序列剖析、计算机视觉以及自然语言解决等，这也意味着大数据+AI可能以一站式开发的全新形式，进入高度自动化、智能化的新时代。 主观的说，Analytics Zoo不仅实现了赋能行业大数据+AI的利用开发者，更全面晋升行业了AI的开发效率和落地成果。“咱们始终致力于将前沿的翻新技术带给开发者，无论是2016年开源的BigDL，还是两年前开源的Analytics Zoo，目标都是心愿把端到端的大数据和AI买通，在此基础上咱们又陆续退出了AutoML等新技术，这些开源平台、开源我的项目的呈现，能够让更多的开发者轻松构建理论的利用场景。”戴金权通知我。 不难看出，当英特尔通过oneAPI买通了底层的架构之后，又通过Analytics Zoo等开源软件平台提供了一种全新的行业AI落地形式，能够说无论是对行业开发者，还是对AI走进千行百业而言，都会产生微小的作用和价值，真正让大数据+AI“无所不及”。 赋能翻新 明天，随着软件优先和开源凋谢策略的落地，英特尔的行业赋能翻新之路也越走越宽、越走越有力量。 例如，英特尔oneAPI和最新公布的GPU—SG1就在整个安卓云游戏的框架中就起了十分多的作用，这一计划无望在腾讯云上率先实现产品化。据介绍，在CPU端英特尔用容器的技术把安卓利用跑到轻量级的容器当中，这样就能充分利用英特尔至强的计算能力，提供云端协同的杀手级利用。在此基础上，英特尔Server GPU弱小的图形渲染能力以及多媒体编解码能力，则可能帮忙用户利用独立GPU把云游戏的图形界面在云端间接渲染，并且利用流媒体的形式，把它编码之后间接公布到终端。 腾讯先游云游戏平台副总经理Allen Fang，就对该计划就给予了很高的评估，认为在至强可扩大处理器和独立显卡的反对下，英特尔提供了高密度、低提早、低功耗、低TCO的解决方案，一个有两张SG1显卡的至强服务器就能运行超过100个游戏实例，包含《传说对决》和《王者光荣》这类风行的游戏。 ...