高性能计算

高性能存储 SIG（Special Interest Group）指标：存储畛域的倒退历程，实质上是存储介质与软件栈相互促进倒退的过程。高性能存储 SIG 致力于存储栈性能开掘，以后次要聚焦内核 io_uring 技术优化异步 IO 性能，应用长久化内存晋升业务单老本性能，容器场景存储技术优化等课题。高性能存储 SIG 冀望通过社区单干，打造规范的高性能存储技术软件栈，推动软硬件协同倒退。 01 SIG 整体停顿1、本月合入 Anolis 主线 PR 共计 24 个，蕴含多个重要组件的个性反对，性能优化和 bugfix 等。 2、继上个月 ANCK 5.10 反对 erofs subpage block 个性后，ANCK 4.19 也提供这一个性反对，可晋升容器镜像 tar 包解压性能以及 golden image 的安全性。 3、ANCK 4.19/5.10 反对 virtfuse 模块，可不便云原生场景下 FUSE 文件系统的部署，利用于大数据和 AI 训练的存储接入等场景。 4、ANCK 5.10 反对 io_uring nvme passthrough 个性的 PR 曾经提交 review，打算合入 5.10-15 版本，POC 数据显示相比原生的 io_uring 门路性能晋升 ~15%。 5、DSMS 开发测试实现，构建打包中，打算在 Anolis 23 中公布预览版。 02 我的项目具体停顿1）Anolis OScve：CVE-2023-0386（PR1608），CVE-2023-2269（PR1690/PR1691），CVE-2023-2513（PR1694） ...

寻因生物是一家专一于单细胞技术的生物科技企业，领有自主研发的微孔芯片与油包水双技术单细胞捕捉平台，致力于通过国产高通量单细胞全链条产品及服务，将单细胞技术普适化利用于临床及药物研发，助力相干疾病钻研。 单细胞测序技术召唤更高计算性能自单细胞测序技术问世以来，先后被 Nature Methods 评为年度技术，被 Nature 评为最值得期待的生物技术之一。相比于传统的检测技术，单细胞技术以细胞为钻研单位，用更高的分辨率揭示个体的发育及疾病产生倒退的机制。 更高的分辨率就意味着单细胞测序数据分析时须要更高的计算资源（更高的内存占用和 CPU 占用）。还要求数据分析人员有良好的编程根底、各种软件包的治理能力和较强的数据挖掘能力等，学习老本较高，这就导致了数据分析的通量和能力成为了单细胞技术疾速成绩转化的瓶颈。 阿里云 E-HPC+i4p，减速寻因生物数据分析效率为了晋升数据分析的效率、简化用户操作流程，寻因生物基于千余我的项目实战经验自主研发出 SeekSoul Online 单细胞在线生信剖析云平台。 该平台部署在阿里云 i4p 长久内存型实例中，并在实例中应用了 Memory Machine 大内存软件，岂但齐全打消磁盘读写带来的 I/O 瓶颈，还使得数据加载和导出工夫从 1000 秒缩至 2.5 秒，工作的并发能力晋升了 5 倍以上。同时，搭配的阿里云弹性高性能计算平台（E-HPC），通过对立调度不同规格云服务器，主动在业务顶峰时扩容、低谷时开释，防止了资源节约，无效保障我的项目周期。 寻因生物生信数据科学家马兴勇示意：“正是在这些技术的加持下，让咱们的 SeekSoul Online 单细胞在线生信剖析云平台能够集成多款高耗资源软件，数据库等，通过疾速解决大规模单细胞测序数据，实现从单细胞数据质控到上游剖析，再到个性化剖析，一站式、可交互式单细胞数据分析操作。真正实现了将单细胞测序技术与 IT 基础设施联合在一起，达到了 1+1>2 的成果。” 点击这里，理解阿里云高性能计算平台 E-HPC。

摘要：2022 年 8 月 5 日，2022 阿里云生命科学与智能计算峰会在北京望京昆泰酒店举办，寰球衰弱药物研发核心数据科学部负责人郭晋疆博士，带来了题为《多元科学计算零碎在药物研发管线中的搭建与实际》的分享，以下是他的演讲内容整顿，供大家阅览： 寰球衰弱药物研发核心数据科学部负责人 郭晋疆  01 科学计算驱动药物研发的趋势下图摘自 2022 年初的 Nature Reviews，能够看到以科学计算或人工智能驱动的药物研发我的项目由 2010 年的 6 个增至 2021 年的 158 个， 11 年增长超 28 倍。而传统药物研发我的项目从 705 个降至 333 个，尽管它仍然是次要的药物研发模式，但已出现降落趋势。 传统药物研发管线须要波及大量湿试验环节，且少数基于科学家的集体教训和试验后果来进行优化，优化门路长，研发老本昂扬，周期也长。与之造成比照的是以计算驱动的药物研发管线，它是一种干湿联合的模式，缩小了湿试验环节。并且很多数据驱动的办法学习了历史或寰球范畴内的试验数据，在优化化合物时更偏向于全局的优化，优化过程更快，老本更低，迭代速度也更快。 上图为寰球 24 家以科学计算/AI 驱动的生物制药公司在研药物状况，其中有 15 款计算驱动的药物曾经进入临床实验阶段。置信在不久的未来，会有更多计算驱动的药物胜利上市，惠及更多病患。 02 药物研发管线不同阶段的特质与问题寰球衰弱药物研发核心作为创新型的小分子药物研发机构，也在应用多种计算方法解决药物研发晚期阶段不同的问题。 药物研发晚期阶段的个别流程如下： Stage 1：疾病生物学，即疾病的确立。疾病能够粗略地分为外源性疾病和内源性疾病，其中外源性疾病指外来生物体或非生物体侵入人体造成的一些组织性病变，比方无害微生物、病菌、病毒、疟原虫或粉尘等非生物体；内源性疾病指人体基因变异或机能失调造成的组织性病变，比方各类肿瘤、心脑血管疾病、慢性病和常见病。 寰球衰弱药物研发核心聚焦于寰球衰弱的公共畛域，咱们不仅关注外源性的传染性疾病比方结核病、冠状病毒、疟疾和寄生虫感化，也关注内源性疾病，比方一些肠道类疾病 EED 等。 Stage 2：靶标确立与验证，即与疾病强相干的蛋白或生物标记物。此阶段会面临纷纷多样的异质化数据，钻研人员须要剖析疾病机制、疾病在生物网络通路中的体现，也会蕴含一些基因变异以及表白等多组学信息。 Stage 3：苗头化合物确立，筛选或设计可能与蛋白产生相互作用的分子，即苗头化合物。指标是一方面在分子化合库中筛选可能产生活性的小分子，另一方面也须要设计创新型的活性分子。该阶段存在并能够取得大量实体或虚构的化合物库数据，数量可达亿级，例如 Chemdiv， Zinc 等。然而针对靶标蛋白的活性化合物分子比拟稀少，尤其是一些常见性疾病或人类不是特地关注的疾病。 Stage 4：苗头-先导化合物优化 Stage 5：临床前候选药物。这 2 个阶段须要考量的不仅仅是化合物与靶标蛋白的相互作用，也要综合药代动力学、合成工艺、可成药性，如散布、代谢、毒理等，在均衡各项性质之后，优化设计出一种真正无效且平安的药物。这是一个综合优化的过程，波及到大量 ADMET 数据的收集以及训练建模。与此同时，也会有大量研发管线我的项目的试验数据。 03 多元科学计算零碎的构建 疾病的抉择到靶标确立阶段，数据纷纷多样且异质化。 针对内源性疾病，通常会进行多组学的剖析。通过剖析正常人和病患的代谢组学、基因组学或蛋白组学等多组学信息，找到与疾病强相干的 Hub 基因/蛋白或要害基因/蛋白，作为靶标的候选。失去蛋白序列之后，应用构造预测模型预测其 3D 构造。构造预测模型中，Alphafold 是近年的创新型深度学习办法，还有此前的传统机器学习、物理建模等办法也能够失去候选靶标构造。 ...

摘要：2022 年 8 月 5 日，2022 阿里云生命科学与智能计算峰会在北京望京昆泰酒店举办，圆壹智慧创始人兼首席执行官潘麓蓉博士，带来了题为《The Challenges and Future Directions of AI in pharmaceutical industry》的分享，以下是她的演讲内容整顿，供大家阅览： 圆壹智慧创始人兼 CEO 潘麓蓉 美国 NIH 的 4D map 是寰球制药行业的行业金规范。以小分子为例，从靶点的辨认到先导化合物的发现、优化，从 early discovery 到 development 再到最终的 clinical trial，两头的每一步都曾经有十分成熟的方法论、试验平台、理论指导以及监管规范。 然而，该零碎的数字化水平非常低，制药行业也是所有行业中数字化水平绝对较低的行业。 转化医学、生物标记化合物相干的数据、临床数据、监管数据、医保数据以及临床采样和体外采样的信号数据，都须要由不同的机构和科研人员负责。基于此，制药工业想要在零碎上提效，只有两个办法：第一，将整个零碎进行从新定义；第二，从过来的历史数据中去掉杂音、找到信号，并用最先进的方法论取代过期的方法论。 上图为药筛流程。从第一步到最初一步须要进行的试验数量决定了最终的零碎效率。传统流程根本须要从 2 万个分子筛至一个分子，盲筛则根本须要 200 万个分子作为终点。而如果能实现以 100 个分子作为终点，则整个行业的投入和耗时将失去 80%以上的节俭。 以上筛选流程曾经沿用多年，但过来 10 年的投入产出比在逐年降落。因而咱们须要思考：如何冲破现有的筛选流程？是否通过 AI 帮忙晋升效率？ 严格意义上来说，AI 并不是一种工具，因为工具须要人来应用，而 AI 能够进行自优化，不须要人类帮忙也能实现目标。在 AI 的学科定义里，它须要具备像人一样的思考和行为能力，最初还需通过图灵测试等形式的确认。 但将 AI 利用于制药行业，最大的难点在于如何为 AI 定义指标。比方制药问题上，指标能够是优化选择性，也能够是优化整体的体内药效，还能够是优化最终的实用病人群体。如果给予 AI 足够的数据，实际上它能够通过本人的方法实现目标。 因而，人须要做两件事：首先明确指标，其次明确须要喂给 AI 什么样的数据和规定，最终由 AI 负责实现目标。 ...

摘要：2022 年 8 月 5 日，2022 阿里云生命科学与智能计算峰会在北京望京昆泰酒店举办，圣庭医疗联结创始人 & 首席科学家谷红仓博士，带来了题为《高通量基因测序在药物研发和靶向医治中的利用》，以下是他的演讲内容整顿，供大家阅览： 杭州圣庭医疗联结创始人 &首席科学家  谷红仓博士 01 高通量测序技术（NGS）背景介绍 人们对基因作为遗传物质的钻研历史能够追溯到上个世纪中叶， 1944 年 Avery 博士等人首次证实 DNA 是遗传物质。1953 年，James Watson 和 Francis Cricket 发现了 DNA 双螺旋构造，因而两位科学家也经常被称为分子生物学之父。1977 年，Allan Maxam 和 Walter Gilbert 发现了化学降解测序办法，因为化学降解测序操作流程简单和应用大量的放射性物质，很快被弃用。同期，Fredirich Sanger 报道了双脱氧链终止法测序法又称 Sanger(桑格）测序法。与化学测序法相比，桑格测序简略快捷和准确性高，利用越来越宽泛。两种测序法独特被称为一代测序。 1990 年，美国的科学家们提出人类基因组打算。过后尚处于一代测序技术刚刚衰亡，一次测序的长度很短，个别只有 500 BP。到 2003 年，人类基因组打算历时十多年齐全采纳桑格测序仪实现，总计消耗 30+亿美金。中国于 1999 年退出人类基因组打算，奉献 HPG-1%，这对于过后改革开放初期的中国已是十分了不起的奉献。我国许多驰名的科学家包含杨焕明院士和陈润生院士都参加了该打算。 人类基因组打算催生了高通量测序的倒退。业内人士看到了测序的微小商业价值，许多生产测序仪的公司应运而生，从 2005 到当初不到 20 年的工夫，大概呈现了十几家测序仪公司，它们中的大部分在成立后的十年之内破产，目前 lllumina 占据最大市场份额。华大在收买美国 Complete Genomics 公司之后，对其技术进行革新，测序后果越来越好，目前市场份额越来越大。 2001 年至 2021 年，基因测序费用迅速升高，每百万碱基对测序费用由 2001 年的一万美元升高到 2021 年的一美分，每个人的基因组测序费用由 2001 年的一亿美元升高到 2021 年的 1000 美元，二十年升高了 100 万倍。 ...

图：阿里云高性能计算研发负责人何万青 8 月 5 日，在 2022 阿里云生命科学与智能计算峰会上，阿里云高性能计算研发负责人何万青公布了《生命科学行业云上解决方案及最佳实际》白皮书，同时推出高性能容器、大内存、高 IO 等三大高性能计算解决方案，满足基因测序与 AI 制药畛域中海量级数据分析、作业流程与环境各异等场景需要。 生命科学行业倒退至今，早已离不开高性能计算（High Performance Computing）的辅助，从计算机辅助药物设计、疫苗研发，到通过基因检测提供精准医疗服务、产前筛查等，高性能计算 HPC 在生命科学钻研中扮演着非常重要的角色。 随着云计算技术服务及实际的日趋成熟，越来越多的行业通过上云实现了整个产业的转型降级，正处于黄金期间的生命科学行业也不例外。然而，目前针对生命科学行业的解决方案大部分都为线下 IDC 超算集群计划，随着基因组学、生物制药技术的一直演进及计算机科学的一直倒退，传统计算机集群资源已无奈满足生命科学行业及技术演进的需要。 本次公布的《生命科学行业云上解决方案及最佳实际》白皮书指出，生命科学企业的 IT 基础设施次要面临资源规模固定、建设周期长和硬件资源运维老本高三大问题。同时生命科学行业也心愿拥抱公共云架构、应用异构计算与人工智能等新技术。 何万青示意，云上高性能计算是目前 HPC 建设应用的最佳路径。 在原来公共云与混合云两大解决方案的根底上，针对生命科学行业的不同需要，阿里云在该白皮书中新公布了高性能容器、大内存、高 IO 等三大高性能计算解决方案，共计五大解决方案： 公共云解决方案：提供一套通用的公共云架构的解决方案，满足用户疾速便捷应用云上 HPC 服务的需要，并基于业务的顶峰和低谷动静进行计算资源的弹性扩缩容，无效节俭业务老本。计划尤其实用于疾速倒退的生命科学企业。混合云架构解决方案：局部企业领有线下 IDC 数据中心，但基础设施偏旧。随着业务的快速增长，心愿能够应用阿里云 E-HPC 提供的强劲新算力，同时利旧 IDC 数据中心资源。这种状况可用混合云架构对立治理云上云下资源，与公共云买通，反对弹性扩缩容。企业可按需抉择治理节点设置在云上或云下。HPC+AI 的高性能容器计划：实用于药物研发和业务流程简单多样的生信业务，波及利用版本泛滥、依赖环境简单，不同的工作流可能基于不同的操作系统和编译器构建。阿里云 E-HPC 高性能容器利用 eStack 可让应用多种软件栈的生信利用运行在同一个平台，便捷治理，反对多种调度器和底层资源，兼容性十分高。生信行业利用大内存解决方案：阿里云与合作伙伴 Memverge 联合推出,实用于须要进行海量数据分析的业务，如基因测序中每个细胞的表白量数据高达数十万条读取 (reads)，这种海量级的数据分析须要大内存容量。应用部署 MemVerge Memory Machine 软件的 ECS i4p 实例作为计算节点，可满足业务对性能的极致要求，同时阿里云 E-HPC 可主动纳管所有节点。生信行业利用高 IO 解决方案：基因组织学钻研产生的数据增长疾速且需永恒保留，要求存储系统具备海量容量及高扩展性。另外，基因钻研应用软件品种泛滥，局部计算工作对 IO 吞吐要求很高。对此，阿里云与合作伙伴联科团体联合推出生信行业利用高 IO 解决方案。上述解决方案能够笼罩生命科学行业的绝大多数场景与需要，领有笼罩寰球的丰盛算力，极致性能，弹性伸缩能力帮忙客户降本提效，管控可视化帮忙用户省心运维等劣势。目前，阿里云高性能计算广泛应用于工业仿真（CAD/CAE）、芯片设计（EDA）、生物医药资料、能源勘探与公共服务等多个行业。 「深势科技」利用弹性供给的老本优化策略，联合抢占式实例的价格，以 30%的老本实现海量资源的交付。同时云上弹性高性能计算 E-HPC 主动运维的个性，升高了深势科技的运维老本，晋升了集群管理效率。 生命医学企业「圣庭医疗」通过上云优化了传统 IDC 集群的数据可靠性、运维老本及效率问题，基因比对与剖析效率晋升了 70%。阿里云高性能计算团队还通过联合 Slurm 业务工作流 dependency 与主动伸缩的联合，缩小了有效的计算资源节约，无效升高了应用老本。 ...

8 月 5 日，阿里云生命科学与智能计算峰会将于北京望京昆泰酒店举办。本次峰会将会集生命衰弱畛域及高性能计算畛域的泛滥专家发表主题演讲、碰撞思维火花，独特摸索生命科学和高性能计算的联合，为医药翻新的倒退提供助力。 重磅大咖星散当初就来为大家剧透精彩内容！ 可点击这里，收费报名参会。

摘要：本文整顿自阿里云弹性计算产品解决方案架构师马继雨（芦笋），在阿里云「云计算情报局」的分享。本篇内容次要分为四个局部：   生命科学行业综述  生命科学行业剖析  云超算解决方案  要害个性及计划劣势01 生命科学行业综述 生命科学是钻研生命现象、揭示生命流动法则和生命实质的迷信。通常把服务于科学研究的企业所处的行业统称为迷信服务行业，把服务于生命科学钻研的企业所处的行业叫生命科学服务行业。生命科学技术是以分子遗传学为外围的先进科学技术。生命科学所要答复的首要问题就是“什么是生命”。 生命科学的次要畛域是医药、生物、银行、基因等相干的一些畛域。在市场中，非亲非故的客户群体也次要是医院、研发、科研等。 整个行业的产业链分为上、中、下三层。上游次要是设施的生产及软件研发，较量默飞，华大都是较为有名的上游厂商；中游次要是以服务商为主；上游是医疗机构、科研场合、制药公司等服务。 由此可见，上游把握着整个行业命根子。中游为面向终端用户的生命科学服务商为用户提供相应服务，从中收取服务费。上游则为服务使用者，其决定了中游服务细分赛道的市场容量、发展前景及业务模式特点。 以基因检测技术为例，二代基因测序是以后下基因检测最热门技术。次要为从血液或唾液中剖析测定基因全序列，预测罹患多种疾病的可能性。 基因测序相干产品和技术已由实验室钻研演变到临床应用，能够说基因测序技术是下一个扭转世界的技术，与 PCR 和 FISH 技术相比，具备高通量、数据量大的特点。基因测序技术的毛病是操作简单、对样本 DNA 浓度和纯度要求较高，且数据庞杂。 联合基因组学比拟典型的业务，全基因组测序。人类基因组打算（HGP）历经 13 年，在 2003 年实现，使得整个基因测序畛域产生了革命性的变动，随后很多政府赞助的大规模测序打算也陆续启动，如 1000 基因组打算、10K 打算等，极大推动了人类对基因变异、人类进化和基因疾病的钻研及发现。 在计算机科学生信畛域，基于 GATK 的全基因组测序流程则在古代基因测序中施展着至关重要的作用。 在典型的基因组测序业务中，波及应用软件数量繁多，且应用形式各异，也存在大量的串行化软件，典型的全基因组测序流程，有两个次要特色。 第一，执行工夫长，惯例流程及通用计算资源，一个人类基因组样本须要近 1000 核时进行解决。第二，数据量大，单个样本均匀能产生 1TB 的两头数据。 因而，联合集群调度器晋升并发效率、联合异构计划减速执行性能、基于容器部署不同业务镜像、存储的冷热数据备份，都已成为计算机生信畛域次要的剖析课题。 02 生命科学行业剖析 传统超算计划，次要通过线下超算集群或者自建的机房对接。目前，次要面临三个问题。 资源老化后保护艰难。用户资源老化过保后，资源复用及保护，须要投入大量的人力、财力。业务的峰谷效应。因为资源无限，高峰期作业排队工夫长，低谷期资源使用率低。已有集群无奈满足新增业务及技术创新的须要，可扩展性有余，洽购周期比拟长。随着基因组的一直演进，计算科技的一直倒退，传统基因组测序曾经无奈满足现有的业务的倒退诉求。 对于传统的高性能计算业务流程，次要分为以下三个阶段，即业务前的解决，业务中的提交调度和执行，业务后的可视化剖析。 如右上角，作业提交至调度器。调度器做线下机器的调度散发，依据作业运行配置和以后资源状况，调度适宜的资源参加计算作业。 传统行业的计划有以下几个特点，扩展性不佳、性能瓶颈，治理保护难，新技术挑战。其中，较为显著的是性能瓶颈，顶峰算力有余，作业排队工夫长，重大影响业务。 在治理保护方面，投入老本较大，软件对立管控、平安保障、建设运维一体化的计划不够。 03 云超算解决方案 阿里云高性能计算产品 E-HPC 次要是软件服务，通过高性能计算业务习惯与云计算劣势相结合。大规模集群部署与推理，弹性的应用资源，工作流从前到后的保障，作业调度运行的治理，多客户的平安隔离，性能分析与调优。 HPC 作为基础设施，合乎高性能计算业务场景与可靠性的要求。计算、存储、网络，图形可视化，满足了用户极致的性能诉求，低延时的网络通信，大规模推送的并行文件系统。 在线性扩容方面，阿里云高性能产品联结生命科学行业三十多款利用，提供轻量级应用便当。对于征信行业，兼容泛滥市场支流征信软件，提供生命科学对立门户。 阿里云在 PaaS 层提供集群算力、弹性伸缩、多级缓存、商业治理、资源生命周期的治理服务。底层是阿里云平台算力资源，神龙虚拟化技术，用户能够抉择多种计算实例规格。 高性能计算公共云解决方案，通过全量上云，在云上搭建 E-HPC，提供资源调度、作业管理、弹性伸缩等能力。 高性能计算混合云解决方案分为两种。第一种，调度节点在线下机房，资源不够时向线上扩容新节点。利用场景以本地建设为主，云上为满足突发业务需要。有利于疾速满足突发需要，按需应用随时开释。 第二种，调度节点在 E-HPC 集群，同时治理线下已有计算节点。本地以有机房建设，但后续以云上建设为主。有利于利旧云下基础设施，逐渐过渡。 ...

摘要：本文整顿自阿里云行业解决方案架构师马颂（栖逸），在阿里云计算情报局的分享。本篇内容次要分为三个局部：  寻因生物简介 单细胞测序及其痛点 寻因生物基于E-HPC的大内存实例解决方案01 寻因生物简介 寻因生物开创团队及公司于2018年正式启动组建经营，是一家专一于单细胞技术的生物科技企业。致力于通过自主研发的高通量单细胞产品试验及生信剖析全链条服务，将单细胞技术普适化，助力临床诊断和药物研发，推动精准医疗进入2.0时代。 这家成立于2018年，驻扎在北大医疗产业园的初创企业，在2022年1月取得D轮融资，并在上海、广州和成都设立中央实验室。公司面向临床及科研工作者的理论需要，搭建了从样本保留、解离到生信剖析的全链条单细胞测序产品及服务解决方案。客户将样本送到寻因生物上海、广州或成都的实验室。 样品采集到之后，在实验室中通过试验进行序列加工和信号放大，将分子循环扩增，给每一个分子和细胞加上标签。辅助辨认检测的分子来自哪个细胞、哪个基因。而后通过物流的形式送到北京进行测序。测序的后果上传到寻因的阿里云OSS或通过专线下载到本地，再做单细胞剖析。 02 单细胞测序及痛点 单细胞测序作为2009年首次问世的技术，无疑是当初生命科学根底钻研的最大热门。2013年单细胞RNA测序被nature method评为年度技术。2015年单细胞测序技术再度登上science转化医学封面。 单细胞测序，顾名思义是在单个细胞程度，对细胞的基因表白等信息进行检测，对于多细胞生物来说，细胞与细胞之间是有差别的。 绝对于传统的测序钻研，局限于器官与组织。群体细胞的表白程度，最终失去的信号值，失落了抑制性信息。单细胞测序能够更高分辨率，解释细胞间的差别，及其在环境中的性能状况，避免细胞间的冒名顶替。 该技术曾经利用在根底科研、临床诊断、新药研发等各个领域。作为一项高效的医疗辅助伎俩，基因测序在预防出世缺点、检测遗传性疾病、肿瘤用药等畛域提供了无效帮忙。 单细胞测序技术的蓬勃发展，也助力了寻因生物业务起步。公司自2021年3月份商业化销售以来，已与100家客户建设科研单干关系。通过屏幕左侧典型单细胞数据分析的步骤流程图，能够看到，在单细胞测序的最初一步，数据分析环节须要针对单细胞测序数据，进行数据预处理。 比方质控、归一化、数据改正、特征选择、聚类分析、轨迹剖析、差别表白剖析、基因动力学、亚稳态剖析、成分剖析等。仅一个单细胞测序的文件大小可达100GB以上。随着一个单细胞我的项目蕴含的样本量越来越多，细胞数据级别往往达到数百GB甚至TB。 其次，单细胞数据的剖析简单须要重复做数据读取和参数调整。导致解决海量细胞样本的剖析工作，通常要数小时甚至数天能力实现。 当样品量上来，各个样品之间又要做各种关联，或者是更简单的计算，对于算力的消耗量就会十分大，对算力的要求更高。 超大数据量和剖析复杂性会导致工作并发数低，数据加载速率慢。除此之外，生物信息行业短少一个笼罩全程的开源软件。通常一个生物计算我的项目须要多个软件配合，随着单细胞检测的老本逐步升高，利用面越来越广，生信数据将是指数级的增长。 生信剖析的习用操作是将样本参数调低，或者仅运行一个比拟大型的单细胞剖析工作。但在测序工作多的状况下，多个单细胞剖析我的项目只能排队执行。 03 基于E-HPC的大内存实例解决方案 为了解决上述问题，阿里云为寻因生物搭建了基于E-HPC的大内存实例解决方案。这套计划次要由三局部组成。第一局部是大内存云实例，搭配合作伙伴推出的内存虚拟化软件。 2017年，英特尔奥腾SSD推出；2020年，英特尔公布奥腾长久内存100系列，胜利实现大规模的商业化；2021年，英特尔公布第三代英特尔至强可扩大处理器，及英特尔奥腾长久内存200系列。同年，阿里云基于以上产品开发了性能更加弱小的不同实例规格。 其中，I4P可能提供性能极高的本地盘延时能够缩短至170纳秒，十分实用于重IO型利用帮忙此类利用突破性能瓶颈。 寻因生物的单细胞测序剖析工作，部署在了基于第三代英特尔至强可扩大处理器，和第二代英特尔奥腾长久内存，I4P长久内存型实例上。配合第一款虚拟化内存硬件的软件Memory Machine，对容量、性能、可用性和移动性进行精细化的资源调配。 在通明内存服务的根底上，还提供了另一个行业第一的技术Zero Io内存快照。该技术能够在几秒钟内封装数TB的应用程序状态，并以内存速度实现数据管理。 第二局部，阿里云的计算巢模式。云厂商凋谢给企业应用服务商和其客户服务治理的PaaS平台。阿里云让Memory Machine大内存虚拟化软件与云平台的标准化集成减速软件交付部署，并标准化运维治理，大幅晋升了业务效率。 第三局部，阿里云弹性高性能计算平台E-HPC，可将寻因生物底层应用的不同规格ECS及存储实例主动纳管和调度。一键装置部署生命科学相干的软件及其运行环境。 主动在业务顶峰扩容低谷开释，防止资源节约，大大节俭运维老本。此外，E-HPC可将HPC和软件一键装置部署，免去每个实例，别离装置软件的简约工作。 阿里云的大内存实例解决方案，在以下四方面助力寻因生物业务。 第一，算得快。E-HPC解决方案简化编写流程、监控工作投递，以及工作运算的过程。数据加载和导出性能从1000秒缩至2.5秒；单任务的样本规模是原来的2倍。在运行工夫和单任务的运行工夫简直差不多的状况下，测序工作的井发运行数由原来的1个晋升到了5个，工作解决效率晋升了5倍之多。 第二，成本低。E-HPC保障整体算力的同时，动态创建/删除计算节点，防止了资源节约；进步作业品质及速度，输入丰盛云原生能力撑持ECS反对抢占式实例，OSS反对冷归档：付费模式多元，联合业务的需要及数据保留的性能和周期，反对老本登程的精细化调整。 第三，简运维。E-HPC将寻因生物底层应用的不同规格ECS实例主动纳管与调度，可将生命科学相干的HPC软件及其运行环境一键装置部署，将带有MemVerge软件的ECS实例主动纳管与调度，大大节俭运维老本通过阿里云的计算巢蟆式将MemoryMachine大内存虚拟化软件与云平台的标准化集成，减速软件交付部署井标准化运维治理，大幅晋升了业务效率。 第四，助生态。阿里云多年深耕生物信息行业，已造成多种服务计划和客户资源，可能为上下游生物科技企业的互联互通提供更多反对寻因，基于阿里云开发出间接向用户提供服务的单细胞剖析平台，赋予科研用户和药物研发用户剖析单细胞数据的能力。 点击这里，观看嘉宾的演讲视频回放。

简介： 资源的弹性供给能力、灵便的定价模式以及高效的运维治理。摘要：本文整顿自阿里云行业解决方案架构师朱波(默苍)，在阿里云云计算情报局的分享。本篇内容次要分为三个局部： 深势科技简介深势科技E-HPC最佳实际总结01 深势科技简介 深势科技具备科研与产业落地能力。公司的科研队伍由物理建模、数值算法、机器学习、高性能计算，以及药物和资料计算等多个畛域形成。自研的新一代分子模仿算法在放弃量子力学精度的根底上，联合高性能计算，可能对数十亿原子规模的体系进行量子力学精度的计算模仿。 深势科技使用人工智能和分子模仿算法，联合先进计算伎俩求解重要迷信问题，为人类文明最根底的生物医药、能源、资料和信息科学与工程钻研打造新一代微尺度工业设计和仿真平台。 02 深势科技E-HPC最佳实际 深势科技药物设计平台是基于人工智能、物理建模和高性能计算的新一代药物设计平台。平台提供包含构造建模、靶点发现、虚构筛选、分子举荐、联合亲和力评估和大分子药物设计等临床前药物发现阶段的各类场景的残缺解决方案，提供一站式的计算服务。 深势科技的业务需要次要有三点： 第一，深势科技的业务量稳定较大，心愿可能提供基于作业负载的弹性伸缩能力，最大化利用计算资源。 第二，高性能运维治理。深势科技有大量超算集群，算力资源调度和算力资源管理是刚需，因为集群的作业量很大，深势科技心愿提供作业细力度的费用账单，便于计费。 第三，高性价比。深势科技作为初创企业，谋求高性价比，心愿以较低成本实现无效计算。 阿里云凭借当先的产品和技术支持，成为深势科技的抉择。首先，针对弹性问题，阿里云超大规模的CPU，GPU，算力资源池和弹性供给能力，能随时响应客户的各种计算需要。 阿里云是国内少有提供云上高弹性、高性能计算平台E-HPC的云厂商。阿里云E-HPC集群的主动伸缩能力，超过传统超算的动态资源分配，用户可依据负载，实现按需扩容或缩容。 通过自定义设置，无效晋升作业吞吐量，放慢作业处理速度，极大晋升集群的利用率。 其次，针对高效运维治理问题，阿里云的主动运维和可视化治理技术，E-HPC可为客户提供集权治理、作业管理、用户治理和可视化的能力。在不扭转科学计算业务应用习惯的同时，提供更高效的弹性集群调度服务，更好地应用算力资源。 阿里云平台实现对集群的被动运维。热降级、迁徙及自动化运维的应用性，让深势科技无需治理硬件资源的生命周期，晋升集群管理效率。让客户可能专一于利用与科研自身，更加便捷的应用云超算带来的便当。 与此同时，基于费用核心的账单，E-HPC提供开源计费工具，反对作业细力度的费用统计，高效解决计费需要。 针对高性价比的需要，阿里云上的算力资源有灵便的定价模式，能够按需按量计费。用更灵便的购买形式，综合优化算力老本。阿里云的解决方案满足了深势科技，低成本构建高可用算力集群的需要。 通过加阿里云算力集群，均匀每条管线的合成规模由上千放大到数十，大幅度降低合成老本，缩小定制合成的等待时间。 Uni-Fold克服了AlphaFold2未开源训练代码、硬件反对繁多、模型不可商用等局限性。在训练与推理环节进行了NVIDIA GPU上的适配、性能优化及功能完善。 Hermite Uni-FEP可能精准预测，蛋白-配体联合的能力。已有蛋白-配体的共晶构造，在药化家教训领导下，对初始配体分子进行革新润饰，借助FEP准确计算革新前后的亲和力差别，代替非必要的试验，实现降本增效。 E-HPC实现多节点并行计算，作业调度器解决计算资源的弹性治理和任务调度。 03 总结 阿里云高性能计算，为生命科学行业提供了海量的弹性计算能力、便捷的资源工作管理工具、高效的数据存储和剖析报表，无效撑持生命科学行业需要，保障业务有序高效进行。 阿里云与深势科技独特打造了老本更低、算力更优的云上生命科学计算平台，实现算力普惠，将来也将独特实现更大的幻想，让生命科学产业与云计算技术的交融更深刻。 点击这里，观看嘉宾的演讲视频回放。

摘要：本文整顿自阿里云弹性计算产品解决方案架构师唐风(石益)，在阿里云「云计算情报局」的分享。本篇内容次要分为五个局部： 生命科学是什么？2021年中国生命科学畛域详情2022年生命科学畛域趋势2022医药与生物科技趋势生命科学畛域的阿里云服务01 生命科学是什么？ 在农业时代，人们解决了人类和食粮的问题；在工业时代，人们解决了人类和分子、原子的问题；在信息时代，人们解决了信息化、数字化的问题；在21世纪的生命时代，人们须要解决人和基因的关系。 21世纪是生命的世纪；生命时代将会交融物理世界、信息世界，构建成一个全新的生命世界。如同一款小小的手机蕴含了至多8个诺贝尔奖项（屏幕、锂电池、存储、主板、散热），生命科学是人类所有科研学科的集大成者。 首先，生命体的历史曾经存在了40亿年。现今存在的生命是从40亿年前最后的生命体开始沿着DNA这条线逐渐演进、迭代而来的，将来生命体也曾经记录在以后的遗传基因组中了。 人类对于基因钻研的历史到目前为止仅有170多年，从1853年的孟德尔豌豆试验开始，到1859年达尔文的《物种起源》，艾弗里、麦克劳德、麦卡蒂证实遗传因子是DNA而非蛋白质，以及1953年沃森和克里克提出的驰名的DNA的双螺旋构造。 直到2003年蕴含中国在内的6个国家的科学家，联结公布了人类基因组打算的后果，获取了蕴含32亿碱基对的人类全副遗传信息（基因组），3万个能够被翻译成蛋白质的遗传基因组，各种遗传基因及其组合记录着从过来、当初、未来的对于生命构造的信息。 基因工程技术的呈现让人们看到了更加清晰的全新生命图景，也扭转了人们对生命科学的认知半径。 从十九世纪后半叶孟德尔的遗传定律开始，人类用了170年工夫就实现了对基因组全貌的形容，对于基因构造与性能的研究成果层出不穷，生命科学的钻研进入了基因时代，基因组的发现只是一个开始，然而人们能够站在这个终点上，以基因为根底，从新思考为什么生命体可能出现简单的分化行为。为什么可能演化出眼睛这类简单的高级性能？为什么生命体能够进攻各类感染性疾病？ 人们心愿揭示在漫长的40亿年进化过程中的机密，厘清生命科学的全貌，这项工程刚刚开始。公元前后，因为自然灾害、野兽攻打，人类平均寿命20岁，到1800年，因为科技程度的低下，生存艰辛，对疾病没有无效的医治措施，人类平均寿命不到40岁。 到2020年，科技程度的进步，疾病失去无效医治使得人类的寿命呈现了飞跃，人类平均寿命达到70岁。不久的未来，人们的生命将进入预防为主的时代，生命科学同时也能解决食物短缺与环境问题，生命科学产业帮忙人类实现永恒的谋求：衰弱、长命、幸福、漂亮。 02 2021年中国生命科学畛域详情 上图是2021年，中国生命科学畛域内的一些相干数据。 中国衰弱产业规模持续增长。随着中国人口老龄化水平进一步加剧，以及政府与民众对衰弱的关注与投入继续晋升，依据衰弱产业白皮书的统计，2021年中国衰弱产业达到了10万亿元的规模。 其中与药品无关的市场规模约为2.9万亿元，医疗器械和诊断的市场规模约为1万亿元，医疗服务、数字医疗以及泛衰弱的市场规模约为6.1万亿元。 人口构造老龄化加剧。依据国家统计局公布的《中华人民共和国2021年国民经济和社会倒退统计公报》数据显示，2021年我国人口天然增长率仅为0.34‰，比2020年降落了1.11‰。 2021年中国60岁及以上人口曾经达到2.7亿人，占人口总数18.9%，比2020年回升0.2%；65岁及以上人口超过2亿人，占全国总人口14.2%，比2020年回升0.7%，我国人口老龄化水平进一步加剧。所以，中国社会人口构造老龄化的一直加剧仍旧是中国衰弱产业最重要的外围底层驱动力之一。 中国大衰弱产业在资本市场趋势衰弱倒退，估值体系有所变动，投资总体更加趋势感性。依据统计数据，2020年中国大衰弱畛域的融资金额为2236.5亿人民币，2021年为2522.8亿人民币，同比增长12.8%。 2020年中国大衰弱畛域融资我的项目为1538个。2021年为1831个，同比增长19.05%。A股市场，2021年科创板衰弱医疗公司IPO的数量为37家，上半年24家，下半年13家。港股市场，2021年大衰弱行业共有34家公司上市。整体来看，在资本市场上，大衰弱行业出现稳定增长。 03 2022年生命科学畛域趋势 2022年生命科学行业的趋势次要分成三个层面，国家政策、资本市场和产业格局。 在政策层面，药品、高值医用耗材集中带量洽购进入常态化、制度化新的阶段；DRG/DIP的领取形式改革放慢落地；国家踊跃疏导应答人口老龄化国家策略。 在资本市场层面，二级市场开始回归感性，从新构建估值体系有利于行业的良性倒退；投资人更加偏好晚期阶段，高后劲的初创企业更容易受到资本的青眼；美元投资人从初期的主力参加到目前的持币观望，人民币资本这两年强势崛起。 综上所述，政策层面和资本市场带动了产业格局的变动。在产业格局方面，新生代衰弱产业公司进入商业化阶段；数字化和智能化正在深刻影响产业的倒退。 近年来人工智能与各种数字化工具，已逐渐渗透到衰弱产业的方方面面，在多个畛域展示了冲破瓶颈和降本增效的微小后劲。随着数字化和智能化对整个衰弱产业赋能的一直拓展与晋升，整个大衰弱产业中，很多传统的技术和商业模式，都面临着重构的可能。 在AI赋能新药研发方面，随着深度学习能力和人工智能技术的疾速倒退，以及算力的大幅晋升，AI在新药研发方面正在获得长足的提高，并展现出令人惊叹的后劲。 以蛋白质构造预测为例，DeepMind公司的AlphaFold2曾经预测出超过35万种蛋白质构造，涵盖了98.5%的人类蛋白质组以及20种生物的蛋白质构造。 寰球TOP20跨国药企均在Al畛域有大量布局，包含诺华、辉瑞、GSK、阿斯利康、赛诺菲、复星医药在内的少量国内外企业纷纷试水AI新药研发，期待跨越式晋升新药研发的效率。与此同时，包含阿里在内的互联网巨头也在这个畛域减速布局。 数字化诊断对传统诊断减速赋能，数字疗法成为传统医治技术计划强有力的补充。手术机器人在临床手术端，失去更加宽泛的利用，传统医院正在经验越来越彻底的数字化革新。医疗与生产正在更加严密地走向交融的整体趋势。 04 2022医药与生物科技趋势 2021年是中国翻新药成绩频出的一年，泽璟生物、亚盛医药、康方生物等多家生物医药企业迎来首款商业化新药。 国内获批药物的品种和笼罩的适应症也逐步多样化，中国外乡企业自主研发的ADC药物、细胞疗法药物、新冠中和抗体联结疗法相继上市，中国多家Biotech公司也开始实现规模支出。 在接下来的几年中，大家还将见证AI医药行业、细胞疗法、ADC、合成生物学等多种高技术赛道开始大规模实现商业化利用，上面几个趋势须要重点关注： 监管环境收紧，医药行业向翻新驱动型转变。2021年以来，国家在医疗服务、药械、医疗保障、上市监管等多个畛域均出台了大量新法规和新政策《药品上市后变更治理方法(试行)》、《药品管理法》、《国务院办公厅对于推动药品集中带量洽购工作常态化制度化发展的意见》并且对医疗医药行业，重点监管畛域进行了严格执法。 在国家多项政策驱动下，整个医药行业产生了较大变动，国内医药企业也逐步向翻新驱动型转变，“me-too型翻新药”和仿造药的价值空间被极大压缩。 企业科创板上市申报监管尺度逐步明朗化。除了大家后面提到的A股、港股去年各有30+生命科学企业上市，与此同时也有17家生物医药企业因为短少核心技术和自主知识产权而终止了科创板IPO。2021年国家药监局共批准83款新药。其中国产新药51款，进口新药32款，新药数量创下历史新高。前沿技术减速医药行业新陈代谢，AI药物研发进步了成功率，升高了开发周期。AI医药行业迎来价值兑现期，AI技术一直获得冲破，深度学习算法的一直冲破和算力的大幅晋升，让大家感触到AI的震撼力量。例如蛋白质构造预测。 放眼寰球，TOP20药企均在AI畛域加大布局。目前AI药物研发依然处于初期阶段，在药物研发的各个阶段和环节都有肯定水平的冲破，从根底钻研到药物靶点、生化活性、临床试验等畛域均有丰盛的利用。其中以靶点发现，化合物合成最具代表性，这也是新药研发畛域人工智能技术应用的重点所在。然而在与传统制药工业联合上，须要更大的冲破。 第三，外乡药企减速国际化布局。2021年，国内医药行业的大额海内并购交易量大幅缩小，然而跨境的License-in和License-out交易仍然放弃极其炽热的态势。依据公开信息统计，在2021年间，中国药企的License-in交易总数约有130多起。 同时，国内药企共产生30起License-out交易，交易总金额超133亿美元，涵盖了本身免疫、肿瘤、新冠、肺纤维化等多个疾病畛域。其中肿瘤畛域占比最大，约为80%。 不同角色的新玩家聚焦中国翻新，重构医药产业。传统药企的新药研发业务，随着政策的疏导和资本市场的筛选，中国医药行业曾经转型成翻新驱动型行业。传统药企长期以来始终是医药行业的主力军，目前面临国内集采常态化、翻新药优先审评审批、医药研发以临床需要为驱动等多重挑战，逐步向翻新药方向进行转型。 2021年以来，国内各大药企个体布局一级市场投资畛域（恒瑞医药、复星医药、百济神州、信达生物）踊跃试水一级市场投资畛域，开掘生物医药和医疗衰弱畛域晚期标的，TMT资本深刻布局医药畛域投资。 一些聚焦于科技领域的公司和基金，如阿里衰弱、字节跳动、高榕资本、源码资本等机构也纷纷布局医药畛域。AI加上药物研发作为市场设想空间微小的畛域，一直受到技术和资本的追捧。 05 生命科学畛域的阿里云服务 最初，谈一下阿里云的服务能力。阿里云是寰球第三、亚太第一的云服务厂商，在寰球的27个地区的80多个可用区，为寰球的400多万客户提供供弹性、稳固、平安、普惠的云计算服务。 阿里云在近几年踊跃投身生命科学畛域，例如，跟GHDDI独特打造的公益平台为寰球生命科学畛域的高校、钻研机构提供收费服务；也携手各类ISV搭档联结打造各类场景化的生命科学解决方案为AI制药、基因测序等客户提供全套服务。 生命科学要做的不是精英化，而是实现普惠化。心愿通过阿里云在IaaS、PaaS层多年积淀的能力，为生命科学行业的客户提供助力，让生命衰弱的诊断检测和医治技术，成为一项普惠化的服务，让所有人都能应用得起通过科技伎俩研发翻新的药物，为每个生命争取更多的可能性。 点击这里，查看嘉宾唐风的精彩演讲回放。

文 | 阿里云弹性高性能计算团队 摘要：本文将从生命科学行业现状及其对算力的微小需要开始，展现该行业目前在基础设施层面临的需要与痛点，解答为什么云上高性能计算将大大有助于生命科学企业的疾速倒退。生命科学行业正迎来倒退的黄金期间。医学的倒退和人们对衰弱的谋求，正疾速转换为生命科学整个产业链倒退的新动能，高性能计算HPC在生命科学钻研中扮演着非常重要的角色。同时，随着生命科学行业的疾速倒退，咱们能够看到，行业的上云曾经成为了势不可挡的趋势。 得益于云的弹性与便捷，一个行业对云计算的急迫需要往往与其疾速倒退分不开，传统IT的备货、交付、部署的长流程决定了它无奈满足疾速成长的行业猛增的IT需要。 本文将从生命科学行业现状及其对算力的微小需要开始，展现该行业目前在基础设施层面面临何种需要与痛点，解答为什么云上高性能计算将大大有助于生命科学企业的疾速倒退。 生命科学对算力的需要：规模大、高性能、类型丰盛目前，生命科学行业最次要的两个场景，别离是计算机辅助药物设计和基因测序。 1、计算机辅助药物研发21世纪以来，因为疾病复杂程度的一直晋升，可成药靶点逐步缩小，新药研发的难度和老本明显增加，同时寰球新药研发成功率呈显著降落趋势。翻新药物研发是药企构建外围竞争力和继续倒退的要害，而药物研发是一项高投入、高技术、高风险、长周期的系统工程。药企开始寻求AI、大数据等计算机技术辅助药物研发。 药物研发全流程 新药的诞生通常须要经验药物发现、临床前钻研、临床试验和审批等阶段后，最终才能够获批上市。在靶点发现、化合物合成等药物发现阶段，以及化合物筛选等临床前钻研阶段，往往须要借助高性能计算弱小的计算能力能力减速研发过程辅助药物设计。 在靶点发现环节进行蛋白质构造预测时，既有基于分子动力学和平面波等进行预测的计划，也有基于AI for Science的解决方案。 前者是高性能计算HPC典型的利用场景，有VASP、Gromacs等成熟软件的解决方案，通过计算失去模仿后果。该计划中，模仿问题规模与计算资源数量成正比。 与此同时，业界也逐步涌现出AlphaFold2等解决方案，通过利用AI技术建设蛋白质序列和构造的关系，一直学习已知序列和构造进而对蛋白质构造进行预测。在弱小的算法与算力的反对下，DeepMind将运算工夫从数月缩短至数小时。随着网络模型参数规模的减少，对算力的要求也越来越高。 蛋白质三维构造AI预测 同样地，在虚构化合物筛选时，药企通常须要对数百万级别的分子和蛋白构造做对接。每个配体分子都须要计算资源来获取对接分数，从而筛选出可用于试验验证活性的分子，面对海量的配体分子库，是须要宏大算力撑持分子和蛋白构造的对接工作。显然，单机的算力是很难胜任这样大规模的虚构筛选工作，因而应用高性能计算HPC集群进行大规模虚构筛选工作就至关重要。 先导化合物发现流程 在靶点发现、化合物筛选和化合物合成等流程中，不同的计算模式、参数和软件，对计算资源的要求往往也是不同的。尤其随着AI的引入，对多资源的多样性配置提出更高的要求。 2、基因测序基因测序的业务流程次要包含样本上机（测序仪）、测序文件生成、基因序列比对及后果剖析（计算机），并将后果数据及报告交付至各科研医疗机构。其中，基因序列比对及剖析环节极为耗时，波及大量的生信畛域业余软件，计算资源的算力性能及计划优化对生信研发效率起着至关重要的作用。 基因测序业务流程 对于基因测序典型的WGS（人类全基因组测序）流程，因为波及文库索引构建、reads比对、排序、去重、BQSR校对以及Caller等环节，办法多样、流程简约，且不同步骤对应BWA、GATK等不同的软件及参数，不同的生信软件可能又对应不同的并发能力及性能，不同的筛选工作对计算资源的多样性和规模都是不同的，不仅须要弹性的计算资源，还须要具备多样的实例配置。 二代基因测序WGS测序流程 生命科学在基础设施层面临的痛点与挑战原来大部分的生命科学企业都是采取本人在线下自建IDC机房的形式。总体来说，生命科学企业的IT基础设施次要面临资源规模固定、建设周期长和硬件资源运维老本高三大问题，具体表现如下： 1、资源固定，无奈满足业务增长和资源多样性需要1.1 算力规模固定，影响业务增长速度 企业在建设传统IDC之初，资源规模往往是明确布局的，因而整个集群的工作吞吐量是固定的。对于具备周期性的新药研发及测序业务来说，不同的研发周期和研发工作对资源的需要是不一样的，所以通常就会产生：在高峰期呈现工作因期待资源而排队的景象，低谷期又呈现资源闲置的问题，这就须要有弹性的计算资源来解决业务。 1.2 资源配置固定，无奈满足资源多样性需要 本地IDC机房的计算资源因为是后期布局好的，其资源的配置是限定的，则会导致传统测序形式常常以雷同的资源去实现不同测序步骤的执行，无奈灵便变配，导致了大量的计算资源节约。然而如前所述，其所须要的计算资源是灵便多变的。 1.3 存储容量固定，无奈满足用户一直增长的存储需要 对于一直增长的存储规模，生信企业面对极大的线下存储设备运维和存储设备洽购老本压力，如何可能取得高效、平安、稳固、高性价比及可继续的存储解决方案，也是生命科学企业面临的一大难题。 以蛋白质构造钻研为例，个别有X射线晶体学、核磁共振和冷冻电镜三种办法来测定蛋白质构造。以冷冻电镜为例，单个样本的电镜数据个别是10TB级别，企业本地的数据量都是PB级。与此同时，生物信息科研数据蕴含大量的参考文库数据、样本数据及两头数据文件。其中，单个人类全基因组测序的全流程数据就达1TB大小，因为生信数据的周期性及特殊性，通常的生信企业本地数据的存储量都达到PB级别。 2、建设周期长，影响业务增长2.1 交付周期长，无奈满足用户即开即用的时效需要 传统IDC建设，个别须要经验有立项、招投标、洽购和交付等流程，往往须要数月甚至长达一年的建设周期。在立项环节须要对后续业务规模进行评估、明确资源建设计划，这对于倒退较快的业务来说，如此长时间的建设周期将成为倒退较快的业务的瓶颈。 2.2 硬件资源选型迭代慢，无奈满足用户一直降级的资源需要 在传统IDC建设中，企业往往很难疾速地获取最新架构的硬件资源，而这些资源往往能够给业务带来可观的减速。例如，相较于Volta架构，英伟达A100架构的单精训练最高能够提供20倍的减速，这对于借助AI技术来减速的蛋白质构造预测来说，是一个极大的助力。 而对于WGS测序，基于GPU或FPGA的异构减速计划研发也存在着大量的选型及验证过程。在线下IDC建设中，不仅须要思考CPU/GPU/FPGA等产品的公布工夫，抉择适合的硬件规格，还须要评估业务架构的倒退，这将是生命科学各类企业在建设资源时面临的微小挑战。 3、运维老本高线下IDC机房的运维工作也须要较大的人力投入。除了集群计算资源的治理、计算工作的调度、用户权限治理之外，计算资源自身的稳定性，尤其是硬件故障对业务进度将会产生重大影响。如果工作在计算过程中因宕机而终止，在没有checkpoint的状况下只能从新计算。此外，线下存储也须要思考容灾，防止因硬件故障导致的数据失落。所以，计算资源的治理、资源稳定性、数据容灾等工作都须要专门的运维团队来负责，无形中又减少了老本。 以后，因为传统IDC提供的基础设施存在资源限度、交付周期长、资源无弹性、硬件资源迭代降级慢、运维老本低等问题，越来越多的生命科学企业转向更具弹性、稳固、高性价比的云上高性能计算解决方案，以放慢业务的翻新倒退。 阿里云提供EHPC生命科学系列解决方案阿里云置信，云上高性能计算是目前HPC建设应用的最佳路径。针对生命科学行业的相干需要，阿里云依靠遍布寰球的计算力及当先行业的神龙架构，提供高性能计算公共云解决方案、混合云解决方案、大内存实例性能优化解决方案、容器化解决方案、制药AI解决方案等，能够笼罩解决行业不同场景需要，并领有以下劣势： （1） 丰盛算力，按需购买：阿里云在寰球四大洲开服经营27个公共云地区、84个可用区；云上主动伸缩能力反对跨数据中心调度，满足大规模并行作业要求计算资源的类型也可依据调度器队列灵便配置反对多规格异构算力，以及大内存型、高主频等规格CPU实例； （2） 弹性伸缩，降本增效：阿里云弹性高性能计算（E-HPC）平台可动态创建/删除计算节点，灵便配置伸缩策略，按理论负载弹性计费，抢占式实例价格最低至1折，升高客户应用老本，进步作业品质及速度； （3） 极简运维，让企业专一外围业务倒退：全面兼容HPC业务，主动搭建集群，提供作业运行性能剖析，别离基于集群、实例、过程等维度定位热点，反对作业报表可视化输入，提供用户、工作、队列等维度的生产组成； （4） 新技术赋能，疾速享受红利：IaaS层，阿里云继续迭代最新算力，SaaS和PaaS有着上百家第三方合作伙伴集成阿里云，让生命科学企业疾速获取相干技术服务。阿里云丰盛的生态及云上继续迭代的技术能力，帮忙企业享受到全流程的技术服务与最新技术红利。 阿里云高性能计算目前曾经广泛应用于工业仿真（CAD/CAE）、芯片设计（EDA）、生物医药资料、能源勘探与公共服务等多个行业。 「深势科技」利用弹性供给的老本优化策略，联合抢占式实例的价格，以30%的老本实现海量资源的交付。同时云上弹性高性能计算E-HPC主动运维的个性，升高了深势科技的运维老本，晋升了集群管理效率。 生命医学企业「圣庭医疗」通过上云优化了传统IDC集群的数据可靠性、运维老本及效率问题，基因比对与剖析效率晋升了70%。阿里云高性能计算团队还通过联合Slurm业务工作流dependency与主动伸缩的联合，缩小了有效的计算资源节约，无效升高了应用老本。 点击这里，进入“阿里云生命科学最佳实际”专题页理解更多计划与案例具体内容。

随着云计算技术服务及实际的日趋成熟，越来越多的行业通过上云实现了整个产业的转型降级，正处于黄金期间的生命科学行业也不例外。 作为领有高数据量和高计算量的行业，生命科学的钻研也早已离不开高性能计算（High Performance Computing）的辅助，从计算机辅助药物设计、疫苗研发，到通过基因检测提供精准医疗服务、产前筛查等，高性能计算HPC在生命科学钻研中扮演着非常重要的角色。 作为国内排名第一的云厂商，阿里云遍布寰球的基础设施及快捷、弹性、平安、高效的云计算服务，是生命科学企业上云的不二抉择。 目前针对生命科学行业的解决方案80％都为线下IDC超算集群计划，随着基因组学、生物制药技术的一直演进及计算机科学的一直倒退，传统计算机集群资源已无奈满足生命科学行业及技术演进的需要，广泛面临着扩展性不佳、性能呈现瓶颈、治理保护难的痛点，同时也心愿拥抱公共云架构、应用异构计算与人工智能等新技术。 阿里云置信，云上高性能计算是目前HPC建设应用的最佳路径。针对生命科学行业的相干需要，阿里云依靠遍布寰球的计算力及当先行业的神龙架构，提供高性能计算公共云解决方案、混合云解决方案、大内存实例性能优化解决方案、容器化解决方案、制药AI解决方案等，能够笼罩解决行业不同场景需要，并领有以下劣势： （1）丰盛算力：阿里云在寰球四大洲开服经营27个公共云地区、84个可用区；云上主动伸缩能力反对跨数据中心调度，满足大规模并行作业要求计算资源的类型也可依据调度器队列灵便配置反对多规格异构算力，以及大内存型、高主频等规格CPU实例； （2）弹性降本：阿里云弹性高性能计算E-HPC平台可动态创建/删除计算节点，灵便配置伸缩策略，按理论负载弹性计费，抢占式实例价格最低至1折，升高客户应用老本，进步作业品质及速度； （3）极简运维：全面兼容HPC业务，主动搭建集群，提供作业运行性能剖析，别离基于集群、实例、过程等维度定位热点，反对作业报表可视化输入，提供用户、工作、队列等维度的生产组成； （4）新技术赋能：IaaS层，阿里云继续迭代最新算力，SaaS和PaaS有着上百家第三方合作伙伴集成阿里云，让生命科学企业疾速获取相干技术服务。阿里云丰盛的生态及云上继续迭代的技术能力，帮忙企业享受到全流程的技术服务与最新技术红利。 阿里云高性能计算目前广泛应用于工业仿真（CAD/CAE）、芯片设计（EDA）、生物医药资料、能源勘探与公共服务等多个行业。 深势科技利用弹性供给的老本优化策略，联合抢占式实例的价格，以30%的老本实现海量资源的交付。同时云上弹性高性能计算E-HPC主动运维的个性，升高了深势科技的运维老本，晋升了集群管理效率。 生命医学企业圣庭医疗通过上云优化了传统IDC集群的数据可靠性、运维老本及效率问题，基因比对与剖析效率晋升了70%。阿里云高性能计算团队还通过联合Slurm业务工作流dependency与主动伸缩的联合，缩小了有效的计算资源节约，无效升高了应用老本。 6月22日，在阿里云官网“阿里云生命科学最佳实际”节目中，四位来自阿里云的专家将从生命科学产业现状、解决方案与利用案例的角度，带大家理解阿里云如何助力生命科学产业倒退。 点击这里，理解流动详情及预约线上直播。

深度学习推理框架 OpenPPL 曾经开源了，本文以一个图像分类实例，从 0 到 1 解说如何部署一个深度学习模型，实现一个 AI 推理利用。 最终成果：通过上传一张猫咪照片（狗狗也能够），辨认出图片中的动物 背景常识OpenPPL 是基于自研高性能算子库的推理引擎，提供云原生环境下 的 AI 模型多后端部署能力，并反对 OpenMMLab 等深度学习模型的高效部署。 OpenPPL 的源码链接：https://github.com/openppl-pu...装置1. 下载 PPLNN 源码git clone https://github.com/openppl-public/ppl.nn.git2. 装置依赖PPLNN 编译依赖如下： GCC >= 4.9 或 LLVM/Clang >= 6.0CMake >= 3.14Git >= 2.7.0本文解说的图像分类例程 classification 还须要额定装置 OpenCV： 对于 apt 包管理系统（如：Ubuntu/Debian）： sudo apt install libopencv-dev对于 yum 包管理系统（如：CentOS）： sudo yum install opencv opencv-devel或者从源码装置 OpenCV留神：编译时会自动检测是否装置了OpenCV，如果没装置的话，不会生成本文的例程3. 编译X86 cd ppl.nn ./build.sh -DHPCC_USE_OPENMP=ON # 不开启多线程的话，能够不加前面的-DHPCC_USE_OPENMP选项CUDA cd ppl.nn ./build.sh -DHPCC_USE_CUDA=ON编译实现后，图像分类例程 classification 会生成在 pplnn-build/samples/cpp/run_model/ 目录下，能够读取图片和模型文件，输入分类后果。 ...

如何晋升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。明天咱们来讲一讲性能和IO模型之间的关系。 咱们先从本地磁盘的IO模型说起。一方面，对本地磁盘来说，传统机械磁盘HDD介质的IO性能比CPU指令和应用程序差了好几个数量级；另一方面，新型的SATA SSD和NVMe SSD硬盘的性能大幅晋升，在硬盘外部，磁盘控制器芯片具备多个队列来解决并发的IO申请，磁盘自身具备了更高水平并发的能力。那么如何解决磁盘交互慢，以及利用新型磁盘外部个性，晋升数据拜访性能，升高零碎开销呢？由此零碎工程师们引入了多种IO模型来应答这些问题。 01 IO模型简略来说，咱们能够在上面这张二维的表中，别离从同步和异步、阻塞和非阻塞两个维度，演绎一下当初Linux操作系统中不同的IO模型。 同步阻塞 IO 这是应用程序编写时最罕用的IO模型。在该模型中，应用程序执行零碎调用时，会导致应用程序阻塞。例如，利用收回一个读的零碎调用，程序后续的逻辑会被阻塞，直到零碎调用实现（数据传输实现或失败）为止。当然，这个应用程序的阻塞，并不代表其它的利用不能继续执行，在这个利用被阻塞期间，会让出CPU，CPU能够执行其它的应用程序，只是这个程序自身被拜访磁盘IO操作阻塞住了。从处理器角度来看，还是挺高效的，而且即便传统HDD响应较慢，这种读写模式所波及的用户态、内核态上下文切换也不多，能满足大部分利用的性能需求。 同步非阻塞 IO 同步非阻塞模型和第一中模型的最大区别，是应用程序以非阻塞形式发送IO零碎调用之后，零碎会间接返回一个返回码（EAGAIN或者EWOULDBLOCK），这个返回码是提醒应用程序期待或稍后再次被动询问IO是否实现。在IO实现后的那次零碎调用，零碎会返回数据，这意味着IO可能曾经实现了，但仍需利用再次被动申请，能力取得数据，所以会带了一些额定的延时，存储整体的延时性能差，且产生了屡次内核和用户态之间的上下文切换，对延时要求高的利用个别不会采纳该模型。 异步阻塞IO 第三个IO模型，也称之为零碎事件驱动模型或IO multiplexing，也是十分罕用的IO模型。其机制能够简略了解为应用程序在发送零碎调用时，利用操作系统的epoll机制，被动申明去监听某个IO描述符fd状态的变动（或事件的类型），epoll机制会保障这个fd在产生指定变动后告诉利用，数据曾经筹备好，再由应用程序发动IO操作。在理论从磁盘进行IO过程中，由epoll机制自身去监听事件，应用程序并不关注epoll外部的执行，应用程序能够执行其它操作。 异步非阻塞IO 话题终于来到明天的重点，异步非阻塞IO，也称为AIO。这种模型的特点，是应用程序收回IO申请之后，零碎会间接返回，告知这个申请曾经胜利发动并被零碎接管了。零碎后盾在执行具体IO操作过程中，应用程序能够执行其它业务逻辑。当IO的响应达到时，会产生一个信号或由零碎间接执行一个回调函数来实现这次的IO操作。通过形容和下图能够看到，这种模型带来几个益处，一是利用并不会被某次IO申请阻塞，后续应用逻辑能够持续进行，且不须要轮询或再次发动相干零碎调用；二是这种模式的上下文切换很少，它能够在一个上下文实现多个IO的提交，因而零碎开销也很小。 AIO是Linux2.6内核提出的一个规范个性，提出来的目标，就是反对异步非阻塞模型。目前，AIO有两种实现形式，别离是应用libaio和io_uring。2.6以上版本的内核曾经实现了内核级别的AIO反对，配合用户态libaio库，即可反对异步非阻塞模式拜访，到当初曾经非常成熟和稳固。在5.x内核中引入的io_uring，则将作为对立框架，用于反对磁盘和网络等数据拜访的异步非阻塞操作，尽管io_uring利用场景更广，但成熟稳定性还欠缺一些，目前还在一直迭代中。因而业界通常说AIO的时候，默认指的就是libaio这种实现。 libaio的呈现，的确对SSD等新型介质是一个很好的反对和解放。如果不借助libaio，要充分发挥硬件性能的话，须要在应用程序级别引入多线程或多机多任务。这种形式存在两个有余，一是多线程之间须要上下文切换，而且也不能为了并发而无限量地引入大量的线程，这样对系统和CPU开销都很大；二是有的应用程序自身并没有实现多线程，也没有做多机并发，因而也不可能通过多线程形式来晋升对底层的利用。而通过libaio，就能够在一个线程的状况下，充分利用SSD等新型硬件外部多队列来实现并发（即SSD的控制器保护了多个工作队列，应用程序通过应用libaio，就能够在单线程下，释怀地往硬件下发大量IO申请，由硬件自身来解决多并发的问题），从而晋升单线程应用程序的性能，也可能缩小零碎因为多线程切换带来的开销。AIO是以后高性能零碎（不论是存储或是其余零碎）晋升解决能力的一个重要形式。 02 AIO（libaio）的限度文件在关上时有两种形式，dio和buffer io。dio不写pagecache，间接和盘交互，buffer io会有内存pagecache染指，某些场景下会对性能有晋升，但有些特定IO场景中性能反而可能会降落。例如程序大IO，性能可能反而不如dio，这是因为buffer io要先写内存，再刷盘，而HDD或其它磁盘间接进行程序IO性能可能更高；另外某些对数据可靠性要求比拟高的场景中，写pagecache可能会有数据失落的危险，例如MySQL等数据库，这些利用在写数据时通常都会应用dio，读的时候会引入应用程序本身的一些缓存机制来晋升性能。 之所以介绍了一下dio和buffer io的背景，是因为libaio的一个限度是只反对dio。这是因为buffer io会遇到bounce buffer调配阻塞的问题，此外，在遇到非对齐的IO时，还会触发写惩办，这些对效率影响都较大，与libaio心愿晋升性能南辕北辙了，因而libaio在实现的时候默认就是dio了。 而新的io_uring则反对buffer io（对于io_uring，咱们就在当前再介绍了）。 03 分布式文件系统对AIO的反对及意义对网络存储或者内部存储来说，客户端次要性能就是IO转发，所以客户端不波及间接拜访磁盘（IO拜访模型，尤其是AIO的初衷，就是解决本地拜访的问题），所以通常来说（尤其是对网络文件系统），相似GlusterFS等开源的分布式文件存储个别不会反对AIO。然而，但对于一些利用，例如MySQL，它不晓得本身的数据起源是本地文件系统还是网络文件系统，所以应用程序默认应用的是libaio，如果客户端不反对AIO，只是进行AIO转发的话，性能就会受到制约。在这种场景下，客户端就要模仿后端AIO的实现，进而充分发挥客户端的性能了。 04 YRCloudFile客户端对AIO的反对YRCloudFile新版本的客户端对AIO的读写模式进行了反对。对于YRCloudFile客户端AIO的实现方面，须要了解接口io_setup、io_cancel、 io_destroy、io_getevents、 io_submit，内核中对应的接口为aio_read/write和aio_complete。在客户端中，首先要断定该申请是否是AIO申请，而后在执行aio_read/write的时候，决定是否异步，aio_read/write是实现的重点。 对于AIO读而言：首先要查看data buff和offset是否对齐，对于非PAGE_SIZE对应的申请，须要计算出其对应的物理pages，而后顺次 pin user pages，提早被换出，再封装申请并异步下发。映射page到内核线性地址空间后，从存储后端读取到数据进行填充，数据填充完后，回调aio_complete，并开释pages的援用计数。 期间要思考pagecache的影响，须要将重叠区间的pagecache进行回刷和期待，能够参考filemap_write_and_wait_range的解决。 此外，还要思考如下三类对齐的场景： 场景1：date_len <= PAGE_SIZE，写入数据在同一个page的场景。场景2：date_len <= PAGE_SIZE，数据逾越两个page的场景。场景3：date_len > PAGE_SIZE，数据在首个page内有偏移。对于写而言：能够参考读的逻辑，大体上也是封装申请异步下发。并发解决后，回调aio_complete，在这个过程中，同样须要思考pagecache的影响。 性能数据 在实现libaio的反对后，客户端在应用fio+libaio场景的测试中，性能随着iodepth根本出现线性增长状态，直到达到客户端的性能下限，单客户端性能如下： 05 总结在分布式文件系统中，客户不仅关注整个集群的性能，同时也会关注单个客户端的性能以及单线程下利用拜访的性能。对于很多业务而言，并发度不高，单线程的提早间接影响了零碎的性能；而局部业务逻辑(如Nginx，MySQL，seastar)都应用到了AIO模型，如果客户端不反对AIO，那么后端数据拜访的性能将会受到制约。 YRCloudFile在新版本中实现客户端的AIO反对后，进一步补救了这一短板，将可能更好地适配这些利用场景。