关于高性能:北邮基于焱融存储构建高性能智能医学研究平台

4次阅读

共计 2683 个字符,预计需要花费 7 分钟才能阅读完成。

人工智能是引领新一轮科技反动、产业改革、社会倒退的战略性学科畛域,正在对人类生存、经济倒退和社会提高等方面产生重大深远的影响。北京邮电大学是国内最早从事人工智能人才培养和科学研究的单位之一,是中国人工智能学会(CAAI)的挂靠单位。“脑认知与智能医学系”是北京邮电大学人工智能学院的重要组成部分,正逐步倒退成为撑持该学院“智能 + 医学 +X”交叉学科建设的重要力量,依靠脑认知与智能医学系,瞄准国家重大需要和人民生命衰弱,深度参加国家科技翻新 2030- 脑科学与类脑智能重大项目等。

AI 驱动 智能医疗大有可为

当今信息技术蓬勃发展,医疗畛域的改革往往关乎着人类衰弱,数字医学正踊跃推动着医疗行业改革的步调,医疗人工智能适逢其时,撑持着丰盛的衰弱医疗利用,造福人类生命衰弱。在医学影像和病理图像智能剖析畛域,人工智能也有着广泛应用。人工智能在医学影像中的利用,其作用大体上可分为两个层面:一是加强成像成果,包含摄影和图像处理,提供更加可能诊断疾病的影像;二是剖析诊断,利用人工智能技术对影像进行剖析,从而给出诊断论断。简略来说,人工智能可赋能医学影像诊断,承当分类检出工作,进步诊断的效率和精准度,越来越多地帮忙医生欠缺临床决策中的暗藏见解,缩小医生的重复劳动,提供具备附加值的工作,将患者与资源分割起来进行全面治理,缓解看病难的问题,并从以前无法访问的非结构化数据资产中提取有意义的数据,进而进步综合医疗程度。医学成像数据是对于患者的最丰盛的信息起源之一,并且通常是最简单的信息之一。整顿并解读这些海量图像数据也是一项挑战,稳固牢靠的存储管理和服务系统对人工智能赋能医学图形影像解决和利用至关重要。

北邮 AI 医学图形图像钻研平台需要剖析

本我的项目为人工智能学院医学图形图像钻研建设一套人工智能钻研平台,次要用于反对人工智能医学影像解决、智能医学图像了解、医学影像剖析等方面的科学研究工作。

智能医学平台数据存储的次要特点包含:

  • 须要承载的文件量大,增速快,现有数据量在数百 TB 且数据以 TB 级 增长。海量的文件数量及快速增长驱使存储系统领有海量文件存储能力和弱小的扩大能力;
  • 大小文件混合场景,智能医学图形图像零碎中,蕴含了诸多类型的数据,大文件(医学影像、图片等)和小文件(形容信息、文本等)混合场景。对于存储系统来说须要兼顾大文件读写性能 - 带宽和小文件读写性能 -IOPS;
  • 数据存量大、增量快的数据特点要求 AI 平台可能疾速地解决数据,同时,存储作为 AI 平台最重要组成部须要有足够高的性能,满足数据处理要求;
  • 每次运行 AI 训练任务,波及大量数据读写及运算,运行工夫较长。长时间运行的工作对于存储的稳定性提出了极高的要求,须要领有稳固的数据服务能力和稳固的零碎状态;

原有的存储形式不能很好地满足科研工作的需要,次要体现在以下几个方面:

  • 在整体架构方面,目前的存储形式是应用各个计算节点的本地硬盘来存储数据,这样带来了多方面的问题。例如,通过共享本地硬盘的形式可能反对的训练客户端十分无限,在这种存储形式中,本地硬盘的性能成为瓶颈,影响训练效率;其次,因为数据都寄存在独立的硬盘中,存在数据孤岛问题,节点与节点之间无奈实现数据共享,数据须要在节点间重复拷贝,浪费时间及存储空间;
  • 在性能方面,本地硬盘的性能难以满足高性能,海量文件的人工智能场景的存储需要,影响零碎效率。人工智能平台会解决海量数据,就须要存储系统可能高性能地提供待处理数据,同时 200Gb Infiniband 网络在 AI/HPC 场景中曾经遍及,存储系统必须能反对高速网络;
  • 在可扩展性方面,现有的存储形式不能很好的撑持海量的数据存储需要,也难以跟上数据激增的步调,平台的可扩展性也受限;

YRCloudFile 构建国家级钻研平台建设

为建设先进全面的科研模式,该院钻研平台抉择与焱融科技达成此次单干,共建高效的国家级钻研平台,为科研工作长足发展奠定根底。该人工智能学院过采纳焱融 YRCloudFle 分布式存储集群晋升 AI 平台整体效率,这带来了空谷传声的成果:新建的人工智能平台由计算集群,200Gb Infiniband 网络及 3 台焱融 YRCloudFile 分布式存储节点组成。在计算集群上运行医学解决剖析利用,通过 200Gb Infiniband 网络连接存储系统。

业务平台建设计划架构图

焱融科技所提供的存储解决方案,该钻研平台建起大规模高速并行可扩大存储的数据平台,满足了根底钻研须要的同时,有了更多性能方面的晋升。

正当调配高效利用

采纳焱融分布式文件存储 YRCloudFile 反对目录配额治理和用户 / 组配额治理,应用一套存储集群满足不同用户的数据存储需要,多用户之间共享存储空间,实现了存储资源的正当调配和高效利用。采纳目录配额性能为不同用户设置独立的应用空间大小,防止了多个用户对于存储空间的抢占问题,实现了存储空间的正当调配;通过设置 QoS 性能解决了存储性能抢占问题,保障不同用户的不同业务获取正当的存储性能。

高性能线性扩大

存储集群通过 200Gb Infiniband 与前端计算节点相连,该平台具备了高性能的存储服务。焱融分布式文件存储 YRCloudFile 可将多台存储服务器上硬盘的读写能力聚合造成聚合带宽,搭建通用 X86 服务器,实现软硬件解耦,可按需部署,灵便扩大,使存储系统总体性能呈线性增长。实验室后续可通过减少服务器的形式,晋升整个存储系统的容量及性能。

海量文件反对

医学影像图片业务蕴含大量文件,这些文件既有大文件,如图片、图像等,也有海量小文件,如文本文件、形容信息文件等。作为数据的核心层,焱融分布式文件存储 YRCloudFile 具备海量结构化和非结构化数据管理能力,海量小文件操作和大文件解决的能力,深度优化的元数据服务提供了卓越的海量数据存储和拜访能力。不同科研人员可依据业务需要采纳相应存储接口对接到计算平台,YRCloudFile 所具备的大集群资源管理性能 QoS、配额治理等服务,可能更好地晋升整体存储服务能力。

北邮 AI 医学图形图像钻研平台采纳 YRCloudFile 提供的解决方案,打造了一套高性能、高可用、高扩展性的 IT 存储基础设施,在晋升海量文件数据存储能力的同时,智能医学平台也实现了全生命周期的数据管理能力,在保障百亿级文件操作性能晋升的根底上,全面晋升了数据管理效力,满足了钻研平台高并发拜访数据、数据共享平安及数据可扩大能力的需要,为钻研平台技术疾速落地提供了要害的存储撑持。北邮智能医学平台是学校增强新型交叉学科建设、助推“脑认知与智能医学”科研学术程度进步和推动医学迷信提高、促成人类衰弱倒退的重要依靠。

正文完
 0