关于容器:一篇文章告诉你-GIS-存储如何选

13次阅读

共计 1725 个字符,预计需要花费 5 分钟才能阅读完成。

地理信息系统(Geographic Information System,GIS)又称为“地学信息系统”或“资源与环境信息系统”,是以天文空间数据为根底,采纳天文模型分析方法,适时地提供多种空间的和动静的地理信息,在计算机硬、软件系统反对下,对整个或局部地球表层(包含大气层)空间中的无关地理分布数据进行采集、贮存、治理、运算、剖析、显示和形容的技术零碎。

简略说,没有地理信息系统,大家甚至都没法找到左近的人,也无奈搜到左近好吃的餐馆。

国家十四五倒退大纲中,要将二维的地理信息逐渐向三维进行降级,为国土资源利用、林业、水利、交通、电力、救灾等国计民生的重要行业倒退和决策提供高水平反对(例如,通过三维实景建模,能够清晰地模拟出江河水位每贬低一厘米,将对多少区域造成理论威逼,从而精准地施行防洪策略),这将推动整个地理信息行业向着更业余和更高标准倒退。

大规模地理信息的描述和获取,从最后靠测绘人员用脚丈量土地,随后应用卫星或飞机进行遥测,近些年随着无人机、高空高精度、高分辨率拍摄设施的疾速倒退,地理信息外业数据采集模式更加多元,这带来的是数据量的爆发性增长。中等规模城市单次采集的地理信息数据可达 5 -600TB,一线城市数据量甚至能够达到 1-2PB,单张高精度图片的大小达到 400MB。

采集到数据之后,须要在内业环境中应用业余软件(例如瞰景的 Smart3D、Bentley 的 ContextCapture 等)对数百 TB 原始数据(包含图片、视频、点云)进行解决(例如空三计算、标注等操作)。这些业余软件都是由大量高性能计算节点组成分布式的集群进行工作,这个集群须要从共享的数据源中获取原始数据。这样的架构是不是意味着,只有将数据实现多机共享,有足够的计算资源,就能疾速实现地理信息绘制作业呢?答案当然是否定的。

那么,大规模的地理信息绘制应该抉择什么样的存储进行撑持呢?咱们从 ArcGIS 装置手册中,找到了对存储的倡议和要求:(https://enterprise.arcgis.com…)

抉择文件存储设备 (NAS/SAN) 时,实时一致性和性能是须要思考的两大根本要求。在抉择文件存储设备之前,请务必理解服务器目录和配置存储。

  • 实时一致性
    抉择一种存储设备,一旦操作和相应的写入实现,就能够立刻从计算集群中的任何节点读取文件。应用 NFS 时,必须设置相应配置以确保各个节点可能读取统一的数据,并防止应用过期的数据缓存。
  • 性能
    抉择性能优异的存储设备,能力缩小随机 I/O 和小文件带来的影响。不同存储设备在面对不同特点的 I/O 时,读写性能有很大差别。小 I/O 的性能十分重要,因为 ArcGIS Enterprise 的 I/O 操作(例如 ArcGIS 与配置仓库、缓存包切片等进行交互的操作)就是大量的随机小 I/O。这通常意味着已针对大 I/O 程序读取和写入(通常产生在图像和视频中)进行了优化的设施不适宜与 ArcGIS Enterprise 组件一起应用。如果抉择的文件存储不能很好地解决小的随机 I/O,用户可能会遇到响应工夫显著减少甚至我的项目绘制失败的状况。可见,存储集群的性能,尤其是随机小 I/O 的性能,是 GIS 软件的一个硬性要求。

在和用户理论生产对接中,咱们发现,数据共享存储面临两个重要挑战:

  • 共享存储中小 I/O 读写性能,制约了实景建模等我的项目的绘制进度。
  • 一般的数据共享存储(例如 NAS 阵列、或一般的分布式文件存储)无奈撑持大规模的 Smart3D 或 ContextCapture 计算集群进行并发解决。

在一个理论我的项目中,用户基于原有的一套分布式存储,应用瞰景 Smart3D 进行实景建模,单套存储软件只能撑持 60 台计算节点,无论从存储的应用效率、还是计算效力利用率的角度上看,都难以达到用户的预期。焱融科技工程师,基于同样的服务器,搭建了 YRCloudFile 存储集群,应用 YRCloudFile Windows 客户端,最大撑持到了 600 台计算节点的规模,将原来 3 天实现的绘制工作,缩短到 2 小时实现。

在 GIS 三维实景建模中的利用,是 YRCloudFile 施展性能和大规模并发的又一个典型利用场景,通过高性能存储 YRCloudFile 作为撑持,将大幅晋升地理信息我的项目的工作效率。

正文完
 0