简介：Ganos 空天数据库引擎是李飞飞率领的达摩院数据库与存储实验室研发的新一代地位智能引擎，采纳了平台即服务、多模交融、计算下推和云原生全新解决架构，为政府、企事业单位、泛互联网客户提供挪动对象、空间 / 时空、遥感多模态数据混合存储、查问与剖析服务，解决空天大数据应用流程简单、应用门槛高、利用效率低等问题，次要利用于城市治理、交通物流、自然资源、航空航天、物联信息等畛域。
作者 | 谢炯
起源 | 阿里技术公众号
Ganos 空天数据库引擎是李飞飞率领的达摩院数据库与存储实验室研发的新一代地位智能引擎，采纳了平台即服务、多模交融、计算下推和云原生全新解决架构，为政府、企事业单位、泛互联网客户提供挪动对象、空间 / 时空、遥感多模态数据混合存储、查问与剖析服务，解决空天大数据应用流程简单、应用门槛高、利用效率低等问题，次要利用于城市治理、交通物流、自然资源、航空航天、物联信息等畛域。
一 研发背景
1 什么是空天大数据
随着挪动互联网、地位感知技术、对地观测技术的疾速倒退，以挪动对象、空间 / 时空、遥感为代表的空天传感数据呈爆发式增长，成为新基建和数字化框架的重要根底。
广义上，空天数据（aerospace data）次要来自天基和空基，例如基于天基平台的 GNSS（寰球导航卫星零碎）数据等，基于空基平台的航拍影像、视频数据等。狭义上，咱们将空天数据定义为涵盖 Spatial（空，即天文空间）和 Space（天，即宇宙空间）的地海空天各类与地位相干数据，也即本文所述空天大数据。天问一号携祝融号在火星的登陆将为咱们传来大量火星遥感影像和空间信息，使大家最直观地感触到来自地球之外的空天大数据。
以空天大数据助力疫情防控为例，咱们能够利用人、车等挪动对象的轨迹数据进行流传源追踪和疑似人群排查；利用海事通信卫星提供的 AIS 船舶动静数据分析疫情对港口贸易的影响等等。在这类简单剖析场景中，遥感影像、挪动对象、物联通信等新型空天传感数据的疾速获取、存储与高效查询处理为智能辅助决策起到关键作用。
2 空天大数据面临的挑战
数据结构简单多样难以治理
相比文本型、图片型等非结构化数据，空天数据具备类型多样、高度非结构化、大单体、多维度等特色，给一体化数据管理和高效查问检索提出了极大挑战。例如：
- 百万点形成的超大简单实体化对象，如长江 / 黄河、简单修建、灌区等；
- 千万点形成的挪动对象时空轨迹，如车、船、航空器等超长行程数据；
- 万亿像素形成的大范畴高分辨遥感影像间断笼罩……
数据动态变化要求更高维度计算
传统空间数据更多表白动态地物，如河流、铁路、修建等。随着挪动 APP 和 IoT 等技术的遍及利用，以时空挪动对象（人、车、船等）为代表的动态数据越来越多。记录地位的动态变化，须要零碎提供时空建模、时空索引和时空剖析计算能力。
大数据和大计算场景性能不佳
非结构化、大对象和动态性决定了空天数据的潜在大体量，单表小则千万级，大则百亿级场景将不再是个别现象，因而，对系统的存储老本、弹性能力、读写效率必将提出更高要求。当大规模数据要求提供在线化剖析计算服务，传统基于离线预处理（如离线切片）形式的生产和利用流程将面临极大挑战。
智能化须要多模态数据交融治理
文本、时序、时空、图（Graph）等多模态数据交融治理和跨模查问剖析是智能化的重要根底。单模态数据智能化无奈无效撑持简单业务知识发现并真正探寻事物倒退法则和趋势，因而，从部分模型专业化到全局多模通用化仍存在较大鸿沟，须要从根底数据库状态层面倒退全新架构。
3 达摩院独创空天数据库
针对此，达摩院研发新一代空天数据库引擎 Ganos，从数据库与存储最底层解决空天数据的一体化治理、疾速穿插交融查问以及高效剖析解决挑战，实现“亿级规模”地物多边形全图快显拜访、秒级效率的“千万平方公里”遥感影像时空动静拼图等先进技术，具备“一体化交融治理、大规模弹性服务、核心技术自主可控”等劣势，可面向空、天、地、海全域空间利用，成为撑持天联网和星云产业倒退的新型数据库基础设施。
二 空天数据处理架构演进
1995 年，美国 ESRI 公司为了满足 2B 市场需求，革命性地推出了空间数据引擎 SDE——基于商业关系数据库 + 中间件架构建模咱们的世界，影响了一代人。20 多年过来了，随着 Hadoop、Spark 以及分布式数据库技术的演进，分布式空间数据引擎近年来失去了疾速倒退，在一些大规模空间数据分析解决场景中施展了独特劣势。那么，空间数据处理的下一站演进将去哪里？
咱们认为，将空天信息处理融入 PaaS 服务（Platform as Services），以云数据库与存储平台为外围解决空天数据的实时接入、高效存储和弹性计算，是撑持时空信息云化架构向纵深倒退的必然趋势。咱们将之合成为平台即服务、多模交融、计算下推和云原生四个方向的架构演进。
1 平台即服务
与传统基于通用数据库作为存储，外置中间件状态的时空数据引擎计划不同，新一代空天数据库引擎采纳了平台即服务架构。该架构将空天引擎内置于云上 OLTP 数据库、OLAP 数据仓库、数据湖以及 NoSQL 多模数据库等不同零碎，相比传统计划在易用性、计算效率和事务一致性解决上存在先天劣势，且将来基于 SQL 标准化也能疾速建设跨平台能力。通过产品组合可提供从在线解决到在线剖析，到离线计算再到离线存储的海量空天大数据解决方案。
2 多模交融
传统时空数据处理以地理信息系统（GIS）或遥感图像处理平台软件为外围，强调平台专业性，但因为业余强化，造成业余度较高的半封闭零碎，也会反向弱化和其余多模类型数据的交融解决能力；从 IT 视角登程，空天 / 时空数据将去中心化，成为各类多模数据的一类，并借助数据库建设普适关联，升高业余门槛。通过普适关联，将空天 / 时空数据与通用数据、文本、时序、图等多模数据一体化治理和解决，这种泛时空求解能力为大数据简单业务开发将提供更大灵活性。
3 计算下推
计算下推是 IT 技术架构演进的一个重要趋势。将空间信息系统业务要害计算下推数据库与大数据系统，让计算离数据更近，能够间接利用存储计算下推、并行化解决、GPU/FPGA 异构计算减速能力实现数据本地计算，岂但能升高因大量两头后果数据网络传输导致的 IO 提早，也能简化业务逻辑并整体晋升业务零碎性能。
4 云原生
新一代空天数据库引擎脱胎于私有云，并由私有云走向混合云。咱们认为，数据要灵便，算法补；算法要灵便，算力补。举个例子，传统空天数据利用须要大量做切片预处理，导致数据利用不灵便。为了数据更灵便，业界引入了事后动态缓存 + 动静切片的算法，但这种算法显然很简单；那么算法要灵便，必须要算力补，即借助足够弹性的算力来保障繁多算法的纯正性和普适性。这就要借助云原生能力。云原生的实质是资源池化，即通过资源池化实现弹性服务和规模化。云服务的实质就是算力经济。
三 积沙成塔，做好底座
遵循平台即服务、多模交融、计算下推和云原生理念，达摩院设计并实现了新一代空天数据库引擎 Ganos。咱们在寰球空天网格编码、空天多模并行查询处理、大规模矢量图形快显减速等空天数据处理关键技术上一直摸索并技术冲破，建设了数据存储、索引、查问、剖析和可视化撑持技术体系，在空天多模态数据处理外围畛域造成差异化竞争力。
1 整体框架
Ganos 取名于大地女神盖亚（Gaea）和工夫之神柯罗诺斯（Chronos），代表空间 + 工夫的深度联合。它并不是一款独立的云产品，而是一套空天 \ 时空 \ 多维数据存储与解决解决方案。零碎底层提供了撑持海陆空天大规模数据存储能力，包含批量疾速写入、空天多维表白、多维时空索引和冷热多级存储等，下层提供数据治理、交批查询处理以及剖析计算与操作。
Ganos 能力框架
从产品构造上，Ganos 将空天数据处理能力融入云关系型数据库 RDS PG、云原生关系型数据库 PolarDB、云原生数据仓库 AnalyticDB PostgreSQL、多模数据库 Lindorm、数据湖剖析 DLA，基于产品组合构建空天数据库大数据一体化底座。进一步联结 AI Earth（达摩院公布的首个泛自然资源行业 AI 引擎）、OSS 对象存储、以及微服务框架等技术生态体系，为用户构建免切片存储、时空一体、动静计算、智能剖析全新架构的云原生空天大数据平台提供了外围能力撑持，可广泛应用于城市治理、自然资源、应急治理、交通物流等不同行业。
Ganos 生态系统
2 空天多模与寰球网格编码
单一化模型已无奈满足以后数字化新场景利用，Ganos 从底层开发空天多模型引擎，已原生反对 10 多大类空天数据的存储、查问和剖析计算。在此基础上，基于与多模数据库 Lindorm 集成，实现键值、宽表、时序、时空、搜寻、文件等多模数据的一体化治理和解决。
空天多模型引擎
在此基础上，Ganos 基于 GeoSOT 寰球网格剖分实践，联合 PolarDB 引入了一种全新的网格数据类型 geomgrid，反对空天对象打码和网格对象计算等操作。空天网格码是在 GeoSOT 地球空间剖分实践根底上倒退出的一种离散化、多尺度区域地位标识和度量体系。该体系的外围是用一种新的办法，将地心至地上 6 万公里的地球空间剖分成数以兆亿个大小不等、多尺度、高精度的网格群，同时为每一个网格赋予寰球惟一的整形数标识编码。零碎能够无缝对接北京大学 / 旋极伏羲基于 GeoSOT 的网格大数据平台构建空天数据库 - 网格大数据一体化解决方案。原生网格数据类型的引入加强了空天数据库的对立时空标识能力、空天计算减速能力和基于地球空间网格的数据共享能力。
空天网格剖分示意图
3 存计拆散与多级并行计算减速
基于 PolarDB，Ganos 采纳了存计拆散和分布式共享存储架构。计算和存储拆散，将原有一体化设计的数据库的各个组件（计算 / 内存 / 存储）齐全解耦，造成可独立伸缩的资源池。同时，为升高存计拆散带来的写入和查问提早，共享存储系统采纳了端到端全用户态模式，交融了 RDMA、SPDK 等高速数据传输和存取软硬件技术，以及与近存储计算介质硬件联合的 DB 解决下推技术，无效地晋升了空天数据的存储规模和解决能力。
基于存计拆散和分布式共享存储架构，Ganos 进一步将两阶段查问加强和多节点并行查问有机联合，实现了跨节点空天并行查询处理框架。其中，三管齐下晋升数据并行处理性能：
- 采纳分布式共享存储架构无效防止了数据跨节点 shuffle 带来的网络 IO 开销；
- 基于拓扑索引的粗过滤加精过滤两阶段查问大幅晋升空天数据查问过滤性能；
- 跨节点并行、节点内并行加算子级并行造成多级并行框架。经权威第三方测评结果表明，2 亿级图斑做叠加剖析并统计面积，采纳 80 过程并行计算，10 分钟即可出后果（两头蕴含裁剪出 7800 万超大后果集），比传统大数据计划至多快出一个数量级。
基于两阶段优化的跨节点并行查询处理框架
4 在线动静解决服务智能化
要构建空天“最强大脑”，需建设基于动静计算的数据组织、解决和利用模式。以大规模遥感影像数据处理为例，Ganos 综合了 PolarDB 的空天索引、Lindorm 的空天多模存储和 DLA Serverless Spark 的空天计算能力，为用户提供单元化存储、时空化组织和像素级调用的全新解决框架：
- 单元化存储：是以每一幅遥感影像为单元进行存储，防止做更多预处理，从而使数据保持足够灵便；
- 时空化组织：是以原始影像为单位，将工夫维植入体系结构，从而使全量数据实现时空结构化；
- 像素级调用：设计理念上保留影像原始像元矩阵，确保每一寸像元信息精准，包含工夫、空间和光谱信息，为智能化服务提供最鲜活原料。用户划定工夫和空间边界等条件，Ganos 借助弹性云算力，实现动静并行计算。
外部测试表明，基于 Serverless 弹性算力，千景遥感影像时空拼图效率可达到秒级，变革传统预处理 / 预切片模式为按需时空动静并行计算模式，节约至多 50% 存储和解决老本。
栅格动静时空拼图
5 视算兼顾突破服务边界
空天数据是一种非凡的图形图像数据，同一套数据存储构造很难同时满足快计算和快显示需要，以往用户从查问剖析计算延长到数据大场景显示不得不经验数据结构大幅重构的简单“熵增”过程。
Ganos 的另一个设计述求是将计算和可视化进行兼顾，数据库端将存储、计算和可视化买通。大体量的矢量数据入库后即时全局浏览始终是业界难题，额定找工具切图公布又耗时耗力。Ganos 通过设计一种稠密矢量金字塔索引，客户端可通过与数据库实时交互，秒级疾速可视化拜访“亿级规模”多边形地物，而创立索引仅需分钟级并耗费仅 5% 的额定存储空间。这种以数据库索引构造减速数据可视化办法极大升高了用户数据处理复杂度。这一技术可不便集成到 PGAdmin 等数管工具，亿级几何图形数据导入即可秒级全局可视化，解决了传统数管工具针对矢量大图“可查不可看”的历史难题。
基于【捷泰天域】提供亿级多边形实在数据实现终端快显拜访
四 构建生态解决方案
1 DB for AI——与 AI Earth 数知地球集成
阿里巴巴达摩院自研 AI Earth 数知地球产品用于交融剖析卫星影像、无人机影像、实时视频流、气象数据、IoT 数据等多源地球观测数据，智能解译和实时感应修建、土地、植被、河流等多种指标信息的变动，为地球环境生态多畛域提供业余服务。
Ganos 和 AI Earth 数知地球，正在用翻新的形式，解决地球空天地海数据的治理与计算问题。这是一种 DB for AI 的产品组合，Ganos 提供智能化存储与治理大规模空天数据能力，向上服务于 AI Earth 数知地球，撑持变化检测、地物分类和指标提取等操作，实现智能化计算剖析与信息深度开掘。
DB for AI: Ganos + AI Earth
2 DB for GIS——与 GIS 平台共建
GIS 平台是空间数据处理的专业化零碎。DB for GIS，将扭转二十多年来 GIS 与通用数据库的传统对接模式。GIS 的外围空间计算下推以云原生数据库为外围的云根底平台实现计算减速将是下一代 GIS 零碎可行的倒退门路。Ganos 已与 SuperMap（超图）、ArcGIS（ESRI）、MapGIS（中地）等支流 GIS 根底平台软件实现兼容适配，可撑持已有 GIS 利用的无缝迁徙。GIS 平台空间数据引擎能够将空间查问和剖析计算下推 Ganos，利用空天数据库引擎的多模解决、高效索引、多级并行计算、资源弹性调度实现计算减速。反过来，Ganos 也借助 GIS 平台工具实现地上公开、室内室外、海洋陆地全空间建模与数据展示。
DB for GIS 架构
与 GIS 平台的深度交融，践行了阿里云的被集成策略，适应了“一横一竖”的平台策略。通过“一竖”实现垂直整合，即 GIS 平台借助技术集成 Ganos 晋升了零碎整体性能，而 Ganos 借助 GIS 平台拓宽了空间业务能力宽度。“一横”是通过品牌叠加，独特构建了平台生态，为强 GIS 数字化畛域利用提供业余的全空间数字化解决方案能力。“一横一竖”整合，扩充了空间数据服务的“面积”。
五 撑持空天地海利用
站在云端，传统空间信息行业的边界在逐步突破，空天利用的涵盖一直内涵。空天数据库引擎 Ganos 已在天、空、地、海全域空间取得利用，笼罩自然资源、灾祸应急、交通物流、航空航天、出行、平安、农业、陆地、水利、科教以及社交、健身、游戏、O2O 等不同行业方向。
与飞常准及超图单干，实现 25 亿寰球航班轨迹点毫秒级时空回放与展现
撑持阿里巴巴数字星球引擎，使 PB 级大规模遥感数据的时空动静组织、按需逻辑拼接和像素级快速访问调用成为可能
在农业信息化畛域，以国源科技为代表的农业地理大数据平台，通过 2B 业务转型，依靠 Ganos 治理地理信息资源，交融云上的人工智能和大数据技术，为现代化农业建设提供农业大数据新型产品和服务
与 DataV 集成，为阿里云三维城市渲染引擎专业版 DataV.CityPro 提供空天数据检索和多维地形剖析能力
与北大旋极网格大数据平台建设深度对接，建设网格数据库 + 大数据一体化解决方案
联结达摩院数知地球（AI Earth），造成遥感大数据管理与 AI 一体化智能平台，利用于自然资源、环保、水利等畛域省部级利用
赋能寰球自然灾害危险大数据服务平台，残缺撑持寰球地震、台风、滑坡、林草火灾等 12 个灾种时空过程建模和危险图公布
六 结语
在云计算和大数据时代，空天大数据将成为地位智能化的根底外围。让卫星“天眼”更显神通，让 IoT 设施更具智能，需建设全新的空天数据组织、解决和利用模式。将来，咱们将地位信息、时态信息和多模态信息实现进一步交融治理和解决，拓展计算智能并将场景延长到深地、深海、深空。Ganos 将始终立足云空天基础设施能力建设，解构空天多模与编码、分布式并行计算减速、在线动静解决等关键技术，为企业构建空天“最强大脑”提供根底云服务，推动时空云计算作为数字化转型的根底引擎普惠到更多客户。
2021 阿里云峰会暨开发者大会
数字时代，翻新的时代。阿里云始于开发者的现实，保持用云的力量让开发者的翻新更简略，独特成就数字新篇章。2021 阿里云开发者大会特邀阿里巴巴团体副总裁、阿里云智能数据库事业部高级研究员李飞飞，和开发者们畅聊云原生时代数据库的现状和将来。点击这里，立刻报名吧！5 月 29 日，咱们在北京国家会议核心等你来~
版权申明： 本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。