共计 3678 个字符，预计需要花费 10 分钟才能阅读完成。
在数据成为生产因素的明天，企业愈发须要更高效、简洁利用数据的办法来疾速响应一直变动的商业和情报分析。传统形式是数据集成（ETL）后再做剖析，但目前需要在变动，数据源也在变动，数据集成系统越来越宏大，导致响应变动的速度越来越慢，逐步呈现灵便度低、过程简单、难以治理等问题。针对这样的窘境，企业须要一种能更灵便、快捷地进行数据集成的办法，而这种办法就是数据联邦与联邦计算。
数据联邦与联邦计算交融，一平台即可对同构或异构数据进行拜访和剖析
“数据联邦”以及“联邦计算”概念的呈现，使数据集成的办法产生了极大的改善。“数据联邦”解决了灵便对立数据视图的问题；“联邦计算”解决了灵便对立数据查问的问题。而这两种技术联合能够提供虚构的数据集成视图，以及封装后的数据加工接口，使数据消费者（企业应用）无需思考数据物理地位、数据结构、操作接口和贮存能力等问题，即可在同一平台上对同构或异构数据进行拜访和剖析。
数据联邦能够为企业的数据管理带来以下能力：
- 数据源松耦合：使零碎间处于松耦合关系，数据源的增加与删除简单易行；
- 虚拟化的数据集成：与传统 ETL 相比，数据联邦仅进行了虚构的集成，能更快、更低成本地集成大量数据，晋升数据集成速度；
- 数据信息通明：用户不需感知数据源的地位和构造，数据源零碎不须要做改变，可放弃原有独立运作，数据处理灵便度失去晋升；
- 缩小数据冗余：因为通过虚构视图而不是复制的形式集成，极大升高了数据泄露的危险，加强了数据的可维护性；
- 保证数据一致性：数据联邦对立治理数据，能更好保障跨库数据一致性。
数据联邦与联邦计算，突破企业数据孤岛
数据联邦和联邦计算解决了“数据孤岛”问题，并且防止了传统 ETL 流程长，开发和运维老本较高的缺点，能够满足利用对数据采集有灵活性、实时性要求，或者存在异构数据源解决的场景：
疾速灵便的采集数据
虚构的操作型数据库 （ODS）: 通过虚构操作型数据存储（ODS），构建可操作的数据集成视图，数据变动会很快反映到 ODS，且联邦的数据源可随具体的剖析需要灵便增减变动，因而能满足一些轻量、短期的数据分析，或者实时灵便的仪表盘利用。
建造数据直达区 ：利用数据联邦构建数据直达区，能够对大量从生产零碎进入数仓的数据进行疾速合并，极大缩小数据复制对生产零碎的烦扰。数据直达区对数据变动的实时存储，能记录残缺的数据变更信息。
数据仓库的扩大 ：企业部署数据仓库后存在问题，一方面，整个企业不太可能只应用繁多数仓；另一方面，企业依然有大量的数据未存入任何数仓，须要构建对立视角。而数据联邦和联邦计算能在无需转换格局和挪动数据的状况下，提供所有企业数仓和零散数据的对立视角，升高了数据挪动转换的老本。
异构数据源的解决
企业数据治理 ：联邦后的数据形成数据治理的底座，对异构数据库或数据平台提供对立治理，造成对立的数据治理流程和规定。通过治理后，企业能够构建出残缺的数据信息资产列表，如企业数据资源，或者残缺的客户信息视图等，可对这些资产进行共享替换。
异构平台迁徙 ：在异构平台迁徙过程中应用联邦计算，能使迁徙过程更平滑，无需思考数据的迁徙和异构平台语法不兼容等问题，保障利用对数据的应用不受影响，且能在迁徙实现后在不影响新利用的前提下更改数据源配置。
异构数据分析 ：企业能够利用数据联邦的能力，实现跨结构化数据、非结构化或者半结构化数据的剖析。
星环科技自研的联邦计算平台，联邦多个同构或异构的自治数据源
联邦计算的关键点即实现基于对立的 SQL 查问引擎。星环自研的联邦计算平台能够联邦多个同构或异构的自治数据源，用户能够随便查问在联邦零碎中任意地位的数据，而不用关怀数据的寄存地位、理论数据源零碎的 SQL 语言品种或存储能力。其架构如下图所示，次要实现了对以下两方面的对立：
1. 对立的元数据管理
构建各个同构、异构数据源的形象整体视图，提供对立数据源连贯治理、对立的元信息管理。
数据源连贯层 ：通过联邦计算平台，开发者能够构建跨数据库实例的虚构连贯，从而在以后数据库中实现跨库拜访。该层负责管理接入数据源，既反对传统数据源的连贯，也反对大数据平台的连贯；既反对结构性数据，也反对非构造数据接入。
元信息管理层 ：从各数据源获取元信息并集中管理，通过对数据源的查问来获取和保护最新的元信息，从而保障元数据在各个平台之间的一致性，在构建、运行、保护的整个联邦计算的生命周期中起到要害撑持作用。
2. 对立的查问加工接口
为联邦的数据提供数据加工、数据查问的对立接口，用对立的规范 SQL 语句实现跨平台的数据加工。
联邦查问 SQL 引擎层 ：作为对立的语法解析层，解析 SQL 指令。其外围是 SQL 编译器、优化器和事务管理单元，它是保障能够给开发者提供比拟好的数据库体验，无需基于底层不同平台且有差异化 API 来做业务开发，同时会通过优化器来生成最佳的执行打算，最终将执行打算推送给计算引擎层。
联邦查问计算引擎层 ：作为反对多平台的对立计算引擎。星环抉择了基于 DAG 的计算模式，而且在它的根底上深度优化执行性能，既能反对更多样化的数据计算需要，也可能取得极致的性能。同时通过量化执行引擎技术来减速数据处理，对于列式数据有显著的减速成果。
Cache 层 ：用于减速的缓存层。
联邦平台拜访层 ：反对规范的 JDBC/ODBC/REST 接口。
除了有基础架构作为撑持，联邦计算的落地还须要有下层的数据开发工具的反对，与数据联邦配合实现从数据获取、加工、到价值变现的残缺过程，同时跨数据源的数据安全也应该失去保障。
开发治理运维工具 ：对立的数据开发、治理、运维工具平台，使企业能够更有效率的利用联邦计算构建企业外部的数据服务层，以及数据业务价值层。
平安层 ：负责认证、审计、受权，提供数据加密、脱敏，以及密级分类等性能，保证数据在存储、传输、加工过程的平安。
数据联邦和联邦计算的实现
数据联邦和联邦计算的价值在于为数据集成和集成后的加工提供了便当的实现形式，对于企业而言，相干的残缺解决方案以及可视化的操作，是保障外部推广落地的要害。星环科技研发的数据治理平台 Transwarp Data Studio（TDS），作为企业级的数据加工平台，联邦计算 / 数据联邦是 TDS 的外围能力之一，除此之外还提供数据集成、存储、治理、建模、剖析、开掘和服务等数据处理全生命周期的企业级治理能力。
从利用层面的角度，数据联邦要买通异构数据源，实现系统性的数据共享、公布，从而撑持利用，为此开发平台应该提供元数据管理、数据资产列表、以及服务公布等保证数据视图对立的性能，在 TDS 中通过以下模块实现：
对立数据资产目录（Transwarp Data Catalog）：一方面，Catalog 同时反对接入支流关系型数据库、分布式数据库、NoSQL 数据库和 BI 等数据源，满足异构多数据源连贯的需要。另一方面，Catalog 通过数据库直连形式获取所有异构数据库或平台的技术元数据，联合内部 API 形式补充异构数据库的数据血统数据，实现平台的数据管控和追踪，满足数据联邦的元数据收集治理需要。
对立数据门户商城（Transwarp Foresight）：可能整合各个平台上的数据产品并作为技术与业务的外围替换门户，用较低开发和运维老本提供高性能的全数据平台的数据产品的共享替换服务。
对立数据服务（Transwarp Midgard）：可通过数据库直连形式，将各类数据库的数据公布为数据服务，同时提供对立的平安管控和流量统计、管制。
对立数据标签（Transwarp Starviewer）：反对对所有业务零碎数据库和数据平台的数据进行高性能的标签计算，对业务用户提供对立的标签开发和利用入口，同时防止业务数据库的品种多样和散布繁冗给业务用户带来的应用困扰。
从开发层面的角度，TDS 的开发模块对接星环自研引擎的联邦计算能力，实现对异构数据源的对立拜访和加工，通过联邦计算解决数据开发、数据管理等波及跨库数据源加工过程的问题：
- SQL 开发（Transwarp SQLBook）：在线 SQL 开发工具 SQLBook 可联合联邦计算能力将 SQL 下发到异构数据平台，应用对立的语法拜访异构数据源，简化数据加工。同时提供大数据集成，将 Hadoop 和 NoSQL 零碎中的数据通过 SQL 的模式拜访，实现一个对立的 SQL 开发入口。
- 数据管控工具（Transwarp Governor）：能通过数据规范、数据品质、数据保护和数据权限等多维度能力撑持数据治理。将对立的数据品质规定间接下发到各个数据源平台，升高数据品质规定的开发成本，且保障异构平台对立的数据品质。
- 革命性的 ETL 模式：思考到数据联邦虚拟化的集成不能满足所有数据加工状况，TDS 提供了翻新的 ETL 工具，在不减少过多人力的状况下，能极大升高数据的复制和迁徙需要，晋升数据利用的搭建效率，升高存储老本和数据透露的危险。
对于利用和开发层面的“联邦”反对，以及全流程可视化数据开发、监控、运维与告警，使 TDS 能够通过实现多数据源、数据多样场景下的数据接入、数据整合、数据服务过程，无效实现企业级数据湖、数据仓库、数据集市建设以及相应扩大，促成企业外部数据统一化、资产化。
