本文次要介绍 DataFactory、DataBricks. 有趣味的能够看官网文档
DataFactory
Azure 数据工厂是 Azure 的云 ETL 服务,用于横向扩大无服务器数据集成和数据转换。它提供了无代码的 UI,以用于直观创作和集中式监督与治理。还能够将现有 SSIS 包间接迁徙到 Azure,并在 ADF 中运行它们(二者齐全兼容)。SSIS Integration Runtime 提供齐全托管的服务,因而无需放心根底构造治理。
DataBricks
Azure DataBricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。Azure DataBricks 提供了两种用于开发数据密集型应用程序的环境:Azure DataBricks SQL Analytics 和 Azure DataBricks 工作区。
Azure DataBricks SQL Analytics 为想要针对数据库运行 SQL 查问、创立多种可视化类型以从不同角度摸索查问后果,以及生成和共享仪表板的分析员提供了一个易于应用的平台。
Azure DataBricks 工作区提供了一个交互工作区,反对数据工程师、数据科学家和机器学习工程师之间的合作。应用大数据管道时,原始或结构化的数据将通过 Azure 数据工厂以批的模式引入 Azure,或者通过 Apache Kafka、事件核心或 IoT 核心进行准实时的流式传输。此数据将驻留在 Data Lake(短暂存储)、Azure Blob 存储或 Azure Data Lake Storage 中。在剖析工作流中,应用 Azure DataBricks 从多个数据源读取数据,并应用 Spark 将数据转换为突破性见解。
databricks 分 商业版本 和社区版本 ,学生以及集体能够应用 社区版本 。社区版本只须要注册一下账号,则就会领有一台配置为6G 内存 的Spark 集群环境。