本文次要介绍DataFactory、DataBricks.有趣味的能够看官网文档

DataFactory

Azure 数据工厂是 Azure 的云 ETL 服务,用于横向扩大无服务器数据集成和数据转换。 它提供了无代码的 UI,以用于直观创作和集中式监督与治理。 还能够将现有 SSIS 包间接迁徙到 Azure,并在 ADF 中运行它们(二者齐全兼容)。 SSIS Integration Runtime 提供齐全托管的服务,因而无需放心根底构造治理。

DataBricks

Azure DataBricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。 Azure DataBricks 提供了两种用于开发数据密集型应用程序的环境:Azure DataBricks SQL Analytics 和 Azure DataBricks 工作区。

Azure DataBricks SQL Analytics 为想要针对数据库运行 SQL 查问、创立多种可视化类型以从不同角度摸索查问后果,以及生成和共享仪表板的分析员提供了一个易于应用的平台。

Azure DataBricks 工作区提供了一个交互工作区,反对数据工程师、数据科学家和机器学习工程师之间的合作。 应用大数据管道时,原始或结构化的数据将通过 Azure 数据工厂以批的模式引入 Azure,或者通过 Apache Kafka、事件核心或 IoT 核心进行准实时的流式传输。 此数据将驻留在 Data Lake(短暂存储)、Azure Blob 存储或 Azure Data Lake Storage 中。 在剖析工作流中,应用 Azure DataBricks 从多个数据源读取数据,并应用 Spark 将数据转换为突破性见解。

databricks分商业版本社区版本,学生以及集体能够应用社区版本。社区版本只须要注册一下账号,则就会领有一台配置为6G内存Spark集群环境