关于azure:03-DataBricks挂载到Blob

36次阅读

共计 776 个字符，预计需要花费 2 分钟才能阅读完成。

我的项目初始阶段因为不相熟 DataBricks，创立的库和表的数据间接放在了 DBFS 中，然而在由测试环境迁徙到正式环境时有了问题 —DBFS 中的数据不能间接 copy 进去。最终应用代码 copy 一个库到 blob 存储，耗时长还易出错。所以在我的项目初期建表之间就应该将 DataBricks 间接挂载到 Blob 存储中。这样只是把表和库的构造放在 DBFS 中，数据就间接放在 Blob，十分不便迁徙。

#prd
dbutils.fs.mount(
    # data_file blob 容器名字 挂载 blob 的地位
  source = "wasbs://data_file@databricksasprdsa.blob.core.chinacloudapi.cn",
    #/mnt/data_warehouse DBFS 门路
  mount_point = "/mnt/data_warehouse",
    #key：blob 拜访密钥
  extra_configs = {"fs.azure.account.key.databricksasprdsa.blob.core.chinacloudapi.cn":"key"})

CREATE DATABASE stg; -- 创立数据库

create table stg.stg_text (
    indes stirng,
    edw_created_on_dt timestamp,
    edw_changed_on_dt timestamp,
    edw_etl_insert_dt timestamp,
    edw_etl_update_dt timestamp,
    etl_insert_dt timestamp,
    etl_update_dt timestamp
)using delta
location '/mnt/data_warehouse/az_kpi/stg.db/stg_text'; -- 构造存储地位

正文完