乐趣区

OozieHUE-调度-Spark2

环境

JDK   1.8.0  
Scala 2.11.8  
Spark 2.1.2
Oozie 
Hue   

yarn local 模式

  • 进入 Workspace

  • 进入 lib 目录,并上传 jar 和 配置文件

  • 拖拽 Spark Program

  • 选择刚才的 lib 目录

  • 填入 jar 名称,点击 add 确认

  • 填写业务主类名称,并配置参数

  • 点击小齿轮,查看其他参数


  • 保存配置

  • 提交运行

yarn cluster 模式

本文出自 walker snapshot

退出移动版