关于spark:Spark-Spark-Submit使用

37次阅读

共计 756 个字符，预计需要花费 2 分钟才能阅读完成。

Spark Submit 用于启动集群中的应用程序，他的运行命令跟 Spark Shell 差不多。

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

–class：应用程序的入口
–master：master URL，这个同 Spark Shell
application-jar：jar 包地址
application-arguments：应用程序入口的参数

其余参数也和 Spark Shell 差不多，能够通过 $SPARK_HOME/bin/spark-submit --help 查看。
上面咱们用 Spark 自带的程序来计算 Pi。相似的例子能够参考官网

$SPARK_HOME/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077,bigdata03:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \
100

运行过程中的 web 界面，运行时通过 http://bigdata01:4040/jobs 拜访：

运行后果如下：

http://bigdata01:8080/ 能够看到，曾经实现了两次 Applications，在 Completed Applications 中还能够看到运行的信息

正文完