关于spark:Spark-Spark-Submit使用

Spark Submit用于启动集群中的应用程序，他的运行命令跟Spark Shell差不多。

./bin/spark-submit \  --class <main-class> \  --master <master-url> \  --deploy-mode <deploy-mode> \  --conf <key>=<value> \  ... # other options  <application-jar> \  [application-arguments]

• --class：应用程序的入口
• --master：master URL，这个同Spark Shell
• application-jar：jar包地址
• application-arguments：应用程序入口的参数

其余参数也和Spark Shell差不多，能够通过$SPARK_HOME/bin/spark-submit --help查看。
上面咱们用Spark自带的程序来计算Pi。相似的例子能够参考官网

$SPARK_HOME/bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://bigdata01:7077,bigdata03:7077 \--executor-memory 512m \--total-executor-cores 2 \$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \100

运行过程中的web界面，运行时通过http://bigdata01:4040/jobs 拜访：

运行后果如下：

http://bigdata01:8080/能够看到，曾经实现了两次Applications，在Completed Applications中还能够看到运行的信息