【甘道夫】Spark1.3.0 Submitting Applications 官方文档精华摘要
浏览数：21 /
时间：2015年06月11日
引言
由于工作需要，即将拥抱Spark，曾经进行过相关知识的学习，现在计划详细读一遍最新版本Spark1.3的部分官方文档，一是复习，二是了解最新进展，三是为公司团队培训做储备。
欢迎转载，请注明出处：
http://blog.csdn.net/u010967382/article/details/45062381
该文档重点介绍如何将编写好的Spark应用程序提交到Spark集群中运行。
首先需要将应用程序的所有依赖都打包到应用程序jar中。
注意，无需将Spark和Hadoop作为依赖包加入集合jar中，因为在运行时Cluster Manager会提供这些系统级的依赖。
一旦程序打包好了，就可以通过bin/spark-submit脚本将应用程序提交给Spark集群。
bin/spark-submit脚本格式如下：
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
一些常用的选项包括：
- --class: 应用程序的入口类，包含main方法；
- --master: 集群中Master节点的URL(e.g. spark://23.195.26.187:7077) ，该参数一言难尽，后面有详细说明；
- --deploy-mode: 决定你的driver程序的运行位置，cluster模式是运行在worker节点上，client模式是运行在集群外部。默认是client模式；
- --conf: 任意Spark的基础属性配置，用key=value格式；
- application-jar: 指向应用程序jar包的路径，路径必须全局可见，要么是一个hdfs路径，要么是一个所有node本地都有的文件路径；
- application-arguments: 应用程序接收的参数。
关于--deploy-mode参数：
- client模式：一个常见的部署策略是从一台网关机器提交你的应用程序，这台机器和你的worker机器物理上很接近（例如集群中的Master节点）。在这样的场景下，client模式就非常适合。在client模式中，driver程序直接在spark-submit进程中启动，spark-submit进程对于集群来说就是一个客户端程序。应用程序的输入和输出都会通过控制台。这样的话，client模式就尤其适合包含REPL（“读取-求值-输出”循环，英语:Read-Eval-Print
Loop,简称REPL）的应用程序，比如Spark shell。
- cluster模式：另一个经典场景，cluster模式，如果你的应用程序从一台离workder机器较远的机器提交（例如从你的笔记本电脑上提交），通常会通过cluster模式来最小化driver和executors之间的网络延迟。注意，cluster模式现在尚未支持Mesos集群或者Python应用程序。
关于--master参数：
| Master URL | Meaning |
|---|---|
| local | Run Spark locally with one worker thread (i.e. no parallelism at all). |
| local[K] | Run Spark locally with K worker threads (ideally, set this to the number of cores on your machine). |
| local[*] | Run Spark locally with as many worker threads as logical cores on your machine. |
| spark://HOST:PORT | Connect to the given Spark standalone cluster master. The port must be whichever one your master is configured to use, which is 7077 by default. |
| mesos://HOST:PORT |
Connect to the given Mesos cluster. The port must be whichever one your is configured to use, which is
5050 by default. Or, for a Mesos cluster using ZooKeeper, use mesos://zk://.... |
| yarn-client |
Connect to a YARN cluster in client mode. The cluster location will be found based on the HADOOP_CONF_DIR variable. |
| yarn-cluster |
Connect to a YARN cluster in cluster mode. The cluster location will be found based on HADOOP_CONF_DIR. |
spark-submit脚本将默认读取conf/spark-defaults.conf中的配置属性，我们可以在conf/spark-defaults.conf文件中做好基础属性的配置，就无需在spark-submit脚本中重复指定了，例如，如果spark.master属性已经设置了，你就可以不用在调用spark-submit脚本时再次传入spark.master参数。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
