ubuntu 14.04下spark简易安装
浏览数：72 /
时间：2015年06月20日
java安装
首先需要上oracle的网站下载
在lib目录下建立一个jvm文件夹
sudo mkdir /usr/lib/jvm
然后解压文件到这个文件夹
sudo tar zxvf jdk-8u40-linux-i586.tar.gz -C /usr/lib/jvm
进入解压文件夹
cd /usr/lib/jvm
然后为了方便改个名字
sudo mv jdk1.8.0_40 java
打开配置文件
sudo gedit ~/.bashrc
加入以下设置
export JAVA_HOME=/usr/lib/jvm/javaexport JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH
使之生效：
source ~/.bashrc
完成
安装spark
下载prebuild的spark安装包
解压
tar -xzf spark-1.2.0-bin-hadoop2.4.tgz
然后其实这个时候spark的python模式就可以使用了。只要cd进去运行bin目录下的pyspark就可以了。但是我们下面要做的就是链接和选择一个好些的位置存放文件
链接
先把文件岁半换个地方放
sudo mv spark-1.2.1-bin-hadoop2.4 /srv/
然后设个链接
sudo ln -s /srv/spark-1.2.1-bin-hadoop2.4/ /srv/spark
再修改下~/.bash_profile就可以了
export SPARK_HOME=/srv/sparkexport PATH=$SPARK_HOME/bin:$PATH
完成
命令行直接执行pyspark
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
