Ubuntu 14.10 下使用IDEA开发Spark应用

浏览数：79 / 时间：2015年06月20日

1 环境准备

　　1.1 下载IDEA，可在官网下载

　　1.2 IDEA与Eclipse有点不同，IDEA中的New Projects相当于Eclipse中的workspace，New Module才是新建工程

2 建立Spark程序

　　2.1 首先新建项目，New Projects，名字随便取：Create New Project -> Scala -> SBT -> 创建名为SparkExample的project

　　2.2 创建Module，New Module，名字随便取：New Module-> Scala -> Scala，创建名为FirstApp

　　2.3 设置FirstApp 的Project Structure

　　　　2.3.1 增加源码目录，目录结构自己设置

　　　　2.3.2 增加Jar包，File -> Project Structure -> Libraries -> + -> java -> 选择

　　　　　　spark-assembly-1.0.0-hadoop2.2.0.jar

　　　　　　scala-library.jar

　　2.4 编写代码，在源码包下新建Object，这里找了三个Demo

import org.apache.spark._
import scala.math.random
/**
 * Created by hadoop on 15-3-21.
 */
object SparkPi {
  def main (args: Array[String]) {
    val conf = new SparkConf().setAppName("Spark Pi")
    val spark = new SparkContext(conf)
    val slices = if(args.length > 0) args(0).toInt else 2
    val n = 100000 * slices
    val count = spark.parallelize(1 to n,slices).map{ i =>
      val x = random * 2 - 1
      val y = random * 2 - 1
      if(x*x + y*y < 1) 1 else 0
    }.reduce(_+_)
    println("Pi is roughly " + 4.0 * count / n)

    spark.stop()
  }
}

import org.apache.spark.{SparkContext,SparkConf}
import org.apache.spark.SparkContext._

/**
 * Created by hadoop on 15-3-21.
 */
object WordCount1 {
  def main (args: Array[String]) {
    if(args.length == 0){
      System.err.println("Usage: WordCount1 <file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("WordCount1")
    val sc = new SparkContext(conf)
    sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x,1)).reduceByKey(_+_).take(10).foreach(println)
    sc.stop()
  }
}

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._

/**
 * Created by hadoop on 15-3-21.
 */
object WordCount2 {
  def main(args: Array[String]) {
    if (args.length == 0) {
      System.err.println("Usage: WordCount2 <file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("WordCount2")
    val sc = new SparkContext(conf)
    sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x,1)).reduceByKey(_+_).map(x =>
      (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).take(10).foreach(println)

    sc.stop()
  }
}