Eclipse下Spark+ScalaIDE开发环境部署

刚开始学Spark，之前一直都是在服务器里用Spark-shell进行简单学习的，后来觉得这样实在是很不方便，于是就决定利用Eclipse ide来进行开发，不过这当中遇到了很多问题，搞了半天总算搞得差不多了，下面就记录下环境搭建的步骤方便重新配置。

当前环境

在配置eclipse的开发环境前，我已经在服务器中配置好了hadoop+scala+spark的环境：

hadoop 2.7.2
spark 1.6.2
scala 2.10.4
jdk1.7
Linux系统
由于服务器本身性能强劲，我采用Standerdalone模式，没有slave。

同时，本机也配置了同样的hadoop、spark、scala的环境（一方面是方便本机测试，另一方面是提供必要的jar包）。

下载配置Eclipse+Scala

eclipse本身不支持scala语言，但是有一款很不错的插件Scala-IDE，利用这个插件，eclipse就能很好的支持scala语言的开发了。

Scala-IDE官网在这里，这个社区现在还很活跃，一直在更新产品，不过这也导致了我们在下载配置的时候要十分注意版本选择：

保证Scala-ide插件与本地的Scala版本一致，这一点不用多说，但是一定不要抱着”版本落后一点也没事”的侥幸心理。
保证Scala-ide插件与eclipse的版本要匹配，否则就会造成一堆错误。因此我们通常不要先急着下eclipse，而是要先根据自身的scala版本选择好Scala-ide版本，再根据Scala-ide版本选择eclipse版本。
如果主页上找不到历史版本的Scala-ide，去这里找。
较新版本的Scala-ide可能会集成好对应的eclipse，不过如果版本较老则很可能需要自己下载eclipse。

对于eclipse而言没有过多要求，由于我们用Scala语言开发，因此不需要附带其他的东西。然后在eclipse->help->install new software中加上Scala-ide插件的地址就会弹出一些可以下载的内容。选择下面的两个组件即可：

Scala IDE for Eclipse
Scala IDE for Eclipse dev support
下载好后他会提示重启、更新之类的操作，照做就好。

最后我们打开eclipse->window->open perspective->other对话框，选择Scala视图，即完成了eclipse+scala ide 的基本配置。

做到这一步，基本就能够编写普通的Scala程序了，比如：

object Test {
  def main(args: Array[String]) {
    println("Hello world")
  }
}

运行Spark

说白了Spark其实也算作Scala程序，因此和普通Scala程序配置方法没有太多不同，不过一定要确保需要的jar包都有，否则就会出一堆的ClassNotFound的错。

Spark需要的jar包基本上至少要有两部分：

第一部分就是$SPARK_HOME下的lib文件夹中的包。这一部分很容易理解。

第二部分就是对应的hadoop的包，这一部分很容易被忽略，而且hadoop的包比较分散，加起来还比较麻烦。我是在配置好hadoop之后，输入hadoop classpath，来查看hadoop需要的jar包，然后把这些jar包加入项目的build path里。

配置好后理论上就可以写spark程序了。不过对于不同的开发方式，实际用的时候也有区别。如果是用本机配置的spark，那么在开启spark服务后，下面的程序就可以直接run as scala application了：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import scala.math.random

object Test {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
    val spark = new SparkContext(conf)
    val slices = 2
    val n = 1000000 * slices
    val count = spark.parallelize(1 to n, slices).map { i =>
      val x = random * 2 - 1
      val y = random * 2 - 1
      if (x * x + y * y < 1) 1 else 0
    }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

在伴随着一堆log的输出中，我们就可以看到输出的结果。

但是，如果我们想直接用远程的服务器中的spark服务来运行的话，仅仅修改setMaster的值则会报”主类找不到”之类的错误，这是因为我们还得把jar包发给远程的服务器，这样他才能找到代码。我们只需要将项目导出为一个jar包，然后将代码修改如下：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import scala.math.random

object Test {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://ada:7077").setJars(List("/home/myths/Desktop/scala/Test/jar/Test.jar"))
    val spark = new SparkContext(conf)
    val slices = 2
    val n = 1000000 * slices
    val count = spark.parallelize(1 to n, slices).map { i =>
      val x = random * 2 - 1
      val y = random * 2 - 1
      if (x * x + y * y < 1) 1 else 0
    }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

setMaster里的是服务器的地址，以及默认接受远程服务的7077端口，然后再在setJars里添加本地导出的jar包的地址。这样基本就能正常的运行spark程序了。