学spark必须学scala吗（安装spark必须要安装scala吗）
本文目录
安装spark必须要安装scala吗
你好朋友，可以不用装。【汽车有问题，问汽车大师。4S店专业技师，10分钟解决。】
spark需要安装scala吗
一般都是要先装hadoop的，如果你只是玩Spark On Standalon的话，就不需要，如果你想玩Spark On Yarn或者是需要去hdfs取数据的话，就应该先装hadoop。
如何学习 Spark
学习Spark我觉得首先要学习java，ssh，Hadoop，Scala这些基础知识，然后再去学习Spark的相关知识，如spark streaming、sparkSql等等，自己可以买书看，还有去看视频，我就是去 itkc8 学习的
安装spark必须安装scala吗
安装spark
tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz
mkdir /usr/local/spark
mv spark-1.3.0-bin-hadoop2.3 /usr/local/spark
vim /etc/bashrc
export SPARK_HOME=/usr/local/spark/spark-1.3.0-bin-hadoop2.3
export PATH=$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
source /etc/bashrc
cd /usr/local/spark/spark-1.3.0-bin-hadoop2.3/conf/
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/java
export SCALA_HOME=/usr/lib/scala/scala-2.10.5
export SPARK_HOME=/usr/local/spark/spark-1.3.0-bin-hadoop2.3
export SPARK_MASTER_IP=192.168.137.101
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop
export SPARK_LIBRARY_PATH=$SPARK_HOME/lib
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH
cp slaves.template slaves
vim slaves
hd1
hd2
hd3
hd4
hd5
7、分发
scp /etc/bashrc hd2:/etc
scp /etc/bashrc hd3:/etc
scp /etc/bashrc hd4:/etc
scp /etc/bashrc hd5:/etc
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd2:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd3:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd4:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd5:/usr/local/spark/
7、 启动
在hd1，启动
cd $SPARK_HOME/sbin
./start-all.sh
spark必须安装scala吗
安装spark
tar -zxvf spark-1.3.0-bin-hadoop2.3.tgz
mkdir /usr/local/spark
mv spark-1.3.0-bin-hadoop2.3 /usr/local/spark
vim /etc/bashrc
export SPARK_HOME=/usr/local/spark/spark-1.3.0-bin-hadoop2.3
export PATH=$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH
source /etc/bashrc
cd /usr/local/spark/spark-1.3.0-bin-hadoop2.3/conf/
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/java
export SCALA_HOME=/usr/lib/scala/scala-2.10.5
export SPARK_HOME=/usr/local/spark/spark-1.3.0-bin-hadoop2.3
export SPARK_MASTER_IP=192.168.137.101
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop
export SPARK_LIBRARY_PATH=$SPARK_HOME/lib
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH
cp slaves.template slaves
vim slaves
hd1
hd2
hd3
hd4
hd5
7、分发
scp /etc/bashrc hd2:/etc
scp /etc/bashrc hd3:/etc
scp /etc/bashrc hd4:/etc
scp /etc/bashrc hd5:/etc
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd2:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd3:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd4:/usr/local/spark/
scp -r /usr/local/spark/spark-1.3.0-bin-hadoop2.3 hd5:/usr/local/spark/
7、 启动
在hd1，启动
cd $SPARK_HOME/sbin
./start-all.sh
更多文章：
2026年10月11日 07:00
2026年10月11日 06:00
在from子句中可以出现（如何在from 子句中嵌套查询下面的语句在access中出错！）
2026年10月11日 05:20
countif函数统计个数怎么用（countif函数怎么用 详解Excel中countif函数的使用方法）
2026年10月11日 03:30
正则匹配数字之前的字符（正则表达式如何匹配前面是数字、中间是“/”、后面也是数字，就像2/3专业的模式）
2026年10月11日 03:00
2026年10月11日 01:40
2026年10月11日 01:00
orlnsertbootmediinselected（我电脑开机显示这个是什么意思or insert boot media in select）
2026年10月10日 23:00
display的用法（display是什么意思 详解display的含义和用法）
2026年10月10日 22:00
html全部居中代码（怎么让网页居中显示，html如何让网页居中）
2026年10月10日 21:10
