安装和部署大数据平台

掌握HDFS、Hive、Spark SQL、Zeppelin、Sqoop等相关大数据组件安装和配置方法

前置条件：Hadoop集群搭建，hadoop 安装hive

安装 Spark

（1）解压文件。

当前路径为/opt/software，安装的hadoop和hive也是这个目录

[root@master software]# tar -zxvf spark-4.0.0-preview1-bin-hadoop3.tgz 

修改文件夹所属组，所有者为root

chown -R root spark-4.0.0-preview1-bin-hadoop3
chgrp -R root spark-4.0.0-preview1-bin-hadoop3

创建软连接，方便后期升级

ln -s spark-4.0.0-preview1-bin-hadoop3 ./spark

（2）将 spark-env.sh.template 配置模板文件复制并命名为 spark-env.sh。

cp spark-env.sh.template spark-env.sh

（3）修改 spark-env.sh 文件，在该文件的最后位置添加以下内容。

#配置 Java 环境变量\
export JAVA_HOME= /app/java/
#指定 Master 的 IP 地址
export SPARK_MASTER_HOST=Hadoop
#指定 Hadoop 的端口
export SPARK_MASTER_PORT=7077

3.安装 Zeppelin

（1）将上传到操作系统的 Zeppelin 进行解压缩。

tar -zxvf /soft/zeppelin-0.9.0-preview1-bin-all.tgz -C ../app

（2）将 zeppelin-site.xml.template 复制并命名为 zeppelin-site.xml。

cp aeppelin-site.xml.template ../ && cd .. && mv aeppelin-site.xml 

（3）修改配置文件。

<property>
<name>zeppelin.server.addr</name>
<value>10.0.0.110</value>
<description>Server binding address</description>
</property>
<property>
<name>zeppelin.server.port</name>
<value>8000</value>
<description>Server port .</description>
</property>

 

（4）将 zeppelin-env.sh.template 复制并命名为 zeppelin-env.sh。

cp zeeplelin-env.sh.template zeppelin-env.sh

（5）修改 zeppelin-env.sh 配置文件。

export JAVA_HOME=/app/java
export HADOOP_CONF_DIR=/app/Hadoop/etc/Hadoop

（6）进入 Zeppelin 安装目录下的 bin 目录启动 Zeppelin。

（7）将 Hive 的配置文件复制到 Zeppelin 的 conf 目录下。

cp /app/hive/conf/hive-site.xml /app/zeppelin/conf

（8）复制 Hive 和 Hadoop 的 JAR 包到 Zeppelin 的 jdbc 目录下。

（9）配置完成。打开浏览器，输入网址 http：//10.0.0.110:8000。

4.安装 Sqoop

（1）上传 qoop-1.4.6.bin__hadoop-2.0.4-alpha.tar 到操作系统并解压改名。

tar -zxvf /soft/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /app/

（2）编辑/etc/profile 文件，添加 SQOOP_HOME 变量，并且将$SQOOP_HOME/bin 添加

到 PATH 变量中。

export SQOOP_HOME=/app/flume

export PATH=$ SQOOP _HOME/bin:$PATH

（3）复制并修改 Sqoop 配置文件。

cp sqoop-env-template.sh sqoop-env.sh

export HADOOP_COMMON_HOME=/app/hadoop/
export HADOOP_MAPRED_HOME=/app/hadoop/
export HIVE_HOME=/app/hive/

（4）将 MySQL 驱动包上传到 Sqoop 的 lib 下

5.安装 Flume

（1）上传安装包到操作系统 apache-flume-1.8.0-bin.tar.gz 并解压改名.

tar -zxvf /soft/apache-flume-1.8.0-bin.tar.gz -C /app/

（2）编辑/etc/profile 文件，添加 FLUME_HOME 变量，并且将$FLUME_HOME/bin 添加到 PATH 变量中。

（3）复制并修改 Flume 配置文件.

cp flume-env.sh.template flume-env.sh

export JAVA_HOME=/app/java/

（4）