Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1
Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1
Instalação do Hadoop 3 no Ubuntu 20.04.1
Aula anterior Próxima aula
Página principal
Meu github:
https://github.com/toticavalcanti
Meu Canal de Música:
https://www.youtube.com/channel/UCUEtjLuDpcOvR3mIUr-viOA
Meu canal de Backing track / Play-along:
https://www.youtube.com/channel/UCT3TryVMqTqYBjf5g5WAHfA
O canal do código fluente no youtube
https://www.youtube.com/channel/UCgn-O-88XBAwdG9gUWkkb0w
Fiquem a vontade para me adicionar ao linkedin.
Se gostarem do conteúdo dêem um joinha 👍 na página do Código Fluente no
Facebook
Esse é o link do código fluente no Pinterest
Meus links de afiliados:
Hostinger
Digital Ocean
One.com
Scripts de instalação:
Scripts
Aula 18 – Hadoop – Instalação do Hadoop 3 no Ubuntu 20.04.1
Instalando o Open JDK 14
Crie seu script e dê um nome a ele, por exemplo: install_java14.sh
hadoop-installation-scripts/1_install_Java/install_java14.sh
#!/bin/bash
# change user configuration for /opt
cd /opt
sudo chown -R $USER .
# install openssh to ssh with via port 22
sudo apt install openssh-server openssh-client -y
# Install Java 14 on Ubuntu 20.04.1
sudo apt install openjdk-14-jdk
# Setting up JAVA_HOME
echo "# Set up JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-14-openjdk-amd64
export PATH=\$PATH:\$JAVA_HOME/bin
" >> ~/.profile
# shellcheck disable=SC1090
source ~/.profile
echo "$JAVA_HOME"
javac -versionEntre na pasta do script e digite os comandos abaixo:
Para torná-lo executável
chmod +x install_java14.sh
Para executá-lo
sudo ./install_java14.sh
Pronto, agora é esperar ele instalar o java.
Instalando o hadoop 3.3.0
Crie seu script e dê um nome a ele, por exemplo: install_hadoop.sh
hadoop-installation-scripts/2_install_Hadoop/install_hadoop.sh
# Installing Hadoop/hdfs on Ubuntu 20.04.1 without `2_hadoop_install` user in /opt
## install Java
# See `java14_install.md`
## Configure password-less SSH
sudo apt-get install openssh-server
sudo apt-get install openssh-client
cat /dev/zero | ssh-keygen -q -N ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
sudo chmod -R 777 /opt
cd /opt
## download Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -xzvf hadoop-3.3.0.tar.gz
#rm hadoop-3.3.0.tar.gz
## Create symbolic link (if you want)
ln -s hadoop-3.3.0 hadoop
# add hadoop variables setup (write into `.profile`)
echo "
# set up HADOOP_HOME
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=\$HADOOP_HOME
export HADOOP_MAPRED_HOME=\$HADOOP_HOME
export HADOOP_COMMON_HOME=\$HADOOP_HOME
export HADOOP_HDFS_HOME=\$HADOOP_HOME
export YARN_HOME=\$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=\$HADOOP_HOME/lib/native
export PATH=\$PATH:\$HADOOP_HOME/bin
export PATH=\$PATH:\$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=\$HADOOP_HOME/etc/hadoop
export HADOOP_OPTS=\"-Djava.library.path=\$HADOOP_HOME/lib/native\"
" >> ~/.profile
# make hadoop and java variables available to system
source ~/.profile
which hadoop
# Now let's edit our configurations
cd /opt/hadoop/etc/hadoop/
# edit `hadoop-env.sh`
# add configurations to `hadoop-env.sh`
sed -i "/{JAVA_HOME}/d" hadoop-env.sh
sed -i "/HADOOP_CONF_DIR=/d" hadoop-env.sh
echo "
# Adding JAVA_HOME and HADOOP_CONF_DIR
export JAVA_HOME=$JAVA_HOME
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
" >> hadoop-env.sh
### edit `core-site.xml`
sed -i "/configuration>/d" core-site.xml
## add configurations to `core-site.xml`
echo "
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/opt/hadoop/hadoop_tmp
" >> core-site.xml
## Create hadoop temp directory
mkdir -p /opt/hadoop/hadoop_tmp
### Edit `hdfs-site.xml`
sed -i "/configuration>/d" hdfs-site.xml
echo "
dfs.replication
1
dfs.name.dir
file:///opt/hadoop/hdfs/namenode
dfs.data.dir
file:///opt/hadoop/hdfs/datanode
" >> hdfs-site.xml
## create datanode and namenode directory
mkdir -p /opt/hadoop/hdfs/namenode
mkdir -p /opt/hadoop/hdfs/datanode
### edit `mapred-site.xml`
#cp mapred-site.xml.template mapred-site.xml
sed -i "/configuration>/d" mapred-site.xml
echo "
mapreduce.framework.name
yarn
" >> mapred-site.xml
### edit `yarn-site.xml`
sed -i "/configuration>/d" yarn-site.xml
### add configurations to `yarn-site.xml`
echo "
mapreduceyarn.nodemanager.aux-services
mapreduce_shuffle
" >> yarn-site.xml
## Test hadoop and hdfs variables
hadoop version
hdfs version
## Starting the Hadoop Cluster
hdfs namenode -format
## should have `status 0` at the end
# Start HDFS services
/opt/hadoop-3.3.0/sbin/start-dfs.sh
/opt/hadoop-3.3.0/sbin/start-yarn.sh
# Test hadoop / HDFS is working
hdfs dfs -mkdir /tmp /user /data /hive # hadoop fs is deprecated
hdfs dfs -ls /
echo "Congratulations, hadoop/hdfs is installed."
echo "check hadoop UI at localhost:9870"
Entre na pasta do script e digite os comandos abaixo:
Para torná-lo executável
chmod +x install_hadoop.sh
Para executá-lo
sudo ./install_hadoop.sh
Pronto, agora é esperar ele instalar o Hadoop3.
Observação: se os serviços start-dfs.sh e start-yarn.sh não iniciarem automaticamente, iniciem como mostrei no vídeo.
Entre na pasta sbin do hadoop:
cd opt/hadoop-3.3.0/sbin/E agora inicie os dois serviços com:
start-dfs.shstart-yarn.sh
