Configuração da máquina Cloudera

Link para o download da máquina:

https://www.cloudera.com/downloads/quickstart_vms/5-13.html

Link da documentação oficial do Hadoop:

http://hadoop.apache.org/

Link para download do virtual box:

https://www.virtualbox.org/wiki/Downloads/

Link para o download do putty:

https://www.putty.org/

Link para o download do WINSCP:

https://winscp.net/eng/download.php

Link do meu Github:

https://github.com/toticavalcanti

Arquivo zipado

Configurações da máquina cloudera

Depois de unzipar o arquivo, é necessário fazer algumas configurações

Acessando a máquina com o putty

Acessando a máquina com o WINSCP

Comandos usados na aula:

Comandos Linux:

Comando para ir para a pasta raiz do sistema de arquivos local:

cd /

Comando para criar a pasta Toti e a subpasta textos na raiz, no sistema de arquivos local da máquina Cloudera:

mkdir /Toti

Comando para entrar na pasta Toti:

cd /Toti

Comando para criar a subpasta textos:

mkdir textos

Obs. As pasta Toti e a subpasta textos poderiam ter sido criadas de uma só vez utilizando no diretório raiz o comando:

mkdir -p /Toti/textos

Comandos Hadoop HDFS

O comando abaixo lista o conteúdo da pasta root no HDFS:

hadoop fs -ls /

Lista o conteúdo da pasta /user no HDFS:

hadoop fs -ls /user

Para criar a pasta /user/toti/textos no HDFS, observe que iremos criar também a subpasta textos dentro da pasta toti que também não existe, por isso, será necessário usar o -p no comando mkdir (make directory):

hadoop fs -mkdir -p /user/toti/textos

Para encerrar, de dentro da pasta /Toti/textos no sistema de arquivos local, a pasta onde foi colocado o shakespeare.txt através do WINSCP, utilize o comando abaixo para copiar o shakespeare.txt para a pasta /user/toti/textos dentro do HDFS:

hadoop fs -put shakespeare.txt /user/toti/textos

Agora o shakespeare.txt foi copiado para a pasta /user/toti/textos/ dentro do HDFS.

Obrigado

Até a próxima

Aula 05 – Configuração e comandos básicos Hadoop