Análise de sentimento com Flume e Twitter
SEGUNDA PARTE
Link da documentação oficial do Hadoop:
http://hadoop.apache.org/
Link do meu Github:
https://github.com/toticavalcanti
VAMOS TENTAR USAR O TIPO DE SOURCE com.cloudera.flume.source.TwitterSource AO INVÉS DO org.apache.flume.source.twitter.TwitterSource SEM FAZER NENHUMA MODIFICAÇÃO NA MÁQUINA CLOUDERA .
NO ARQUIVO flume_twitter.conf VAMOS DESCOMENTAR A LINHA ABAIXO, RETIRANDO A TRALHA (#) DO INÍCIO:
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
E COMENTAR COLOCANDO TRALHA (#) NO INÍCIO DA LINHA ABAIXO:
#TwitterAgent.sources.Twitter.type=org.apache.flume.source.twitter.TwitterSource
COMO MOSTRADO NO VÍDEO.
AGORA VAMOS ATUALIZAR O DATETIME:
sudo ntpdate ntp.ubuntu.com
ENTRE NA PASTA /etc/flume-ng/conf COM O COMANDO:
cd /etc/flume-ng/conf
E VAMOS RODAR O AGENTE COM O COMANDO:
flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent
O SEGUINTE ERRO OCORRERÁ:
ERROR node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows.
org.apache.flume.FlumeException: Unable to load source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource
O FLUME NÃO CONSEGUE CARREGAR O source type: com.cloudera.flume. source.TwitterSource, class: com.cloudera.flume.source.TwitterSource
ENTÃO VAMOS AOS AJUSTES PARA FUNCIONAR.
FAÇA O DOWNLOAD DOS ARQUIVOS JÁ CONSTRUÍDOS:
flume-sources-1.0-SNAPSHOT.jar
hive-serdes-1.0-SNAPSHOT.jar
NOS LINKS ABAIXO:
AGORA COPIE O flume-sources-1.0-SNAPSHOT.jar E O hive-serdes-1.0-SNAPSHOT.jar PARA A PASTA /Toti/, UTILIZE NOVAMENTE O WINSCP.
CRIE A PASTA /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:
mkdir -p /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/
CRIE A PASTA /var/lib/flume-ng/plugins.d/twitter-streaming/lib/ PARA ISSO USE:
mkdir -p /var/lib/flume-ng/plugins.d/twitter-streaming/lib/
ENTRE NA PASTA /Toti/:
cd /Toti/
COPIE O ARQUIVO flume-sources-1.0-SNAPSHOT.jar PARA DENTRO DAS DUAS PASTAS CRIADAS: /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/ E /var/lib/flume-ng/plugins.d/twitter-streaming/lib/COM OS COMANDOS:
cp flume-sources-1.0-SNAPSHOT.jar /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/
cp flume-sources-1.0-SNAPSHOT.jar /var/lib/flume-ng/plugins.d/twitter-streaming/lib/
AGORA PODEMOS RODAR NOVAMENTE O AGENTE SEM ERRO NENHUM.
flume-ng agent -f /etc/flume-ng/conf/flume_twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent
PARA VISUALIZAR OS ARQUIVOS GERADOS COLETADOS PELO FLUME DO TWITTER UTILIZE A INTERFACE WEB OU UTILIZE O COMANDO:
hadoop fs -cat /twitteranalytics/incremental/nome_do_arquivo_gerado
NA PRÓXIMA AULA, SEGUIMOS NA CONSTRUÇÃO DAS TABELAS E DO SCRIPT PYSPARK.
Toti sabe se o agente do Flume parou de funcionar? não consigo mais conectar no twitter.
Fala Manoel, não sei, não tenho usado o Flume com o Twitter, mas, o João Carlos Lira já tinha falado comigo que tava enfrentando esse problema também.
Por último ele comentou há 2 semanas atrás no youtube na aula:
https://www.youtube.com/watch?v=NeEPY-l8QeU&lc=z22ugdno2oizixza404t1aokgelthwhr1djb0fbdkzvdbk0h00410.1564716929504548
“@Código Fluente Fala Toti! Obrigado pela resposta. Eu fiz um teste pelo node-red e o node deles de stream do twitter está funcionando. Sendo bem sincero não faço a menor ideia do porque de um dia para o outro o stream via IP 199.59.148.138 parou de funcionar.
Tomara que ando você puder testar, funcione rsrsrs!
Grande abraço!”
Não sei se ele conseguiu.
Quando eu tiver um tempinho vou tentar vê o que tá acontecendo.
Abraço.
Toti