Análise de sentimento com Flume e Twitter QUARTA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti CONTINUANDO COM A CONSTRUÇÃO DA APLICAÇÃO DE ANÁLISE DE SENTIMENTO. CONSTRUÇÃO DO SCRIPT PYSPARK PARA A ANÁLISE FOI UTILIZADO O SPARK, UMA TECNOLOGIA DE COMPUTAÇÃO DISTRIBUÍDA EM CLUSTER, EXTREMAMENTE RÁPIDA. EXISTEM MUITOS MÉTODOS E […]
Curso de Data Science Aula 10 – Data Science – R – Caso do Titanic – Kaggle Continuação da aula 09, agora rodando os comandos no RStudio Continuando com o problema do Titanic proposto pelo Kaggle. CONSTRUÇÃO DO MODELO Random Forest é um método de aprendizado sobre conjuntos de dados (ensemble learning) para construir modelos […]
Aula 16 – Scikit-Learn – Reconhecimento facial – Treinamento do modelo SVM Voltar para página principal do blog Todas as aulas desse curso Aula 15 Aula 17 Script dessa aula: Download do script da aula Documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página […]
Configuração da máquina Cloudera Link para o download da máquina: https://www.cloudera.com/downloads/quickstart_vms/5-13.html Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti Arquivo zipado Configurações da máquina cloudera Depois de unzipar o arquivo, é necessário fazer algumas configurações Acessando a […]
Aula 01 – Certificação Hortonworks Hadoop FS – Instanciando a máquina hortonworks na AWS
Certificação Hortonworks Hadoop FS – Máquina horton na AWS Instanciando uma máquina hortonworks HDPCDeveloper Practice Exam na AWS (Amazon Web Services) Esse é um mini curso preparatório para certificação Hortonworks, onde é ensinado a criar uma instância da máquina da Hortonworks na AWS ( Amazon Web Services ), onde existe um simulado para treinamento preparatório […]
Configuração da máquina Cloudera Link para o download da máquina: https://www.cloudera.com/downloads/quickstart_vms/5-13.html Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para download do virtual box: https://www.virtualbox.org/wiki/Downloads/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti Arquivo zipado Configurações da máquina cloudera Depois de unzipar o arquivo, […]
Aula 10 – Scikit-Learn – Persistência do modelo com Pickle Voltar para página principal do blog Todas as aulas desse curso Aula 09 Aula 11 Link do meu Github com o script dessa aula: Download do script da aula Link da documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo […]
Aula 17 – Scikit-Learn – Reconhecimento facial – Avaliação quantitativa Voltar para página principal do blog Todas as aulas desse curso Aula 16 Aula 18 Script dessa aula: Download do script da aula Documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página do Código […]
Análise de sentimento com Flume e Twitter PRIMEIRA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti AVISO: As 3 aulas a seguir referentes a Análise de sentimento com Flume e Twitter, infelizmente não funciona mais na prática, a máquina cloudera usada na aula ficou desatualizada e foi descontinuada pela empresa. […]
Análise de sentimento com Flume e Twitter SEGUNDA PARTE Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti VAMOS TENTAR USAR O TIPO DE SOURCE com.cloudera.flume.source.TwitterSource AO INVÉS DO org.apache.flume.source.twitter.TwitterSource SEM FAZER NENHUMA MODIFICAÇÃO NA MÁQUINA CLOUDERA . NO ARQUIVO flume_twitter.conf VAMOS DESCOMENTAR A LINHA ABAIXO, RETIRANDO A TRALHA (#) DO INÍCIO: TwitterAgent.sources.Twitter.type = […]
Curso de Data Science Aula 09 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. CONSTRUÇÃO DO MODELO Random Forest é um método de aprendizado sobre conjuntos de dados (ensemble learning) para construir modelos de classificação, regressão e outras tarefas; Gera múltiplas árvores de […]
Aula 14 – Scikit-Learn – Reconhecimento facial – LFW – parte-02 Voltar para página principal do blog Todas as aulas desse curso Aula 13 Aula 14 Script dessa aula: Download do script da aula Documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página do […]
Aula 22 – Tensor Flow – Keras – Redes Neurais Convolucionais Voltar para página principal do blog Todas as aulas desse curso Aula 21 Aula 23 Meu github: https://github.com/toticavalcanti Documentação oficial do TensorFlow: https://www.tensorflow.org/ Quer aprender python3 de graça e com certificado? Acesse então: https://workover.com.br/python-codigo-fluente Se […]
Introdução ao Hadoop File System Links da documentação oficial: http://hadoop.apache.org/ Github: https://github.com/toticavalcanti HADOOP – INTRODUÇÃO É UMA PLATAFORMA DE COMPUTAÇÃO DISTRIBUÍDA VOLTADA PARA CLUSTERS E PROCESSAMENTO DE GRANDES VOLUMES DE DADOS É UM SISTEMA OPERACIONAL PARA BIG DATA CÓDIGO ABERTO CRIADO POR DOUG CUTTING DO GOOGLE LABS EM 2005 CRIAÇÃO MOTIVADA PELO DESAFIO DA ESCALABILIDADE PARA CONSEGUIR […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 06 Analisando dados com o Hive Escreva uma consulta em HiveQL e salve as consultas em um único arquivo de texto chamado /home/horton/solutions/flightdelays.hive para cada uma das tarefas abaixo: Calcule o arrdelay médio dos voos que desembarcam em Denver […]
Aula 05 – Tensor Flow – Redes Neurais – Operações Voltar para página principal do blog Todas as aulas desse curso Aula 04 Aula 06 Meu github: https://github.com/toticavalcanti Documentação oficial do TensorFlow: https://www.tensorflow.org/ Link para o notebook da aula: notebook-da-aula Se gostarem do conteúdo dêem […]
Aula 46 – Redes Neurais – Illusion Diffusion HQ 🌀 Voltar para página principal do blog Todas as aulas desse curso Aula 45 Aula 47 Redes Sociais: Site das bibliotecas Tensorflow Keras Cursos Gratuitos Digital Innovation Quer aprender […]
Python e Scikit-learn Instalando o Pandas. Voltar para página principal do blog Todas as aulas desse curso Aula 03 Aula 05 Link do meu Github com o script dessa aula: Download do script da aula Link da documentação oficial do Sklearn: https://scikit-learn.org/stable/ Se gostarem do conteúdo dêem um joinha 👍 na página […]
Aula 13 – Tensor Flow – Redes Neurais – Regressão Linear Simples Voltar para página principal do blog Todas as aulas desse curso Aula 12 Aula 14 Meu github: https://github.com/toticavalcanti Documentação oficial do TensorFlow: https://www.tensorflow.org/ Link para o notebook da aula: notebook-da-aula Se gostarem do conteúdo […]
Aula 40 – TensorFlow – Keras – Redes Neurais – Transformers Voltar para página principal do blog Todas as aulas desse curso Aula 39 Aula 41 (Ainda não disponível) Redes Sociais: Site das bibliotecas Tensorflow Keras Cursos Gratuitos […]