Criando uma primeira aplicação com Django e mysql Personalizando a aparência de uma app Django https://docs.djangoproject.com/pt-br/1.11/intro/tutorial06/ Para baixar o código como está até agora, acesse o meu github no link abaixo: https://github.com/toticavalcanti/django_course/tree/app_appearance Agora vamos adicionar uma folha de estilos e uma imagem. Além do HTML gerado pelo servidor, aplicações web normalmente precisam de outros […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 08 Hive Join Escreva uma consulta Hive em um arquivo chamado /home/horton/solutions/flights_weather.hive que satisfaça os seguintes critérios: Use Tez as the execution engine O resultado da consulta deve gerar uma nova tabela Hive chamada flight_weather armazenada como um arquivo […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 07 Definir e preencher uma tabela ORCFile Defina uma tabela Hive chamada sfo_weather que satisfaça todos os seguintes critérios: Uma tabela gerenciada pelo Hive Os dados são armazenados no formato ORCFile A tabela deve ser preenchida com os registros […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 06 Analisando dados com o Hive Escreva uma consulta em HiveQL e salve as consultas em um único arquivo de texto chamado /home/horton/solutions/flightdelays.hive para cada uma das tarefas abaixo: Calcule o arrdelay médio dos voos que desembarcam em Denver […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 05 Use HCatalog com Pig Escreva um script Pig e salve na máquina local em /home/horton/solutions/flightdelays_nonzero.pig que satisfaça todos os seguintes critérios: Execute uma consulta Pig usando o Tez como o mecanismo(engine) de execução Carregue os dados da tabela […]
Aula 05 – Curso de Python – Listas Aulas baseadas no livro Python para Desenvolvedores do Luiz Eduardo Borges. Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 04 Aula 06 Automatize tarefas do dia a dia com […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 04 Definindo uma tabela externa no Hive Defina uma tabela no Hive denominada flightdelays que corresponde aos dados armazenados no diretório /user/horton/flightdelays_clean no HDFS. A tabela deve satisfazer todos os seguintes critérios: A tabela deve ser externa com o […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 03 Analisando dados usando Pig Escreva um script Pig e salve na máquina cliente como /home/horton/solutions/cleaned_total.pig que calcula o número de linhas nos arquivos /user/horton/flightdelays_clean no HDFS. Armazene a saída do seu script em um novo diretório no HDFS […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 02 Limpando os dados usando Pig Observe que os valores são separados por vírgulas nos arquivos flightdelays no HDFS contêm dados históricos de atrasos de vôos de linhas aéreas. As colunas nos arquivos correspondem ao seguinte esquema: Year, Month, […]
Criando uma primeira aplicação com Django e mysql Personalizando a aparência de uma app Django https://docs.djangoproject.com/pt-br/1.11/intro/tutorial06/ Para baixar o código como está até agora, acesse o meu github no link abaixo: https://github.com/toticavalcanti/django_course/tree/app_appearance Agora vamos adicionar uma folha de estilos e uma imagem. Além do HTML gerado pelo servidor, aplicações web normalmente precisam de outros arquivos […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 09 Tabelas particionadas Hive Escreva uma consulta Hive em um arquivo chamado /home/horton/solutions/weather_partitioned.hive que satisfaça os seguintes critérios: Defina uma nova tabela Hive chamada weather_partitioned que tenha o mesmo esquema da tabela sfo_weather A tabela é particionada nas colunas […]
Contagem de palavras com PySpark Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti O SPARK É UMA ESTRUTURA DE PROCESSAMENTO BIG DATA, OPENSOURCE DESENVOLVIDA PARA TER VELOCIDADE, FACILIDADE DE USO E POSSIBILTAR ANÁLISE DE DADOS SOFISTICADAS O SPARK PODE SER 100X MAIS RÁPIDO QUE O HADOOP PARA PROCESSAMENTO DE DADOS EM […]
HDFS,YARN e os tipos de nós Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti COMPONENTES PRINCIPAIS DO HADOOP O HADOOP POSSUI DOIS COMPONENTES PRINCIPAIS QUE IMPLEMENTAM O ARMAZENAMENTO E O PROCESSAMENTO DISTRIBUÍDO: O HDFS QUE GERENCIA OS […]
Criando uma aplicação Django reutilizável no Windows Links da documentação oficial: https://docs.djangoproject.com/pt-br/1.11/intro/reusable-apps/ Para baixar o código como está até agora, acesse o meu github no link abaixo: https://github.com/toticavalcanti/django_course/tree/make_polls_package Vamos transformar nossa app web em um pacote Python autônomo que você pode reutilizar em novos projetos e compartilhar com outras pessoas. REUTILIZAÇÃO IMPORTA É um grande […]
Introdução ao Map-Reduce Link da documentação oficial: http://hadoop.apache.org/ Github: https://github.com/toticavalcanti O MAPREDUCE DIVIDE VOLUMES IMENSOS DE DADOS EM PARTES PEQUENAS, QUE SÃO ENTÃO ESPALHADAS POR MUITOS COMPUTADORES EM VEZ DE MOVER DADOS PARA UM SOFTWARE DE PROCESSAMENTO – O QUE SERIA LENTO COM VOLUMES GRANDES DE DADOS – O PROCESSAMENTO É MOVIDO PARA ONDE ESTÃO OS DADOS, […]
Introdução ao Hadoop File System Links da documentação oficial: http://hadoop.apache.org/ Github: https://github.com/toticavalcanti HADOOP – INTRODUÇÃO É UMA PLATAFORMA DE COMPUTAÇÃO DISTRIBUÍDA VOLTADA PARA CLUSTERS E PROCESSAMENTO DE GRANDES VOLUMES DE DADOS É UM SISTEMA OPERACIONAL PARA BIG DATA CÓDIGO ABERTO CRIADO POR DOUG CUTTING DO GOOGLE LABS EM 2005 CRIAÇÃO MOTIVADA PELO DESAFIO DA ESCALABILIDADE PARA CONSEGUIR […]
Criando uma aplicação Django reutilizável Links da documentação oficial: https://docs.djangoproject.com/pt-br/1.11/intro/reusable-apps/ Para baixar o código como está até agora, acesse o meu github no link abaixo: https://github.com/toticavalcanti/django_course/tree/make_polls_package Vamos transformar nossa app web em um pacote Python autônomo que você pode reutilizar em novos projetos e compartilhar com outras pessoas. REUTILIZAÇÃO IMPORTA É um grande trabalho […]
Aula 06 – Curso de Python – Tuplas Aulas baseadas no livro Python para Desenvolvedores de Luiz Eduardo Borges. COMO UTILIZAR TUPLAS EM PYTHON Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 05 Aula 07 Automatize tarefas […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 10 Exportando com Sqoop Coloque o arquivo local /home/hortonworks/datasets/flightdelays/sfo_weather.csv no HDFS em um novo diretório chamado /user/hortonworks/weather/ Note que existe uma base de dados MySQL chamada flightinfo na máquina namenode, contendo uma tabela chamada weather com o esquema mostrado […]
Aula 09 – Curso básico de programação em R Leitura de arquivo com read table na prática Endereço para baixar os arquivos e o script: https://github.com/toticavalcanti/curso_r LEITURA DE ARQUIVO COM READ TABLE Para ler e escrever em arquivos, R usa working directory O comando getwd() obtém o diretório de trabalho e o setwd() define […]
