Criando uma aplicação Django reutilizável no Windows Links da documentação oficial: https://docs.djangoproject.com/pt-br/1.11/intro/reusable-apps/ Para baixar o código como está até agora, acesse o meu github no link abaixo: https://github.com/toticavalcanti/django_course/tree/make_polls_package Vamos transformar nossa app web em um pacote Python autônomo que você pode reutilizar em novos projetos e compartilhar com outras pessoas. REUTILIZAÇÃO IMPORTA É um grande […]
HDFS,YARN e os tipos de nós Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link para o download do putty: https://www.putty.org/ Link para o download do WINSCP: https://winscp.net/eng/download.php Link do meu Github: https://github.com/toticavalcanti COMPONENTES PRINCIPAIS DO HADOOP O HADOOP POSSUI DOIS COMPONENTES PRINCIPAIS QUE IMPLEMENTAM O ARMAZENAMENTO E O PROCESSAMENTO DISTRIBUÍDO: O HDFS QUE GERENCIA OS […]
Contagem de palavras com PySpark Link da documentação oficial do Hadoop: http://hadoop.apache.org/ Link do meu Github: https://github.com/toticavalcanti O SPARK É UMA ESTRUTURA DE PROCESSAMENTO BIG DATA, OPENSOURCE DESENVOLVIDA PARA TER VELOCIDADE, FACILIDADE DE USO E POSSIBILTAR ANÁLISE DE DADOS SOFISTICADAS O SPARK PODE SER 100X MAIS RÁPIDO QUE O HADOOP PARA PROCESSAMENTO DE DADOS EM […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 06 Analisando dados com o Hive Escreva uma consulta em HiveQL e salve as consultas em um único arquivo de texto chamado /home/horton/solutions/flightdelays.hive para cada uma das tarefas abaixo: Calcule o arrdelay médio dos voos que desembarcam em Denver […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 05 Use HCatalog com Pig Escreva um script Pig e salve na máquina local em /home/horton/solutions/flightdelays_nonzero.pig que satisfaça todos os seguintes critérios: Execute uma consulta Pig usando o Tez como o mecanismo(engine) de execução Carregue os dados da tabela […]
Aula 05 – Curso de Python – Listas Aulas baseadas no livro Python para Desenvolvedores do Luiz Eduardo Borges. Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 04 Aula 06 Automatize tarefas do dia a dia com […]
Aula 08 – Curso básico de programação em R. Leitura de dados em arquivo usando read table ( read.table() ) Endereço para baixar o script: https://github.com/toticavalcanti/curso_r Links de afiliados: Hostinger One.com DigitalOcean Se cadastrando por ele, você ganha $100.00 dólares de crédito lá na digitalocean. Por favor, dêem um joinha 👍, divulguem, compartilhem a página […]
Aula 10 – Curso de Django Criando uma primeira aplicação com Django e mysql Como instalar o mysql-workbench no ubuntu? https://docs.djangoproject.com/pt-br/1.11/intro/tutorial02/ Criando uma primeira app com o Django e mysql. Instalando o mysql-workbench no ubuntu e vizualizando o diagrama de entidade-relacionamento (ER) criado automaticamente pelo Django no mysql workbench. Para instalar o mysql workbench no […]
Aula 11 – Curso de Django Criando uma primeira aplicação com Django e mysql Interagindo com a API de banco de dados da nossa aplicação web polls https://docs.djangoproject.com/pt-br/1.11/intro/tutorial02/ Brincando com a API Agora vamos dar uma olhada no shell interativo do Python e brincar um pouco com a API do Django. Para invocar o shell […]
Aula 01 – Curso de Python – Como aprender a programar em python Aulas baseadas principalmente no livro Python para Desenvolvedores do Luiz Eduardo Borges. Variáveis, tipos, controle de fluxo, loops, etc. Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 02 Automatize tarefas do […]
Aula 02 – Python – Operações aritméticas, operações lógicas e operações bit-a-bit (bitwise)
Aula 02 – Curso de Python Aulas baseadas no livro Python para Desenvolvedores do Luiz Eduardo Borges. OPERADORES Operações aritméticas, operações lógicas e operações bit-a-bit (bitwise) Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 01 Aula 03 Automatize tarefas […]
Aula 03 – Python – Operações aritméticas, operações lógicas e operações bit-a-bit (bitwise) 02
Aula 03 – Curso de Python Aulas baseadas no livro Python para Desenvolvedores do Luiz Eduardo Borges. OPERADORES Operações aritméticas, operações lógicas e operações bit-a-bit (bitwise) continuação. Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 02 Aula 04 […]
Aula 04 – Curso de Python – Strings Aulas baseadas no livro Python para Desenvolvedores do Luiz Eduardo Borges. STRINGS EM PYTHON (TEXTO EM PYTHON) Que fazer esse curso com certificação? Acesse: https://workover.com.br/python-codigo-fluente Voltar para página principal do blog Todas as aulas desse curso Aula 03 Aula 05 Automatize […]
Criando uma primeira aplicação com Django e mysql Criando um formulário no django https://docs.djangoproject.com/pt-br/1.11/intro/tutorial04/ Vamos atualizar nosso template de detalhamento da enquete (“polls/detail.html”), para que ele contenha um elemento HTML <form> Vamos editar o arquivo: polls/templates/polls/detail.html <!-- Pega o texto da question e coloca no h1 --> <h1>{{ question.question_text }}</h1> <!-- Caso um erro seja […]
Criando uma primeira aplicação com Django e mysql Testes automatizados – test-driven development https://docs.djangoproject.com/pt-br/1.11/intro/tutorial05/ Apresentando testes automatizados O que são testes automatizados? Testes são rotinas simples que checam o funcionamento do seu código. Testes funcionam em diferentes níveis. Alguns testes podem ser aplicados a um pequeno detalhe (um determinado método de um modelo retorna o […]
Certificação Hortonworks Hadoop FS – Máquina horton na AWS Instanciando uma máquina hortonworks HDPCDeveloper Practice Exam na AWS (Amazon Web Services) Essa é a segunda aula do mini curso preparatório para certificação Hortonworks, onde é ensinado a criar uma instância da máquina da Hortonworks na AWS ( Amazon Web Services ), onde existe um simulado […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 01 Crie um novo diretório no HDFS chamado /user/horton/flightdelays Coloque os arquivos do /home/horton/datasets/flightdelays na máquina local no /user/horton/flightdelays no HDFS Script: -- Cria o diretório /user/horton/flightdelays no HDFS hadoop fs -mkdir flightdelays -- Copia todos os arquivos do diretório local /home/horton/datasets/flightdelays […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 02 Limpando os dados usando Pig Observe que os valores são separados por vírgulas nos arquivos flightdelays no HDFS contêm dados históricos de atrasos de vôos de linhas aéreas. As colunas nos arquivos correspondem ao seguinte esquema: Year, Month, […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 03 Analisando dados usando Pig Escreva um script Pig e salve na máquina cliente como /home/horton/solutions/cleaned_total.pig que calcula o número de linhas nos arquivos /user/horton/flightdelays_clean no HDFS. Armazene a saída do seu script em um novo diretório no HDFS […]
Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 04 Definindo uma tabela externa no Hive Defina uma tabela no Hive denominada flightdelays que corresponde aos dados armazenados no diretório /user/horton/flightdelays_clean no HDFS. A tabela deve satisfazer todos os seguintes critérios: A tabela deve ser externa com o […]
