Big Data – Data Science – Machine Learning | Código Fluente

Big Data – Data Science – Machine Learning

Date
Title
Views
Comments

Aula 05 – Tarefa 03 do simulado da prova de certificação HDP Hortonworks

0 0

Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 03 Analisando dados usando Pig Escreva um script Pig e salve na máquina cliente como /home/horton/solutions/cleaned_total.pig que calcula o número de linhas nos arquivos /user/horton/flightdelays_clean no HDFS. Armazene a saída do seu script em um novo diretório no HDFS […]

Aula 04 – Tarefa 02 do simulado da prova de certificação HDP Hortonworks

toticavalcanti

0 0

Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 02 Limpando os dados usando Pig Observe que os valores são separados por vírgulas nos arquivos flightdelays no HDFS contêm dados históricos de atrasos de vôos de linhas aéreas. As colunas nos arquivos correspondem ao seguinte esquema: Year, Month, […]

Aula 03 – Tarefa 01 do simulado da prova de certificação HDP Hortonworks

toticavalcanti

0 0

Certificação Hortonworks Hadoop FS – Certificação HDP hortonworks Simulado da prova de certificação HDP Hortonworks TAREFA 01 Crie um novo diretório no HDFS chamado /user/horton/flightdelays Coloque os arquivos do /home/horton/datasets/flightdelays na máquina local no /user/horton/flightdelays no HDFS Script: -- Cria o diretório /user/horton/flightdelays no HDFS hadoop fs -mkdir flightdelays -- Copia todos os arquivos do diretório local /home/horton/datasets/flightdelays […]

Aula 02 – Instanciando a máquina hortonworks na AWS (Aula prática)

toticavalcanti

0 0

Certificação Hortonworks Hadoop FS – Máquina horton na AWS Instanciando uma máquina hortonworks HDPCDeveloper Practice Exam na AWS (Amazon Web Services) Essa é a segunda aula do mini curso preparatório para certificação Hortonworks, onde é ensinado a criar uma instância da máquina da Hortonworks na AWS ( Amazon Web Services ), onde existe um simulado […]

Aula 01 – Certificação Hortonworks Hadoop FS – Instanciando a máquina hortonworks na AWS

toticavalcanti

0 2

Certificação Hortonworks Hadoop FS – Máquina horton na AWS Instanciando uma máquina hortonworks HDPCDeveloper Practice Exam na AWS (Amazon Web Services) Esse é um mini curso preparatório para certificação Hortonworks, onde é ensinado a criar uma instância da máquina da Hortonworks na AWS ( Amazon Web Services ), onde existe um simulado para treinamento preparatório […]

Aula 10 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 2

Curso de Data Science Aula 10 – Data Science – R – Caso do Titanic – Kaggle Continuação da aula 09, agora rodando os comandos no RStudio Continuando com o problema do Titanic proposto pelo Kaggle. CONSTRUÇÃO DO MODELO Random Forest é um método de aprendizado sobre conjuntos de dados (ensemble learning) para construir modelos […]

Aula 09 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 09 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. CONSTRUÇÃO DO MODELO Random Forest é um método de aprendizado sobre conjuntos de dados (ensemble learning) para construir modelos de classificação, regressão e outras tarefas; Gera múltiplas árvores de […]

Aula 08 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 08 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Agora que todos os registros tem a informação de Age, Embarked e Fare, vamos agora transformar algumas variáveis em variáveis categóricas, também conhecidas como qualitativas. Exemplos de variáveis qualitativas […]

Aula 07 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 07 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Já limpamos os campos Embarked e Age, agora vamos limpar o campo Fare. Verificação agora do campo Fare (tarifa): table(is.na(titanic.full$Fare)) Saída: FALSE TRUE 1308 1 Ou seja, 1 registro não […]

Aula 06 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 06 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Agora que o campo Embarked está devidamente limpo, vamos olhar agora para o campo Age. Rodando: table(is.na(titanic.full$Age)) Saída: FALSE TRUE 1046 263 Existem 263 registros sem a informação age […]

Aula 05 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 05 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Na última aula foi criado o campo Survived no titanic.test e atribuído valor NA ao campo, em todos os registros do titanic.test, agora vamos juntar o titanic.train e o […]

Aula 04 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 04 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Antes de juntar as bases de treino e de teste, vamos igualá-las. No conjunto de teste falta o campo Survived, vamos criá-lo então e atribuir o valor NA(Not Available) […]

Aula 03 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 03 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. A ideia agora é juntar os dois conjuntos ( titanic.train e titanic.test) em uma variável titanic.full, mas para poder fazer isso, é preciso criar um campo nos dois conjuntos, […]

Aula 02 – Data Science – R – Caso do Titanic – Kaggle

toticavalcanti

0 0

Curso de Data Science Aula 02 – Data Science – R – Caso do Titanic – Kaggle Continuando com o problema do Titanic proposto pelo Kaggle. Agora é hora de abrir o RStudio e configurar o work directory, sua pasta de trabalho, depois ler os arquivos train.csv e test.csv e atribuí-los as variáveis titanic.train e titanic.test respectivamente. Configurando o Workdirectory #Define […]

Aula 01 – Data Science – R – Conhecendo a plataforma Kaggle.

toticavalcanti

0 0

Curso de Data Science Aula 01 – Data Science – R – Conhecendo a plataforma Kaggle. O que é o Kaggle? É uma plataforma fundada em 2010 para competições de modelagem preditiva e analítica. Empresas e pesquisadores postam seus dados e estatísticas para que mineradores, analistas e cientistas de dados de todo o mundo possam […]