Olá, me chamo Rafael Nadalin, tenho 21 anos, formado em Análise e Desenvolvimento de Sistemas e esse é meu portfólio de
ENGENHARIA DE DADOS
Projetos .
ETL - Web Scraping Redesim
Introdução:
Este projeto visa automatizar a extração de dados do site da Redesim, monitorando o status de protocolos de licenças. A aplicação utiliza o Firebase para armazenar os resultados e enviar notificações por e-mail quando ocorrem mudanças.
Objetivo do projeto:
O objetivo principal é realizar a extração e processamento automatizado de dados por meio de web scraping, além de enviar alertas automáticos de atualização.
Processo de Desenvolvimento:
Os maiores desafios foram a configuração do scraping utilizando `BeautifulSoup` e `requests` para acessar os dados da Redesim e o envio de notificações com o `smtplib`. A integração com o Firebase permitiu o armazenamento eficiente dos dados. Tecnologias usadas: Python, Firebase, Google Cloud Platform, Web Scraping (BeautifulSoup e Requests), SMTP.
Conclusão:
O projeto aprimorou minhas habilidades em automação com web scraping e integração de APIs. Planejo futuramente implementar o Airflow para agendar o scraping na nuvem, além de melhorias como a adição de Docker.
ETL - Youtube Data Pipeline
Introdução:
Esse projeto tem o objetivo de realizar a extração, transformação e carregamento de dados extraídos do canal do Youtube, utilizando a Youtube Analytics API e Google Cloud Console.
Objetivo do projeto:
O foco foi praticar requisições API, métodos de autenticação e construção de um pipeline ETL.
Processo de Desenvolvimento:
Os desafios envolveram a criação de um fluxo de autenticação com a API do Youtube Analytics e a construção do pipeline de extração e padronização de dados. Foram utilizadas tecnologias como Python, GCP, Youtube Analytics API, Programação Orientada a Objetos e RestAPI.
Conclusão:
Consegui entender melhor o processo de autenticação OAuth2 e extração de relatórios via API. Pretendo adicionar o Airflow para automação na nuvem.
ETL - Checklist Fácil
Introdução:
Este ETL foi desenvolvido para extrair informações da API do Checklist Fácil, focando na performance e reincidência de não conformidades.
Objetivo do projeto:
O objetivo é coletar, processar e armazenar dados de auditorias para facilitar o monitoramento de não conformidades.
Processo de Desenvolvimento:
Utilizei Python e a GCP para realizar a extração por meio de APIs, filtrando auditorias concluídas e identificando não conformidades. O processo foi automatizado com Cloud Scheduler e armazenado no Cloud Storage.
Conclusão:
O projeto melhorou minhas habilidades em automação e integração de APIs. Planejo otimizar o fluxo de dados e expandir as funcionalidades.
Mesclagem de PDFs utilizando requisições HTTP
Introdução:
Este projeto desenvolveu uma aplicação web para mesclar arquivos PDF de forma eficiente, utilizando Flask e PyPDF2.
Objetivo do Projeto:
Criar uma aplicação web que permita aos usuários mesclar múltiplos PDFs em um único arquivo consolidado.
Processo de Desenvolvimento:
Utilizei Flask para a interface web e PyPDF2 para a mesclagem de PDFs. Foram implementadas validações para garantir a integridade dos arquivos e a interface foi projetada com HTML, CSS e Bootstrap. O processo de mesclagem foi feito no servidor, garantindo segurança e eficiência.
Conclusão:
O projeto cumpriu os objetivos, permitindo a mesclagem de PDFs de forma fácil e rápida. Planejo adicionar recursos, como reorganização de páginas, para torná-lo ainda mais versátil.
Sobre .
Atualmente trabalhando na Safe7 Consultoria Ambiental como Engenheiro de Dados JR
Formado como Analista de Sistemas, atualmente atuando como Engenheiro de Dados focado em evoluir e me especializar em Cloud Data Engineer.
💼 Ferramentas: Python, MySQL, MongoDB, GCP, Spark, Flask, Pandas, Scipy, GitHub Actions.
🧳 Skils: Tratamento de dados, Rest API, Versionamento de código (Git), CI/CD, Computação em nuvem, linux.
Experiências .
Mirum Agency - Estagiário em Engenharia de Dados
2023
Durante meu estágio na Mirum Agency, atuei nas seguintes atividades:
- Manutenção e interpretação de códigos utilizados em processos de ELT/ETL.
- Configuração e manutenção de serviços na Google Cloud Platform (GCP).
- Desenvolvimento de consultas SQL e suporte ao time de BI.
- Criação de endpoints em Python para integração com APIs de veículos de mídia, como TikTok, Twitter, Pinterest e Google Ads, para extração e tratamento de relatórios.
- Suporte técnico a clientes, incluindo configuração e monitoramento de contas e serviços.
Safe7 - Engenheiro de Dados Jr.
2024
Como Engenheiro de Dados Jr. na Safe7, minhas principais responsabilidades incluem:
- Analisar o contexto de negócios e desenvolver soluções para maximizar a produtividade da equipe.
- Reestruturação e modelagem de um novo banco de dados, visando maior eficiência.
- Desenvolvimento da ferramenta web interna "Safe7 Toolkit", que centraliza processos como mapeamento de contatos, automação de tarefas e geração de relatórios de desempenho (KPIs).
- Criação de pipelines ETL utilizando serviços da GCP, integrando Python, web scraping e APIs REST para extração e tratamento de dados.
Contato .
Entre em contato comigo através do e-mail: rafael.nadalin@outlook.com
ou do Celular: (41) 98413-5989