Sobre mim:
Eu sou Pablo, atuo com Engenharia de Dados há mais de 3 anos utilizando as principais ferramentos do mercado. Trabalhei em grandes empresas como: Eureciclo como Engenheiro de dados, IBM, sendo consultor atuando na função de engenheiro de dados dentro Banco Santander, Invillia como consultor, alocado dentro da PagSeguro na função de engenheiro de dados e também na Farmácias Pague Menos, como Analista de Dados, e Grupo Dexco, como Engenheiro de dados. Realizei projetos tanto em on-premise como em cloud (AWS e Azure), atuando em projetos de BigData, migração e integração de dados, manutenção de tabelas e automatização de rotinas.
Resumo da experiência profissional:
09/2022 – 05/2023
ENGENHEIRO DE DADOS, EURECICLO
As atividades foram direcionadas para a implantação de uma nova plataforma de dados na AWS Cloud e o foco foi o desenvolvimento de pipelines dentro do Apache Airflow e do Databricks on AWS para integração de sistemas e migração desses dados para o DataLake (S3). Dentre as principais entregas, estão o pipeline de integração de dados com o SAP Business One, envolvendo a construção do hook (conexão e comunicação com o SAP Business One, extração de dados por meio de queries), construção do operator, responsável pela lógica de trazer os dados e enviá-los até o S3 para a camada bronze.
06/2022 – 10/2022
ENGENHEIRO DE DADOS, INVILLIA
Alocado ao PagSeguro, atuando com ETL e demandas de dados. Dentre os principais projetos entregues, a migração de ingestão full para incremental de tabelas muito sensíveis e correção de processo de ETL estão entre as principais contribuições.
12/2021 – 06/2022
ENGENHEIRO DE DADOS, DEXCO
* Projeto temporário realizado como consultor PJ freelancer
Atuava em projetos de migração de dados via Azure Databricks, desempenhando o papel de Desenvolvedor de Pipelines de Dados e no acompanhamento de outros processos. Dentre as principais contribuições estão a construção de scripts para ingestão de dados via APIs (Salesforce, VTEX e sherepoint), utilizando a linguagem Python, com Pyspark sendo a principal biblioteca, dentro do ambiente DataBricks on AWS.
08/2021 – 05/2022
DATA ESPECIALIST CONSULTANT (SAO PAULO/BRAZIL), IBM
Alocado ao Banco Santander, atuando com Projetos de Migração com foco em Big Data. Dentre as principais contribuições, estão: construção e manutenção de procedures (plpgsql) no postgres, resolução de problemas complexos como explosão de sequence em uma tabela em produção (mudar
o formato de int para bigint e reiniciar a sequence) e processos de expurgos de tabelas, e pipelines de ingestão dentro do databricks.
02/2021 – 08/2021
ANALISTA DE DADOS (PREVENÇÃO DE PERDAS), FARMÁCIOS PAGUE MENOS
Atuava realizando análises de perda conhecida (vencimento, avaria e recall de produtos), gerando bases de dados e relatórios, e fazendo ETL de backups, além de automatizações das rotinas. Entre as principais contribuições estão a automação de relatórios de acompanhamento comprador-fornecedor, com manipulação de relatórios excel, ETL com gerenciamento de diretórios e disparos de emails automatizados e personalizados para cada comprador, construído em Python.
ENGENHEIRO DE DADOS, EURECICLO
As atividades foram direcionadas para a implantação de uma nova plataforma de dados na AWS Cloud e o foco foi o desenvolvimento de pipelines dentro do Apache Airflow e do Databricks on AWS para integração de sistemas e migração desses dados para o DataLake (S3). Dentre as principais entregas, estão o pipeline de integração de dados com o SAP Business One, envolvendo a construção do hook (conexão e comunicação com o SAP Business One, extração de dados por meio de queries), construção do operator, responsável pela lógica de trazer os dados e enviá-los até o S3 para a camada bronze.
06/2022 – 10/2022
ENGENHEIRO DE DADOS, INVILLIA
Alocado ao PagSeguro, atuando com ETL e demandas de dados. Dentre os principais projetos entregues, a migração de ingestão full para incremental de tabelas muito sensíveis e correção de processo de ETL estão entre as principais contribuições.
12/2021 – 06/2022
ENGENHEIRO DE DADOS, DEXCO
* Projeto temporário realizado como consultor PJ freelancer
Atuava em projetos de migração de dados via Azure Databricks, desempenhando o papel de Desenvolvedor de Pipelines de Dados e no acompanhamento de outros processos. Dentre as principais contribuições estão a construção de scripts para ingestão de dados via APIs (Salesforce, VTEX e sherepoint), utilizando a linguagem Python, com Pyspark sendo a principal biblioteca, dentro do ambiente DataBricks on AWS.
08/2021 – 05/2022
DATA ESPECIALIST CONSULTANT (SAO PAULO/BRAZIL), IBM
Alocado ao Banco Santander, atuando com Projetos de Migração com foco em Big Data. Dentre as principais contribuições, estão: construção e manutenção de procedures (plpgsql) no postgres, resolução de problemas complexos como explosão de sequence em uma tabela em produção (mudar
o formato de int para bigint e reiniciar a sequence) e processos de expurgos de tabelas, e pipelines de ingestão dentro do databricks.
02/2021 – 08/2021
ANALISTA DE DADOS (PREVENÇÃO DE PERDAS), FARMÁCIOS PAGUE MENOS
Atuava realizando análises de perda conhecida (vencimento, avaria e recall de produtos), gerando bases de dados e relatórios, e fazendo ETL de backups, além de automatizações das rotinas. Entre as principais contribuições estão a automação de relatórios de acompanhamento comprador-fornecedor, com manipulação de relatórios excel, ETL com gerenciamento de diretórios e disparos de emails automatizados e personalizados para cada comprador, construído em Python.
Habilidades:
- Amazon Web Services
- Apache Hadoop
- Big Data
- Business Intelligence
- ETL
- NumPy
- PL/SQL
- Python
- Spark
- SQL
Áreas de interesse:
- Banco de Dados
- Cloud Computing
