Engenheiro de Dados GCP - Sênior

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade. Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados. Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você! >> A LEEGA É PARA TODOS , ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!

Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery; Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes; Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer; Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos; Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo; Contagem de linhas: Verificação por tabela e por partição; Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery); Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados; Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), experiência profissional de no mínimo 6 anos; Sólido domínio técnico em SQL avançado e Python/PySpark, experiência profissional de no mínimo 6 anos; Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta; Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt; Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes).

Projeto temporário com prazo de até 4 meses de duração, podendo haver continuidade.