Engenheiro de Dados - Sênior

A FCamara busca um Engenheiro de Dados - Sênior, para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado. Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias. Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras.

• Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse. • Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria. • Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter. • Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake. • Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança. • Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos. • Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture. • Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault. • Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas. • Implementar mecanismos de resiliência, como retry, idempotência e dead-letter. • Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos. • Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados. • Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis. • Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture.
• Experiência sólida como Engenheiro(a) de Dados Sênior. • Experiência em projetos de migração e modernização de plataformas legadas de dados. • Conhecimento avançado em Oracle e Informatica PowerCenter. • Experiência com Azure Databricks, PySpark e Spark SQL. • Conhecimento em Delta Lake e arquiteturas Lakehouse. • Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault. • Vivência na construção de pipelines batch, ELT e near real-time. • Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture. • Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows. • Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage. • Experiência em otimização de performance de aplicações Spark e consultas SQL. • Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento. • Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead-letter. • Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança. • Boa comunicação para interação com áreas de negócio e equipes multidisciplinares. Diferenciais: • Forte experiência em modernização de plataformas legadas. • Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter. • Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance. • Conhecimento em estratégias de otimização e redução de custos no Azure Databricks. • Experiência na integração entre soluções open source e ambientes cloud. • Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos. • Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault.