[Job - 29221] Senior Data Developer (Azure), Brazil

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Estamos buscando uma pessoa para atuar com Engenharia de Dados, sendo responsável por implementar, construir e evoluir os componentes da nossa plataforma de dados no dia a dia.

Você será a pessoa profissional que dará vida às definições arquiteturais, transformando padrões e diretrizes técnicas em pipelines robustos, modelos de dados consistentes e soluções escaláveis, contribuindo diretamente para que os dados da organização sejam confiáveis, acessíveis e prontos para gerar valor ao negócio.

Responsabilidades

Desenvolvimento de Pipelines & Integração

• Implementar pipelines de ELT/ETL para ingestão, transformação e disponibilização de dados, seguindo os padrões definidos pela arquitetura;
• Construir e manter integrações com diversas fontes de dados (bancos relacionais e dados desestruturados como e-mails e planilhas);
• Desenvolver fluxos de dados utilizando Azure Data Factory, Microsoft Fabric Pipelines e Databricks/Snowflake, conforme stack definido pelo time;
• Implementar estratégias de ingestão incremental ou full load de acordo com os requisitos de cada domínio;
• Garantir a observabilidade dos pipelines, implementando logs, alertas e monitoramento proativo.

Implementação da Plataforma de Dados

• Construir e organizar camadas do Data Lake/Lakehouse (Bronze, Silver e Gold) seguindo a arquitetura Medallion definida pelo arquiteto;
• Implementar e manter estruturas de armazenamento no Azure Data Lake Storage Gen2 (ADLS Gen2) e formatos otimizados como Delta Lake, Parquet e Iceberg;
• Participar da configuração e uso do Microsoft Fabric (Lakehouses, Warehouses, Dataflows, Notebooks e Pipelines);
• Apoiar a implementação de políticas de acesso, segmentação e organização de dados conforme diretrizes de governança.

Modelagem & Transformação de Dados

• Implementar modelos de dados definidos pela arquitetura (dimensional, relacional, Data Vault, etc.) nas camadas analíticas da plataforma;
• Desenvolver e manter transformações de dados utilizando SQL avançado, Python e ferramentas como dbt;
• Garantir a consistência, integridade e qualidade dos dados ao longo de todas as camadas de processamento;
• Documentar modelos, transformações e regras de negócio aplicadas nos pipelines.

Qualidade & Governança de Dados

• Implementar verificações e testes automatizados de qualidade de dados (ex: Great Expectations, dbt tests) nos pipelines;
• Apoiar a catalogação e documentação de ativos de dados no Azure Purview, incluindo linhagem, classificação e descrição de datasets;
• Seguir e promover as práticas de governança e privacidade de dados definidas pelo time de arquitetura, garantindo conformidade com LGPD/GDPR;
• Colaborar na identificação e correção de problemas de qualidade de dados reportados por times consumidores.

Suporte a Machine Learning & IA

• Apoiar times de Ciência de Dados na preparação e disponibilização de datasets para treinamento e validação de modelos;
• Implementar pipelines de Feature Engineering e disponibilização de features em feature stores;
• Colaborar com o time de IA na estruturação de fluxos de dados integrados ao Azure AI Foundry.

Requisitos para o desafio

• Experiência comprovada com Engenharia de Dados em ambientes de nuvem;
• Sólido conhecimento em SQL para consultas, transformações e modelagem analítica;
• Experiência com Python para desenvolvimento de pipelines e transformações de dados;
• Vivência prática com pipelines de ELT/ETL em ambientes produtivos;
• Conhecimento de Microsoft Azure (Data Factory, ADLS Gen2, Synapse Analytics ou Fabric);
• Familiaridade com conceitos de Data Lake, Lakehouse e arquitetura Medallion;
• Experiência com formatos de dados como Delta Lake, Parquet ou ORC;
• Capacidade de leitura e interpretação de definições arquiteturais e documentações técnicas;
• Boas práticas de desenvolvimento: versionamento com Git, testes, documentação e CI/CD.

Diferenciais

Experiência com Microsoft Fabric (Lakehouses, Notebooks, Pipelines ou Dataflows);
Experiência prática com Databricks (Spark, Delta Live Tables, Workflows);
Conhecimento de dbt para transformações e testes de qualidade de dados;
Familiaridade com Azure Purview para catalogação e linhagem de dados;
Conhecimento em Snowflake como plataforma de dados;
Experiência com orquestração de pipelines via Apache Airflow ou Prefect;
Noções de Gen AI e Agentes autônomos;
#LI-DR3
MidSenior