Data Engineer

A Associação Porto Digital, empresa privada sem fins lucrativos, sediada no Porto, com mais de 20 anos de existência e, em crescimento pretende adicionar novos recursos devido ao aumento do número e complexidade de projetos financiados (nacionais e internacionais) e iniciativas próprias em curso, etc. O profissional pretendido reportará ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial, e integrará uma equipa de trabalho híbidra(trabalho presencial e remoto).O contrato de trabalho será inicialmente a termo com possibilidade de renovação e/ou sem termo consoante a experiência demonstrada. Tasks Principais atividades/tarefas a realizar: Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados. Desenvolver e otimizar processos ETL com recurso a linguagens de programação como Python e/ou SQL. Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (ex.: Spark, Kafka, NiFi, Airflow) em ambiente on-premises. Gerir e otimizar bases de dados assegurando desempenho, integridade e disponibilidade. Garantir qualidade, integridade e fiabilidade dos dados ao longo de todo o ciclo de vida (validação, monitorização e testes). Projetar e melhorar arquiteturas de dados assegurando desempenho, escalabilidade e segurança. Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial, ao transcrever as necessidades em requisitos técnicos e tratamento de dados; Melhorar a Plataforma Urbana da cidade do Porto, criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade. Requirements Formação Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares. Qualificações Experiência mínima de 3 anos em funções de Data Engineering, desenvolvimento de plataformas de dados ou áreas similares. Bons conhecimentos de SQL e experiência com bases de dados relacionais e analíticas. Experiência em desenvolvimento de pipelines ETL/ELT para integração, transformação e disponibilização de dados. Bons conhecimentos de Python para processamento de dados, automatização e integração de sistemas. Experiência prática com Apache Kafka, incluindo compreensão de tópicos, partições, chaves, consumer groups, offsets, retenção e mecanismos de replay. Compreensão dos principais desafios de processamento de dados em tempo real, nomeadamente ordenação, duplicação, idempotência, latência, tratamento de erros e evolução de schemas. Experiência com ferramentas de orquestração de pipelines, como Apache Airflow ou equivalentes. Conhecimentos de modelação de dados, data warehouses, data lakes e arquiteturas lakehouse. Experiência na implementação de processos incrementais, controlo de qualidade e monitorização de pipelines. Familiaridade com Git, processos de revisão de código e práticas de integração e entrega contínuas. Conhecimentos de Docker e princípios de desenvolvimento e operação de serviços em ambientes distribuídos. Bons conhecimentos de inglês. Nice to have: Experiência com ClickHouse ou outras bases de dados colunares e com dbt. Conhecimentos de Apache NiFi, Change Data Capture com Debezium ou processamento de streams com Flink/Kafka Streams. Familiaridade com arquiteturas lakehouse, Apache Iceberg, Parquet e armazenamento de objetos. Experiência com dados geográficos, PostGIS ou sistemas GIS. Conhecimentos de FIWARE, NGSI-LD, Orion-LD, catálogos de dados ou mecanismos de data lineage Competências pessoais e organizacionais: Autonomia, proatividade e sentido de responsabilidade. Boa capacidade analítica e de resolução estruturada de problemas. Capacidade de desenhar soluções simples, reutilizáveis e sustentáveis, evitando desenvolvimentos isolados por caso de uso. Organização, rigor e atenção ao detalhe. Orientação para qualidade, fiabilidade e melhoria contínua. Capacidade de diagnosticar problemas em pipelines e sistemas distribuídos. Capacidade de trabalhar em equipas multidisciplinares e de colaborar com perfis técnicos e funcionais. Boa comunicação e capacidade de explicar decisões técnicas de forma clara. Capacidade de documentar processos e promover a partilha de conhecimento. Orientação para resultados e cumprimento de prazos. Interesse em trabalhar com diferentes domínios urbanos, como mobilidade, economia, ambiente, território e serviços municipais. Orientação para a criação de valor para a cidade do Porto e para os seus cidadãos. Benefits Horário flexível Subsídio de Alimentação Seguro de saúde Telemóvel e serviço de comunicações APP ANDA Junte-se à Associação Porto Digital como Analista de Dados e impulsione a transformação digital urbana no Porto. Melhore os serviços públicos, impacte a vida dos cidadãos e contribua para o desenvolvimento sustentável.