Data Engineer Kapitaalmarkten

Als Azure data-engineer (DevOps engineer) bij de afdeling Datagedreven Kapitaalmarkten (DAK) ben je verantwoordelijk voor het ontsluiten, structureren en prepareren van data voor toepassing binnen het toezicht op de kapitaalmarkten. In onze Azure-cloudomgeving werk je met grote hoeveelheden (miljoenen tot miljarden records) gestructureerde en ongestructureerde data, verspreid over Databricks, SQL-databases en Azure Storage (flat files/blobs). Je bouwt mee aan een modern dataplatform, ontwikkelt structurele informatieproducten en speelt een actieve rol in kennisdeling, innovatie en standaardisatie. Je hebt daarom affiniteit met het werk van data-analisten en begrijpt hoe datapreparatie, datamarts, analyses, risicomodellen en dashboards bijdragen aan effectief toezicht.

Je richt deze omgevingen in zodat data-analisten, toezichthouders en andere interne en externe gebruikers direct aan de slag kunnen met kwalitatief hoogwaardige data. Naast je technische rol fungeer je als consultant op het gebied van datakwaliteit en security. Aangezien de AFM ook privacygevoelige data ontvangt, houd je rekening met de security-aspecten die daarbij komen kijken. Je draagt daarnaast bij aan de optimalisatie van de data-operaties door automatisering en het toepassen van DevOps-, DataOps en MLOps.

Een greep uit je werkzaamheden

• Data voorbereiden en structureren: Je ontwerpt en implementeert oplossingen voor het integreren en structureren van data in diverse opslagvormen, waaronder Databricks, SQL en Azure Storage.
• Automatiseren en CI/CD: Je ontwikkelt en beheert CI/CD pipelines (met Azure DevOps), zodat veranderingen op een geautomatiseerde en soepele wijze worden uitgerold.
• Innovatie: Je ondersteunt de adoptie van nieuwe databricks features zoals Declarative Automation Bundles, Unity Catalog en Genie.
• Technisch advies en kwaliteitsbewaking: Je fungeert als technisch consultant en draagt bij aan de verbetering van datakwaliteit en security binnen de organisatie.
• Samenwerking en kennisdeling: Je werkt nauw samen met collega’s binnen het platformteam en deelt actief je kennis en best practices over data-engineering en DevOps.

Afdeling en team

Binnen je rol werk je nauw samen met een multidisciplinair team, waaronder data engineers, data management specialisten en een integrator. Jullie collecteren, verwerken en analyseren gegevens om betrouwbare en waardevolle inzichten te verkrijgen. Daarbij speel je een sleutelrol in het ontwikkelen en onderhouden van modellen die toezichthouders helpen snel en effectief te werken. Je maakt deel uit van de afdeling Datagedreven Kapitaalmarkten (DAK), een team van professionals die gezamenlijk werken aan het verbeteren van het toezicht op financiële markten. Binnen deze afdeling is er veel ruimte voor persoonlijke ontwikkeling, terwijl je samenwerkt met experts op het gebied van data-analyse, toezicht en financiële markten. De afdeling streeft naar voortdurende verbetering en biedt een stimulerende werkomgeving die gericht is op het behalen van impactvolle resultaten.