Data Engineer #KRTZ5188653

Opdracht omschrijving

Wij zijn op zoek naar een: Data Engineer / Data Factory,

Het betreft een team van data-engineers. Het doel is om datapijplijnen op te zetten voor het ophalen van data uit interne en externe bronnen, de data op te slaan als een onbewerkt archief (terugbetaalbaar) en uiteindelijk naar het Core Data Platform te sturen. , verantwoordelijk voor de gegevensopslag. Het team werkt nauw samen met verschillende afdelingen, waaronder AI, BI, IoT, Data Governance.

Wat ga je doen als Senior Data Engineer?
Als Data Engineer help je ons bij het bouwen van deze cloudomgeving van productiekwaliteit. In deze rol werk je samen met ons Core Data Platform-team om te voorzien in de technische benodigdheden voor het integreren van de verschillende databronnen in ons belangrijkste Core Data Platform. Je bent verantwoordelijk voor het ontwerpen, implementeren, testen en onderhouden van dataproducten op Microsoft Azure. Je werkt nauw samen met verschillende (interne) business stakeholders en meerdere dataproviders. Je ziet jezelf als een senior engineer, met uitgebreide programmeerervaring, en bent bereid om het team te helpen zijn doelen te bereiken.

Je belangrijkste activiteiten zijn:

• Identificeer de integratie-eisen van verschillende databronnen;
• Ontwerp, implementeer en test cloud-gebaseerde (Azure) data-intensieve applicaties;
• Werk samen met andere Lead Engineers, Data Architects en Enter. Architecten voor technische oplossingen
• Draag bij aan verbeteringen aan het dataplatform
• Converteer prototypes van dataproducten naar dataproducten.

Hoe ziet een typische dag voor een senior engineer eruit?
Morgenochtend sluit je je aan bij de stand-up van je team, omdat je enkele technische details wilt bespreken over een van de projecten waaraan ze werken.
Na de stand-up werk je aan de implementatie van de nieuwe datapijplijn voor een van onze producten.
Vervolgens werk je samen met een van onze hoofdingenieurs aan het ontwerp van een nieuwe CI / CD-pijplijn.
Daarna heb je een coachingsessie met een van de meer junior ingenieurs in het team, je geeft haar wat input over een project dat je samenwerkt.

Jouw meerwaarde
Als next-generation professional heb je een duidelijke visie, lef en focus. Innovatie en agile werken hebben absolute prioriteit. Je verbetert jezelf elke dag zodat je de beste kunt zijn. Je bent introspectief en veerkrachtig. Je gelooft dat het creëren van een goede sfeer essentieel is voor een succesvolle, respectvolle en gastvrije werkplek. We zijn nog steeds een klein team, dus we gaan op zoek naar een echte ‘klik’ / verbinding. Door je natuurlijke benaderbaarheid kun je verbinding maken met mensen. Je hebt een passie voor je werk, bent nieuwsgierig en staat open voor nieuwe ontwikkelingen, met een mentaliteit die afgestemd is op mogelijkheden en kansen. Voldoe je aan onderstaande eisen, dan zien we je sollicitatie graag tegemoet!

Vereisten

• Je hebt een BSC of MSC in een relevant vakgebied (bijv. Informatica, wiskunde etc.)
• Je hebt minimaal 4 jaar ervaring met het runnen van datagestuurde oplossingen, inclusief implementatie en beheer van datapijplijnen in productie.
• Sterke Java / Scala-ervaring, we zouden liever iemand hebben met 2+ jaar hands-on ervaring met ten minste één van deze twee.
• Professionele ervaring met Kafka (of Azure EventHub)
• Professionele ervaring met Spark, waarbij zowel batch- als streamingpijplijnen worden geïmplementeerd
• U erkent het belang van logging en monitoring (we gebruiken momenteel DataDog, Splunk, sentry)
• Je hebt minimaal een jaar ervaring met Microsoft Azure (AWS, GCP zijn ook prima)
• Je werkt op je gemak met de nieuwste DevOps-technologieën, zoals Kubernetes, Docker;
• Ervaring met Scrum methodiek.
• Je spreekt vloeiend Engels. Kennis van de Nederlandse taal is een pluspunt.