Dag in het leven Niels van Velthoven – Data Engineer bij Creates
Vanochtend kon ik om 08.00 uur opstaan. Normaal gesproken wat eerder, maar de klant waar ik vandaag werk is dichtbij huis. Met een klein half uurtje rijden ben ik om 09.00 uur op locatie, net op tijd om samen met collega’s Stan, Bob, Ian en Steve bij PF Concept aan de slag te gaan. Het is altijd leuk om het team compleet te hebben; we vullen elkaar goed aan.
Sprintmeeting
De dag start om 09.30 uur met onze sprintmeeting. We staan altijd even stil bij het sprintbord waar alle taken en sprintdoelen op staan. Het feit dat alles in het Engels is vanwege het internationale karakter van het bedrijf, is een extra uitdaging en maakt dit project naar mijn mening extra leuk. Vandaag staat in het teken van het uitrollen van een nieuwe versie van de productie omgeving.
DevOps
Van 10.00 tot 11.00 uur ben ik bezig met het opzetten van de basis voor deze nieuwe versie. Om 11.00 uur hebben we een retrospective meeting met het gehele projectteam. We zijn sinds november 2023 werkzaam bij deze klant en het is daarom interessant om te zien hoe de samenwerking gaat, wat er beter kan en welke verbeteringen we wellicht kunnen toepassen. Deze feedback verzamelen we in DevOps en bespreken we gezamenlijk, om vervolgens actiepunten te formuleren en in te plannen voor de komende sprints.
Rond 12.30 uur is het tijd voor een frisse neus en een lekker broodje van de verswinkel in het dorp.
Deployen via pipelines
De rest van de middag staat weer in het teken van het uitrollen van de productie omgeving. Om 13.00 uur check ik wat er sinds de laatste release begin februari is veranderd. Het is een technisch proces waarbij we zorgen dat alle omgevingen - ontwikkel, acceptatie en productie - stabiel zijn en de laatste gevalideerde wijzigingen bevatten. Dit doe ik door het deployen via pipelines in DevOps. Hiermee kan ik alle Azure Data Factory pipelines, Databricks notebooks en Synapse views van omgeving naar omgeving overzetten, volledig geautomatiseerd gelukkig!
We gebruiken Azure Data Factory voor het extraheren en ontsluiten van bronnen, maar ook voor de orkestratie van de gehele infrastructuur. Met notebooks in Databricks transformeren we de data en vormen we de gouden laag. In deze laag wordt al voor een deel logica toegepast die is bepaald vanuit de business. Vervolgens creëren we Synapse views die naar de gouden laag kijken en een selectie maken van de benodigde data. Tot slot worden deze views gebruikt door Power BI om de rapporten mee te ontwikkelen.
Nieuwe versie succesvol uitgerold
Het vereist soms wat handwerk om wijzigingen door te voeren. Dit kan tijdrovend zijn en soms vallen gemaakte wijzigingen tussen wal en schip, maar uiteindelijk zorgt het ervoor dat we een nieuwe versie succesvol kunnen uitrollen. Aan het einde van de dag stuur ik een update naar het team met de bevestiging dat de nieuwe versie succesvol uitgerold is. Op onze DevOps-omgeving kan iedereen de details van de release terugvinden.
Proces van continue verbetering en leren
De dag sluiten we af om 17.00 uur met het vooruitzicht dat deze release, met de laatste toegevoegde features, een mooie stap is naar een live productie omgeving die in gebruik is door de business en waarop allerlei rapporten draaien. Dit en alle andere werkzaamheden zijn een proces van continue verbetering en leren, en daar draag ik graag mijn steentje aan bij.
