Van Dataiku naar Databricks: 5 lessen voor een succesvolle migratie

In dit project hebben we het supply chain platform van een klant in slechts zes maanden weten te migreren van Dataiku naar Databricks. De drijfveer? Een duurzaam kostenmodel waarbij ze niet meer betalen voor jaarlijkse licenties, maar alleen voor daadwerkelijk verbruik. Daarnaast bood de nieuwe omgeving directe voordelen op het gebied van samenwerking en beheer, waardoor we een toekomstbestendige basis neerzetten. In deze blog lees je welke afwegingen we daarbij maakten. Wil je ook zo’n migratie realiseren?

Waarom overstappen?

Het dataplatform vormt het kloppend hart van de consultancy activiteiten. De drijvende kracht achter waardevolle inzichten en strategisch advies. Met de ambitie om verder op te schalen, zet de klant vol in op groei. Dit platform ontsluit klantdata en externe bronnen, interpreteert deze en vertaalt ze naar concrete inzichten voor supply chain optimalisatie. De overstap naar Databricks was dan ook een weloverwogen keuze, gebaseerd op meerdere strategische voordelen:

• Kostenbesparing: Door de overstap naar Databricks wordt jaarlijks tot 65% bespaard op licentiekosten, doordat gebruik wordt gemaakt van een pay-per-use-model in plaats van een vaste jaarlijkse licentie.
• Adoptie bij klanten: Veel organisaties gebruiken al Databricks. Door aan te sluiten op deze standaard, kunnen oplossingen eenvoudiger geïntegreerd worden in de bestaande klantomgeving.
• Upsell-mogelijkheden: Het gebruik van technologie die bij de klant al bekend is, maakt samenwerking met interne datateams gemakkelijker. Hierdoor ontstaan kansen voor uitbreiding van bestaande dienstverlening.
• Schaalbaarheid en flexibiliteit: Databricks is een veelgebruikte oplossing binnen het moderne data-ecosysteem. Dankzij de brede beschikbaarheid van kennis op de arbeidsmarkt is het eenvoudiger om nieuwe collega’s of externe specialisten in te zetten, zonder afhankelijkheid van specifieke kennis.
• Professionalisering van het ontwikkelproces: Door over te stappen op Databricks ontstond de mogelijkheid om software principes als versiebeheer, gescheiden development- en productieomgevingen en code kwaliteit structureel te verbeteren.

Vijf lessen uit onze migratie

Les 1 – Herontwerp je architectuur

In Dataiku konden transformaties op elke dataset plaatsvinden, wat leidde tot een complexe en onoverzichtelijke dataflow. Tijdens de migratie hebben we de logica herontworpen volgens een medaillon-architectuur (data layers o.b.v. het brons, zilver, goud principe van Databricks). Deze structuur vereenvoudigt de data opzet en kent elke laag een duidelijke verantwoordelijkheid toe. Dit verbetert het inzicht in data lineage en maakt het opsporen van fouten eenvoudiger. Zo voorkom je wildgroei aan logica en blijft de architectuur schaalbaar naarmate het platform groeit. In combinatie met Unity Catalog beheren we data en toegangsrechten centraal. Dit houdt de data governance op orde, of je nu werkt met één Databricks workspace of vijf.

Les 2 – Bepaal het kantelpunt van visueel naar code-first

Dataiku’s drag-and-drop flows bieden een laagdrempelige manier om snel te itereren, en zijn daardoor ideaal voor snelle proof of concepts. Naarmate meerdere ontwikkelaars samenwerken en de complexiteit toeneemt, brengt deze werkwijze echter ook uitdagingen met zich mee:

• Onvoldoende inzicht in wie welke wijzigingen heeft doorgevoerd.
• Versnipperde logica verspreid over de pipeline.
• Beperkte mogelijkheden voor geautomatiseerd testen en reviewen.

Door over te schakelen naar een code-first in Databricks realiseren we het volgende:

• Volledig versiebeheer via Git.
• Modulaire en herbruikbare functies en modules.
• Efficiënt beheer van afhankelijkheden, zonder losse visuele configuraties.

Deze aanpak bevordert transparantie, maakt samenwerking eenvoudiger, en resulteert in robuuste pipelines die meegroeien met het datateam.

Les 3 – Focus op alleen je business logica

In de Dataiku-setup kostte het ontwikkelaars meer tijd om aan de slag te gaan met het leveren van waarde. Voordat business logica gebruikt kon worden, moest deze eerst beschikbaar worden gemaakt. Dit vereiste extra code rond UI-componenten, wat extra ontwikkeltijd vergde. Met de nieuwe werkwijze in Databricks kunnen teams zich vanaf het begin richten op het implementeren van logica die direct bijdraagt aan inzichten en besluitvorming. Minder omwegen, meer focus op innovatie en concrete impact.

Les 4 – Automatiseer infrastructuur en deployments

Met Infrastructure as Code definiëren we alle Databricks-resources in code, waardoor handmatig aanmaken overbodig wordt. Dit zorgt voor een betrouwbare en consistente manier om nieuwe onderdelen beschikbaar te maken in alle omgevingen.
Deze werkwijze levert duidelijke voordelen ten opzichte van handmatige processen:

• Nieuwe klantomgevingen worden automatisch beschikbaar gemaakt.
• Minder tijd aan handwerk betekent meer tijd voor waardevolle inzichten.
• Alle omgevingen zijn op dezelfde manier opgezet, wat fouten en afwijkingen voorkomt.

Les 5 – Bouw datakwaliteit in de pipeline

In de vorige setup was het opsporen van fouten omslachtig. Een fout in de data kostte veel tijd om de oorzaak van te vinden.
Met de nieuwe opzet in Databricks is datakwaliteit vanaf het begin ingebouwd in de pipeline. Belangrijke controles, zoals compleetheid, logische waarden en het signaleren van uitschieters, worden automatisch uitgevoerd. Zodra de data niet aan de afspraken voldoen, wordt het proces direct gestopt en ontvangt de klant een melding.
Dit levert concrete voordelen op:

• Snelle foutdetectie en beperkt herstelwerk.
• Minder tijd kwijt aan handmatige checks.
• Betrouwbare data als fundament voor analyse en besluitvorming.

Resultaat in cijfers

KPI: Verbruik kosten
Voor migratie: Vast licentiemodel
Na migratie: Pay-per-use-model, besparing van 65%

Exacte €‑bedragen variëren per workload; de grootste besparing komt uit het omzetten van een vaste licentievergoeding naar pay-per-use-model.

Met deze migratie is het supply chain platform klaar voor de toekomst. Het sluit aan bij de technologische voorkeuren van haar klanten, is schaalbaar, betrouwbaar en onderhoudsvriendelijk. Bovendien is het fundament gelegd voor verdere innovatie op het gebied van AI en machine learning.

Klaar om jouw data-platform toekomstbestendig te maken?

Wil je meer weten over hoe wij jouw organisatie kunnen helpen bij het migreren naar een schaalbaar en toekomstgericht dataplatform? Neem contact met ons op of bekijk onze Cases.