14 mei 2019 ... min. Luister

‘Kafka was de oplossing voor een uitdagend developmentvraagstuk’

ING software engineers Tim van Baarsen en Marcos Maia delen binnenkort hoe zij een oplossing bouwden die een enorme, continue stroom van koersupdates koppelt aan duizenden notificaties, ingesteld door klanten. Hun podium: GOTO, van 18 tot 20 juni in Amsterdam.

12.000 prijzen per seconde

Tim en Marcos werken beiden in een technisch team voor de tribe Investmenst en leveren belangrijke functionaliteiten aan IT- en businessteams. Tim: "Onze use case begon met een vraag van onze businesscollega's. ‘MiFID II' (de Europese richtlijn voor de regulering van beleggingsdiensten) verplicht banken om klanten te informeren over renteverlagingen van meer dan 10 procent, om te voorkomen dat ze grote verliezen lijden. Alleen is deze informatie niet realtime, en tegen de tijd dat de notificatie naar de klant gaat, is de rente waarschijnlijk alweer een paar keer gewijzigd". Het team koos voor een positieve aanpak, en stelde voor om de klant realtime te informeren over elke verandering van de wisselkoers, dus óók als de koers stijgt. Tim: "De saaie MiFID-richtlijn zorgde zo voor een uitdagend developementvraagstuk, en een groot voordeel voor onze klanten".

Marcos voegt toe: "Hoe uitdagend het was, wisten we toen we hoorden dat we te maken hadden met 12.000 binnenkomende prijzen per seconde. We moesten ze matchen met de duizenden notificaties die onze klanten hebben aangemaakt en hen realtime notificaties toesturen.”

Perfect match

Het team koos ervoor om te werken met Apache Kafka en Spring Kafka. Marcos: "Ik had al vaker met Kafka gespeeld, maar nog niet in de context van een project. Ik was blij te horen dat ING al een Kafka-streamingplatform had opgezet. Kafka bleek de perfecte match om ons project te kunnen realiseren." Tim: "Een van de grootste uitdagingen was om het matchingproces performant, robuust en nauwkeurig te houden. Dankzij Kafka lukt dat. Hoe, daar gaan we het bij GOTO over hebben."

Live demo

De twee doen een live demo op het podium, een vereenvoudigde versie van de werkelijkheid. "We spelen de beurs na, met zijn continue stroom aan koersinformatie, en we maken notificaties aan, alsof we een klant zijn. Vervolgens gaan we dieper in op de onderliggende technologie en delen we learnings en valkuilen." 

Hip and happening

Tim: "Een van mijn grootste lessen was dat een ogenschijnlijk eenvoudige functie heel lastig kan zijn om te bouwen. Ik ontdekte ook de kracht van Apache Kafka en Spring Kafka, als oplossing voor de uitdagingen waarvoor we ons gesteld zagen. Het werken met dit soort geavanceerde technologie is spannend en cool, maar je moet de leercurve die erbij hoort niet onderschatten. Niets gebeurt automatisch. Tegen ons publiek op GOTO wil ik zeggen: zorg ervoor dat je een oplossing kiest die het bedrijf en de klant dient, kies geen oplossing omdat die toevallig hip and happening is.”

Passie delen

Marcos: "Het GOTO-publiek zal voornamelijk bestaan uit ontwikkelaars en mensen uit de business. Ik hoop dat zij dankzij onze presentatie begrijpen hoe krachtig Kafka is als distributieplatform en hoe het kan helpen om van batchsystemen naar realtimesystemen over te stappen. Persoonlijk hoop ik een beetje van mijn passie en ervaringen te kunnen delen en mijn netwerk te verbreden".

Spring I/O

Behalve op GOTO - en veel interne conferenties en meetups - zullen Tim en Marcos hun ervaringen delen tijdens Spring I/O in Barcelona, eind mei. "Alle grote namen spreken daar. Heel spannend, maar super cool".

gotoams.nl >

2019.springio.net >

Over Tim

Tim werkt al ca. 13 jaar in de IT. Hij begon in de consultancy bij een klein softwarebedrijf, dat snel groter werd. Hij werkte er aan allerlei IT-projecten voor veel verschillende klanten. Twee jaar geleden switchte hij naar ING, vanwege de interessante technologische uitdagingen die de bank bood. Tim is een groot voorstander van open source technologie, een groot fan van Spring Framework en zeer geïnteresseerd in het bouwen van schaalbare distributed systems. Tim spreekt graag over zijn passie voor Spring & Apache Kafka op interne ING-events en op meetups in Nederland.

Over Marcos

Marcos komt oorspronkelijk uit Brazilië, waar hij een stevige IT-carrière opbouwde. Met meer dan 20 jaar ervaring, voornamelijk in de financiële wereld, heeft hij nog steeds een passie voor softwareontwikkeling en koestert hij de momenten waarop problemen succesvol worden opgelost dankzij technologie. Marcos reisde de wereld rond als IT-consultant en werkte met meerdere complexe distributed systems en teams voordat hij zich in Nederland vestigde. Hij werkt sinds 2016 bij ING. Marcos houdt van wandelen door de natuur. Hij leest veel, studeert en brengt zoveel mogelijk tijd door met zijn gezin. Ook deelt hij zijn professionele ervaringen graag met management, softwareontwikkelaars en klanten.

Terug naar boven