Datascience biedt Vitens vernieuwende inzichten door grote, complexe analyses. Hierdoor kan Vitens zich verbeteren. Eén stap verder is continue verbetering. Vitens voert dan verworven inzichten Agile door, waarbij de kwaliteit van de wijzigingen is geborgd. Dit komt direct ten goede aan zowel het datascience- als het operationele proces. Business Development en ICT doen samen met externe partners onderzoek naar deze evolutionaire verandering.
Gedistribueerde analyse
Datascientisten maken al gebruik van gedistribueerde analyse. Hierbij rekenen meerdere processoren tegelijk aan verschillende rekenstapjes van de totale analyse. Dit is hard nodig. De hoeveelheid data die Vitens via sensoren en andere databronnen verzamelt, neemt sterk toe. De analyse is per databron erg complex. Datascience combineert deze databronnen ook nog eens. Een conventionele methode is dan door de lange rekenduur onbruikbaar. De scientisten gebruiken voor gedistribueerde analyse het MapR-cluster. Deze maakt grote en complexe analyses binnen enkele minuten mogelijk.
Het ECiDA project
Vitens voert met de Universiteit van Groningen, het Centrum voor Wiskunde & Informatica (CWI), TNO-Delft en Anchormen het project “Evolutionairy Changes in Distributed Analysis (ECiDA)” uit. Doel van het project is het vinden van een doeltreffende manier om bij gedistribueerde analyses wijzigingen aan te kunnen brengen in de databron of het rekenhart terwijl alle applicaties en analyses ongestoord doorwerken. De rol van Vitens is het leveren van datasets en ervaring in de praktijk van zowel datascience, data-engineering als enterprise architectuur. Het onderzoek is gericht op een grootschalige, betere analyse van de onze data. Dit gebeurt zowel met historische als realtime data uit sensoren. Dit project is relevant omdat het gebruik van continue IoT-sensordata van de waterleidingen een groot potentieel biedt voor verbetering van de waterkwaliteit. Het biedt ook veelbelovende kansen voor data-gedreven analyseoplossingen die zich kunnen aanpassen aan de externe veranderingen, zoals wensen vanuit de organisatie, veranderingen in de PA en/ of aan de slimme meters.
Architectuur en oplossing
Vitens houdt met haar doelarchitectuur al rekening met deze toekomstige Agile benadering. In haar toekomstige architectuur brengt zij data virtueel samen en integreert deze met business rules, algoritmen en data-opwerking. Deze zijn gecentraliseerd en beheerd en zijn Agile aan te passen. Zo kan in de toekomst heel Vitens baat hebben bij deze evolutionaire benadering van (gedistribueerde) analyses.
Dit past bij de oplossing van ECiDA. Centraal staat het opdelen van algoritmen in zo klein mogelijke eenheden. Terwijl een eenheid van een oude algoritme nog actief is in bijvoorbeeld het operationele proces, werken datascientisten op de achtergrond aan vernieuwing van deze eenheid. De proceseigenaar vergelijkt achter de schermen resultaten van de oude en de nieuwe eenheid. Met één druk op de knop vervangt de proceseigenaar het oude onderdeel voor het nieuwe. Deze oplossing is nog nergens vertoond. Als dit evolutionair onderzoek slaagt, dan kunnen datascientisten in de toekomst flexibeler werken en kennis snel en eenvoudig voor Vitens beschikbaar maken.
Door: Mario Maessen & Hester van het Loo
