Reizigerspunctualiteit aangescherpt met big data

De huidige prestatie-indicatoren van NS liggen regelmatig onder vuur. Deels omdat NS zelf met het ministerie van Infrastructuur en Milieu (IenM) afspreekt hoe er wordt gemeten en wat de gewenste bodemwaarde is. De slager die z’n eigen vlees keurt, moppert reizigersorganisatie Rover daar al jaren over. NS is het daar – uiteraard – niet mee eens. “IenM heeft de meetsystemen van alle KPI’s laten keuren door een externe deskundige. En IenM rekent ons af op de prestaties.” Maar ook NS zelf erkent dat sommige metingen nauwkeuriger kunnen. Schattingen moeten plaats gaan maken voor feiten.

Er zijn twaalf kritische prestatie-indicatoren op verschillende terreinen: tevredenheid van reizigers, vervoercapaciteit, informatievoorziening enzovoorts. Als zo’n KPI achterblijft bij wat is afgesproken met het ministerie, volgt een boete. En sinds de concessie van 2015 is ook een bonus mogelijk als NS in 2019 boven de afgesproken streefwaarde presteert.

Toch zeggen die prestatie-indicatoren soms niets over hoe de reiziger een treinreis ervaart, vindt Rover. “Het gaat niet om het getal, het gaat om het gevoel.” Want wat meet NS nu precies? In een blog op rover.nl zoomde beleidsmedewerker Freek Bos onlangs in op de KPI ‘reisinformatie bij verstoringen’. Zijn voorbeeld: trein moet om 10.00 uur vertrekken. Om 10.08 uur meldt NS dat de trein 10 minuten vertraging heeft. De trein vertrekt uiteindelijk om 10.13 uur. Bos: “De reiziger tast 8 minuten volstrekt in het duister, heeft 13 minuten vertraging en mist zijn aansluiting. Maar volgens de eigen KPI-normen voor reisinformatie haalt NS een 10 met een griffel.”

Verschil in beleving
Het verschil in ‘beleving’ komt door de marges die NS zichzelf geeft. Bos: “NS moet 5 minuten voor het daadwerkelijke vertrek van een trein een vertraging melden. Bovendien geldt daarbij nog een marge van 3 minuten. Als een trein om 10.10 uur zou vertrekken, hebben ze de melding van vertraging om 10.08 uur dus op tijd gedaan.” Er is een KPI, maar die doet niet wat-ie moet doen, zegt Bos. “De KPI dwingt NS tot het geven van informatie, maar dat is geen informatie waar de klant wat aan heeft.”

Gevolg: de reiziger is ontevreden. En reizigerstevredenheid, dat is zo’n KPI die NS juist graag wil verbeteren, blijkt uit het Vervoerplan 2016. De KPI die het klantoordeel voor reizigerstevredenheid weergeeft, nu 74,2 procent, moet in 2019 zijn gestegen naar 80 procent. Het klantoordeel wordt vooral beïnvloed door de prestaties op het gebied van reizigerspunctualiteit en vervoercapaciteit. ‘De reiziger op 1, 2 en 3’ is een terugkerend mantra in het Vervoerplan. De uitkomst van de indicatoren moet beter aansluiten bij de beleving van de reiziger, erkent NS.

Geen loze woorden
Dat zijn geen loze woorden, stelt Freek Bos van Rover vast. Sinds de start van de nieuwe concessie in 2015 is de manier waarop de prestatie-indicator reizigerspunctualiteit is opgebouwd aanzienlijk verbeterd. Onderpresteren betekent tegenwoordig een boete. Bovendien is reizigerspunctualiteit sinds deze concessie een KPI voor zowel ProRail als NS. Dus elkaar de schuld geven kan niet meer. Nog belangrijker: de concessie focust zich nu op reizigerspunctualiteit, en niet meer op treinpunctualiteit.

Treinpunctualiteit was weliswaar een KPI, maar uitval en overstappen zaten daar niet in. Het ging er alleen maar om óf de trein op tijd aankwam, áls hij had gereden. Bos: “Als al het treinverkeer in Utrecht plat lag, kon NS bij wijze van spreken nóg 100 procent scoren op treinpunctualiteit, omdat die uitgevallen treinen niet meetelden. Terwijl het voor de reiziger dan toch echt een zwarte dag was.” Voor de KPI reizigerspunctualiteit tellen uitgevallen treinen wel mee.

De cijfers moeten een realistisch beeld geven van wat reizigers op een dag hebben meegemaakt, beaamt Dennis Huisman, expertise manager logistieke processen binnen de afdeling Proceskwaliteit & Innovatie bij NS. “De reiziger moet zich herkennen in informatie.” Huisman is sinds kort tevens bijzonder hoogleraar Openbaar Vervoer Optimalisatie bij de Erasmus Universiteit in Rotterdam. “Door deze aanpassing komen de beleving en het belang van de reiziger centraler te staan.”

Huisman: “De KPI reizigerspunctualiteit is nu het belangrijkste item als het gaat om het meten van de betrouwbaarheid van de prestaties. Want alle drie de elementen zitten er in: heeft de trein gereden? Zo ja, kwam de trein op tijd aan (minder dan 5 minuten vertraging) en als er aansluitingen zijn, heeft de reiziger die gehaald?”

Schattingen
Hoe wordt de KPI reizigerspunctualiteit nu precies gemeten? Het gaat om het percentage reizigers van wie de treinreis qua reistijd is geslaagd. Dat wil zeggen: de trein heeft gereden, heeft minder dan 5 minuten vertraging bij aankomst en de geplande overstap kon worden gehaald. Er wordt uitsluitend gekeken naar 35 stations op het hoofdrailnet. Het gaat om schattingen van aantallen reizigers (gebaseerd op waarnemingen van de conducteur en realisaties uit het verleden) en aan de hand daarvan wordt weer een schatting gemaakt van het percentage mensen dat overstapt op een aantal vaste, populaire aansluitingen. Het gaat om een gewogen gemiddelde: in de ene trein zitten 1000 reizigers, in de andere 10. Dat wordt dan gedeeld door 1010. Rover noemt dat bij monde van Bos ‘natte vingerwerk’. “Niet alle overstappen op meetpunten tellen mee. En er tellen maar 35 stations mee voor het bepalen van die KPI.” Daar zitten wel alle grote stations bij. Echter, 35 stations is 13 procent op het totaal van 281 stations.

Nieuwe meetmethode
De methode is zeker niet ideaal, vinden ook NS en ProRail. Sinds november 2014 loopt er een test met een nieuwe meetmethode. Huisman: “Een pilot, reizigerspunctualiteit 2.0.” Het grote verschil? Er wordt niet meer gerekend met prognoses en aannames, maar met feiten en concrete getallen: de check-in- en check-out-gegevens van OV-chipkaarten. En om de kritiek vóór te zijn: anoniem. Huisman: “De privacy van de reizigers is gewaarborgd. We kunnen alleen zien dat een kaart ergens is in- en uitgecheckt, niet welk adres of welke naam daar bij hoort. We meten in deze test het verschil tussen de beloofde reistijd – die overeenkomt met het reisadvies in de planner – en de uiteindelijk gerealiseerde reistijd over de gehele NS-reis. Hoeveel reizigers op tijd aankomen in vergelijking met de belofte die we doen in de reisplanner.”

Wat levert dat op in vergelijking met de huidige meetmethode? Huisman laat het zien aan de hand van een met de reisplanner geplande voorbeeldreis van Rotterdam Zuid naar Akkrum. Bij vertrek om 13.53 van Rotterdam Zuid, zou de reiziger om 16.41 in Akkrum aan moeten komen. In werkelijkheid is er die dag een verstoring bij Rotterdam Zuid (trein rijdt niet) en blijkt de uitgekozen trein uit Zwolle 10 minuten te laat te zijn aangekomen in Akkrum. Huisman: “Voor de huidige KPI meten we nu aankomsttijden bij de knooppunten, in dit geval Rotterdam, Gouda, Utrecht, Amersfoort en Zwolle. Als de trein langs één van die stations komt, is het goed. Rotterdam gaat dus mis, maar de andere vier gaan goed. Akkrum is niet 1 van de 35 knooppunten, dus met de meting dat de trein daar te laat was, doen we nu helemaal niets. In de huidige meetmethode bestaat deze reis uit 5 delen en telt de reiziger 5 keer mee, waarbij de reis 4 keer geslaagd is en 1 keer niet.”

Werkelijke reistijd
In werkelijkheid is de reiziger natuurlijk nooit, of veel te laat in Akkrum aangekomen want de trein bij Rotterdam Zuid vertrok niet. En bij reizigerspunctualiteit 2.0 wordt de werkelijke reistijd gemeten, stelt Huisman, en het werkelijke aantal reizen: de reiziger telt hier dus maar één keer mee. Huisman: “Als je met OV-chipkaartgegevens werkt zijn er maar twee mogelijkheden: reis is geslaagd of niet. Deze reis is duidelijk niet geslaagd.”

De achterliggende gedachte, die ook in het Vervoerplan 2016 wordt verwoord: “Er wordt meer vanuit de reiziger geredeneerd. Het gaat om de beleving van de reiziger. Wat heeft die ervaren, dat willen we weten en meten.” Uiteindelijk doel is natuurlijk om te verbeteren. “Door de gegevens van de OV-chipkaarten zien we waar het precies mis gaat, zodat we daar ook beter op kunnen sturen. Daar gaat het uiteindelijk om. Dat er bij Akkrum iets mis is gegaan met de klantreis omdat de trein daar met 10 minuten vertraging is aangekomen, dat weten we nu niet. Door dat te koppelen aan de reizigerspunctualiteit krijgen we meer informatie en kunnen we beter pinpointen waar de grote problemen zitten, de dingen die de reiziger pijn doen. Welke treinen hebben vaak problemen, welke aansluitingen worden vaak gemist? Als een trein wel op tijd wegreed maar een substantieel deel van de reizigers heeft daardoor op 2 minuten de overstap gemist, dan is dat nuttige informatie. Het gaat om de verbetering, niet om aan het eind van het jaar een getal te kunnen presenteren. Het analyseren van de big data helpt daarbij.”

Freek Bos: “Het werken met OV-chipkaartdata zien wij als een belangrijke verbetering. Het leidt ertoe dat alle reizen en alle overstappen – binnen NS – gaan meetellen.”

Bodem- en streefwaarde
NS en ProRail moeten op basis van de vervoerconcessie ten minste een bodemwaarde van 90 procent halen, is afgesproken met het ministerie van IenM. In 2015 scoorde NS 91 procent. Maar in 2014 ging het beter; de score was toen 92,3 procent. Bovendien haalde NS het afgelopen jaar niet het eigen streefgetal: dat lag op 91,5 procent. Voor 2019 is de streefwaarde 92,3 procent.