Facebook weet alles? Nouja, voorspellen is zo makkelijk nog niet
Gepubliceerd: 11 April 2018 • Leestijd: 3 minuten en 1 seconden • Nieuws Dit artikel is meer dan een jaar oud.Facebook trekt zo’n 28.000 conclusies over zijn gebruikers, zei Arjen Lubach afgelopen zondag in zijn tv-show. Dat zijn 28.000 mogelijkheden om ernaast te zitten, legde lector big data Sunil Choenni gistermiddag met zoveel woorden uit, op een congres over het Internet of Things. Iedere voorspelling die we doen op basis van grote datasets is fundamenteel gebrekkig, legde hij uit. Wat te doen, bijvoorbeeld met criminelen en hun enkelband?
Een algoritme spuugt op basis van grote datasets (big data) alleen statistische waarheden uit, nooit logisch noodzakelijke. Dat is het meest fundamentele probleem van big data, legde Sunil Choenni gisteren uit. En dat heeft gevolgen. Mensen worden in de verkeerde hokjes gestopt of heersende vooroordelen worden dankzij big data alleen maar verder versterkt. Bijvoorbeeld in het geval van crimineel gedrag.
Het was eigenlijk wetenschapsfilosofie wat Choenni de zaal uit het blote hoofd voorschotelde – zonder de geijkte powerpoint, want die ging stuk.
Choenni liet zien waarom het nodig is om aan een strategie te werken die met de fundamentele gebrekkigheid van big data kan omgaan. Wat moeten we doen met al die statistische waarheden als je weet dat ze in zoveel procent van de gevallen zeker niet waar zijn? En misschien zelfs wel nooit?
Ook perfecte datasets kunnen niet voorspellen
Alle mensen zijn sterfelijk, Socrates is mens, dus Socrates is sterfelijk. Dat is logisch noodzakelijk. Echter, algoritmes doen iets anders. Ze tellen vaak simpelweg hoe vaak iets voorkomt en zeggen dan dat de kans dat het nog eens voorkomt zo-en-zoveel is. ‘Stel dat je een database hebt met perfecte data, dus niet vervuild, verouderd of met missende velden. Dan nog zijn de conclusies van een algoritme niet logisch noodzakelijk’, zei Choenni.
Maar op basis van grote datasets maken we wel degelijk allerlei modellen waarmee we de werkelijkheid beter willen begrijpen of voorspellen. Klimaatmodellen, maar ook modellen die criminaliteit voorspellen, zodat de politie efficiënter kan werken.
Criminele stropdassendragers
‘Stel dat mannen met een bril en stropdas 80 procent kans hebben om crimineel gedrag te vertonen’, gaf Choenni de zaal als voorbeeld. ‘Wat moeten we daar dan mee? Moet ik al die mannen dan gaan controleren? Maar dat zou leiden tot een selffulfilling prophecy. We zouden dan namelijk zeker alle overtredingen van mannen met brillen en stropdassen opmerken en die zouden in de database belanden, waardoor het algoritme zal zeggen dat mannen met stropdassen een nog hogere kans hebben op crimineel gedrag. En dan zeggen we: Zie je! Het is evidence based, we moeten mannen met brillen en stropdassen aanpakken! Terwijl we het er zelf ingestopt hebben.’
‘We hebben een strategie nodig om big data-voorspellingen in het echte leven te implementeren’, zei Choenni. ‘Eén die niet leidt tot selffulfilling prophecies, maar die tegelijkertijd ook niet leidt tot self-denying prophecies.’
Slimme enkelband
De boodschap van Choenni kwam goed binnen bij de grofweg veertig toehoorders in het auditorium van RDM Campus. Vooral omdat de aanwezigen nog geen uur eerder waren vergast op een big brother-achtig gedachtenexperiment over hoe ex-gedetineerden met slimme technologieën in toom gehouden kunnen worden. Een onderzoeker van het wetenschappelijk bureau van het ministerie van Justitie en Veiligheid gaf de zaal ter overweging het voorbeeld van een slimme enkelband, die in zweet het adrenalineniveau van de drager meet en zo aan de reclasseringsambtenaar kan doorgeven wanneer de reclassant weer in de fout dreigt te gaan. Handig, want dan kan de ambtenaar de reclassant even bellen voor een interventie.
Ook in een TBS-kliniek kan dit handig zijn. Uit onderzoek blijkt kennelijk dat verhoogde adrenaline in het zweet al lang te meten is, ver voordat er daadwerkelijk bijvoorbeeld agressief gedrag op volgt, zo legde de onderzoeker uit.
Meneer, u bent een vrouw.
Zou het niet fijn zijn als een algoritme agressief gedrag zou kunnen voorspellen? Bij die gedachte zijn een paar Facebookadvertenties meer of minder klein bier. En ook: stoppen met Facebook, zoals Arjan Lubach en zo’n dertigduizend anderen vanavond willen doen, leidt niet tot minder big data-profielen. Die komen er alleen maar meer, of dat nou van gebruikers is door commerciële partijen, of van burgers door de overheid. De vraag is daarom niet: moeten we ermee stoppen, maar: hoe gaan we ermee om?
Organisaties moeten er een strategie voor ontwikkelen, zegt Choenni, die nu precies deze strategieën aan het onderzoeken is. Het kan namelijk niet anders dan dat er fouten worden gemaakt, dat mensen ten onrechte in één of andere categorie worden ingedeeld waar ze niet in thuishoren. ‘Als je zeker weet dat dat gaat gebeuren, moet je ook een manier hebben om daarmee om te gaan’, zei Choenni, die zelf bij de gemeente eens als vrouw werd ingeschreven. Gevolg? Choenni, die vrij duidelijk geen vrouw is, vertelt: ‘De mevrouw achter de gemeentebalie keek in nog een paar systemen en constateerde: “Meneer, u bent echt een vrouw”.’
Dat soort dingen moeten we zien te voorkomen.
Tekst: Olmo Linthorst
Illustratie: Demian Janssen
Ik vind die mannen in de stropdas een waardeloze voorbeeld. Als je op zo’n manier op een bepaalde groep focust en de totaal aantal misdaden dalen, dan ben je toch blij??
Daarnaast bestaan er al feedback mechanismes die dit sommige problemen oplossen. Als je extra op de mannen met stropdassen let, en je bent bang dat zij oneerlijk geprofileerd worden. Dan is het eigenlijk heel simpel. Eerst ga je een dataset maken van de waarnemingen van slachtoffers/opnames en vergelijk je dat met de dataset van arrestaties. Als er bij arrestaties een overrepresentatie is van stropdas dragende mannen, dan weet je dat iets niet helemaal klopt. (Dit methode wordt toepast in de VS door onafhankelijke onderzoek bureaus wanneer politieafdelingen beschuldigd worden van racistische profilering.)
Ik denk wel dat we niet onvoorzichtig moeten zijn met Big Data, maar ik denk ook dat men op dit moment erg van bewust is van de tekortkomening van Big Data en hoe ze ermee om moeten gaan.
@William: er is ook niemand die beweert niet blij te worden van dalende misdaadstatistieken. Maar zoals je Amerikaanse voorbeeld aantoont, gaat het erom een strategie te ontwikkelen in het dagelijkse leven van algoritmegebruik, liefst voordat je serieuze beschuldigingen over je heen krijgt over vooringenomen dataprofielen.
@William, het punt is dat er per definitie een beperkte hoeveelheid resources is om iets te doen (tijd, mankracht, geld, noem het maar op). Als je deze resources in gaat zitten gebaseerd op een bepaald profiel, terwijl in werkelijkheid de verdeling criminaliteit gelijk is, ga je criminelen vinden binnen dit profiel en criminelen missen buiten dit profiel. Het resultaat is dat niet de hoeveelheid criminelen die je pakt daalt, maar dat de data van de profielen veranderen om weer te geven dat mensen die binnen dit profiel vallen hoogstwaarschijnlijker crimineel zijn.
Nu vraagt iemand zich uiteraard af hoe we dan op 80% mannen met bril en stropdas zijn gekomen. Dit heeft te maken met toevalligheden, confounding factors. De vraag die we moeten stellen is: zijn het dragen van een bril en stropdas oorzaken van crimineel gedrag, of hebben we hier een groep criminelen met een andere criminele oorzaak (de confounding factor) waarvan 80% toevallig een bril en stropdas op had?
Uw eigen “tegenvoorbeeld” illustreert juist het probleem. U kunt uzelf afvragen of er iets niet klopt, maar het is niet verstandig om te concluderen dat er iets niet klopt omdat u de vraag had. Dit vereist daadwerkelijk onderzoek naar de oorzaak en concluderen dat omdat eigenschap X in hoge aanwezig is bij arrestanten dit betekent dat eigenschap X een oorzaak is verwart correlatie met causaliteit. Correlatie kan ons slechts informeren wat het waard is om te onderzoeken op causaliteit.
@S. Heikamp
Je hebt inderdaad beperkte resources, dus je wil zo effectief mogelijk handelen. Ik geloof alleen niet dat er in de werkelijkheid de verdeling van criminaliteit gelijk is, en dus kan profilering als gevolg een verhoging van efficiëntie hebben i.p.v. alleen “de data van de profielen veranderen”
En rekening houden met confounding factors is leuk voor criminologen en “intellectuelen”, maar ik vind het onnodig idealistisch om te denken dat we niet adhv imperfecte data al verbeteringen kunnen vinden. En wat totaal niet interessant is, is of een bepaalde verband wel of niet correlatie of causaal is. Als het voor betere resultaten zorgt is het toch geen issue??
En wanneer mag je bij ingewikkelde dingen zoals criminele gedrag nou echt spreken van een consensus betreft causaliteit? Wanneer zijn we dan überhaupt klaar met onderzoek??
@William
Het is enigzins zorgwekkend dat u zorg dragen voor correcte conclusies “onnodig idealistisch” vind en slechts het gebied van “criminologen en intellectuelen”. Alhoewel ik het met u eens ben dat het behalen van betere resultaten de belangrijkste doelstelling is, vraag ik me hierin af wat voor u geldt als “betere resultaten”. Meer veroordeelden is namelijk geen “betere resultaten”, van belang is dat de juiste mensen veroordeeld worden, en liefst alle juiste mensen.
De boodschap van het artikel is dat gewaakt moet worden voor het verkeerd gebruiken van statistieken om conclusies te trekken die niet daadwerkelijk uit de gegeven informatie kunnen worden geconcludeerd, omdat de statistieken deze conclusies “het meest waarschijnlijk” achten. Misschien vind u het niet zo interessant of een verband causaal is of slechts statistische correlatie heeft maar aangezien het principe dat iemand onschuldig is tot schuld bewezen is nog steeds geldt, en correlatie en causaliteit wel degelijk van belang zijn voor bewijsvoering, hoop ik dat uw desinteresse niet tot een dominant denkbeeld verheven wordt. Post hoc ergo proper hoc is een klassieke drogreden juist omdat het zo gemakkelijk is om in deze te vervallen, en hier mag altijd tegen gewaakt worden. Dat leidt tot betere resultaten.
Wat betreft de vraag wanneer we klaar zijn met onderzoek: mogelijk nooit. Uiteraard zijn er altijd heersende theorieën die in de praktijk worden toegepast maar deze zijn altijd een resultaat van voortschrijdende kennis, het tijdsbeeld en heersende cultuur. Recht en ethiek is in zo’n 25 eeuwen westerse wijsbegeerte een veranderlijke zaak, onderhevig aan het heersende mensbeeld, welke weer berust op ontologische kennis (dwz kennis over het “zijn”). De mens als deterministisch wezen is geen nieuw idee, maar de verantwoording van dit idee in genetica, psychiatrie/psychologie en gerelateerde behavioristische statistieken alsmede de informatievoorzieningen om deze statistieken te verzamelen zijn dat wel. U mag gerust spreken van een huidige consensus maar het is hubris om te spreken van een definitieve. Dit proces eindigt pas als de mens volledig gedetermineerd verschijnt en uitgelegd kan worden, of dit ons ooit zal lukken is een open vraag, vandaar de “fundamentele gebrekkigheid” waar in het artikel naar verwezen wordt.
Laat ik het even simpel illustreren. Als er een 80% kans is dat ik als bril- en stropdasdrager crimineel ben, en ik ben geen crimineel, doorbreek ik dan wiskundige wetten der waarschijnlijkheid of illustreer ik dat er iets mis is met de voorspelling? Als ik veroordeeld wordt omdat de uitvoerders in het rechtsysteem aannemen dat ik crimineel ben omdat ik bril en stropdas draag en indirect bewijs interpreteren om schuld te concluderen, of allicht me verwarren voor een ander met bril en stropdas, kunnen we dan van rechtvaardigheid spreken? Kunnen we, omgekeerd gezien, concluderen dat we een veiligere en rechtvaardigere samenleving hebben als 80% van de bril en stropdasdragers in de cel zitten?
De verdeling van criminaliteit is in de werkelijkheid allicht niet gelijk, maar dit betekent niet dat het verantwoord is om arbitraire of bevooroordeelde statistieken te gebruiken om deze verdeling te bepalen. In een perfect wiskundig voorspelbare wereld werken deze voorspellingen perfect, maar deze stelling is duidelijk tautologisch; in de praktijk zijn we ver verwijderd van een wiskundig voorspelbare wereld (zeker ten opzichte van menselijk gedrag). Misschien zijn we ooit klaar met onderzoek, maar dat zijn we nu zeker niet.