Wat jullie te wachten staat: Racisme next level

[Revisor]

Met een sleepnet door het internet op zoek naar terroristen

De wet op de inlichtingen- en veiligheidsdiensten

Inlichtingendiensten AIVD en MIVD krijgen meer bevoegdheden als de Tweede Kamer woensdag instemt met een nieuwe wet. Wat mogen ze precies? Wie controleert dat? En mogen ze straks niet te veel?

Christiaan Pelgrim & Kees Versteegh 6 februari 2017 om 22:35


Foto Istock

1. Waarom is de wet nodig?

Geheime diensten vinden de huidige wet, uit 2002 achterhaald. Ze willen vooral meer internetverkeer kunnen aftappen. Nu mogen de diensten communicatie via kabels alleen doelgericht aftappen: bij één specifieke persoon.

In de nieuwe wet wordt ‘bulkinterceptie’ toegestaan. Simpel gezegd: de geheime dienst verzamelt een grote berg gegevens en filtert daar langzaam de nuttige informatie uit. Zo zou de AIVD graag al het internetverkeer tussen Nederland en Syrië in de gaten willen houden. En de militaire inlichtingendienst MIVD zal data willen verzamelen in een gebied waar Nederlandse militairen naartoe gaan. Nu mag dat nog niet, straks wel.

De nieuwe wet leidt tot veel discussie. Als AIVD en MIVD meer berichten mogen onderscheppen op de kabel, hoe gericht moet dat gebeuren? Mogen ze via een ‘sleepnet’, zoals critici het noemen, van alles en nog wat binnenhalen? En hoe controleren we of de diensten zich aan de wet houden

Mogen ze via een ‘sleepnet’, zoals critici het noemen, van alles en nog wat binnenhalen?

De onthullingen van Edward Snowden in 2013 zetten die discussie op scherp. De klokkenluider en voormalig medewerker van de CIA liet zien hoe de Amerikaanse NSA op grote schaal informatie binnensleepte.

In de nieuwe wet worden ook nog een paar andere zaken geregeld. Zo werd Nederland eind vorig jaar op de vingers getikt door het Europees Hof voor de Rechten van de Mens in Straatsburg, omdat de AIVD in 2009 journalisten van De Telegraaf had afgeluisterd. In de nieuwe wet mogen journalisten en advocaten alleen nog na toestemming van de rechter worden afgeluisterd. (CP/KV)

2. Komt er wel toezicht?

Minister Ronald Plasterk (Binnenlandse Zaken, PvdA) heeft al heel wat concessies gedaan, waardoor er meer toezicht komt. Eerst wilde hij zélf bepalen wanneer de inlichtingendienst ongerichte kabeltaps mag plaatsen. Na aanhoudende kritiek draaide hij bij. Ook een onafhankelijke commissie moet vooraf toestemming geven voor ‘bijzondere bevoegdheden’, zoals tappen. In de ‘Toetsingscommissie inzet bevoegdheden’ (TIB) zitten twee oud-rechters en een inhoudelijk deskundige.

Ook dit leverde kritiek op. Die controle vooraf is nog te zwak, volgens de Raad van State en de Autoriteit Persoonsgegevens. De TIB moet onder tijdsdruk veel verzoeken beoordelen en heeft ook nog eens weinig inzicht in de dagelijkse AIVD-praktijk. Durft de TIB de AIVD-baas dan wel tegen te spreken? Zelf zal de geheime dienst natuurlijk altijd zeggen dat deze tap écht nodig is. Als de TIB niet krachtig genoeg is, dreigt het een „stempelmachine” te worden, zegt de Autoriteit Persoonsgegevens. Taps worden dan „nagenoeg altijd” goedgekeurd, vreest ook de Raad van State.

Er is nog een toezichthouder, die al langer bestaat: de CTIVD. Die controleert of de geheime diensten zich in de praktijk aan de wet houden.

En: als de TIB eenmaal toestemming heeft gegeven, mag de CTIVD daar achteraf niets meer over zeggen. Ook niet als de CTIVD achter de schermen kan zien dat een grootschalige internettap helemaal niet zo hard nodig was. Plasterk wil zo voorkomen dat er spanningen onstaan tussen de twee instanties. Maar de CTIVD vreest een „toezichtshiaat”. De commissie wil het achteraf wél mogen zeggen, als ze ontdekt dat zo’n tap helemaal niet zo nodig was. (CP)

3. Hoe lang bewaart de dienst al die gegevens?

De grote ‘bulk’ van gegevens mogen de geheime diensten drie jaar op de plank laten liggen. Daarna moeten ze vernietigd worden. Dat is wel erg lang, zeggen de Raad van State, de Raad voor de Rechtspraak en de Autoriteit Persoonsgegevens. Mogelijk is dat in strijd met het mensenrechtenverdrag EVRM.

Minister Plasterk vindt het „mogelijk nuttig” als de diensten veel historische gegevens op de plank hebben liggen. Als er dan een nieuwe jihadist in beeld komt, kunnen die oude gegevens opnieuw doorzocht worden. Dat vindt de Raad voor de rechtspraak geen goed argument. Als je zoveel gegevens van gewone burgers drie jaar wilt bewaren, moet dat „noodzakelijk” zijn, schrijft de Raad in een advies, en niet „mogelijk nuttig”.

Als je zoveel gegevens van gewone burgers drie jaar wilt bewaren, moet dat „noodzakelijk” zijn en niet „mogelijk nuttig”

Daar komt bij dat de AIVD deze ‘bulk’ mag delen met buitenlandse geheime diensten, zelfs als nog niet is gecheckt wat er allemaal in te vinden is. Dat is gevaarlijk, volgens de Autoriteit Persoonsgegevens. „Dit kan negatieve gevolgen hebben voor Nederlandse burgers wanneer zij deze landen bezoeken.”

De CTIVD zegt dat de wet duidelijker moet vermelden hoe de bulkgegevens zo snel mogelijk kleiner gemaakt moet worden. Pas als die verplichting concreet in de wet staat, kan de toezichthouder de diensten daarop controleren. (CP)

4. Wat vinden de politieke partijen?

De coalitiepartijen VVD en PvdA hebben in het regeerakkoord afgesproken dat er een nieuwe wet komt. Ook het CDA is positief.

Dat de wet een update nodig heeft, vindt eigenlijk de hele Tweede Kamer. Maar volgens D66 en GroenLinks gaat de uitbreiding van de bevoegdheden nu veel te ver. Ze dienden bij elkaar meer dan twintig wijzigingsvoorstellen in. PvdA’er Jeroen Recourt vraagt zich vooral nog af of diensten wel snel genoeg gegevens verwijderen van gewone burgers, maar hij heeft nog geen wijzigingsvoorstel klaar liggen. Hij wil eerst horen wat minister Plasterk erover te zeggen heeft. (CP)

5. Wat doen andere landen?

Het onderscheppen van berichten via de kabel kan al in diverse andere landen, zoals in de VS en het Verenigd Koninkrijk. De bevoegdheden daar zijn echter nog steeds groter dan in Nederland. Duitsland is in sommige opzichten juist weer strenger dan Nederland.

De grootste verschillen met het buitenland liggen meer in de toepassing van inlichtingenmiddelen in de praktijk dan in de wetgeving. Zo luisteren politie en inlichtingendiensten in Nederland meer af dan in het buitenland, volgens inschattingen van onderzoekers. Ook is er een ruimere inzet van bewakingscamera’s, zeker vergeleken met Duitsland. Daarnaast is Nederland verder dan bijvoorbeeld België, Duitsland en Frankrijk met de samenwerking tussen overheidsdiensten. Negen overheidsorganisaties (zoals de politie, de douane, Financiën en Sociale Zaken) werken bij terrorismebestrijding samen met de AIVD in de CT-Infobox. (KV)

6. Hoe werkt het tappen eigenlijk?

In de toelichting op de nieuwe wet staat niet waar en hoe de AIVD en MIVD aftappen. Het werkt vermoedelijk zo: de inlichtingendiensten maken een kopie van de datastroom rondom een verdachte persoon of groep, om die later te analyseren. Het is niet voldoende om op één centraal punt af te luisteren. Een datapakketje kan immers op verschillende manieren reizen. De Nederlandse telecomproviders zullen op meerdere plekken in hun netwerken ‘splitters’ moeten plaatsen die het signaal van de glasvezelkabels kopiëren en naar de inlichtingendiensten sturen. Het gaat om honderden aanpassingen in complexe netwerken; de installatie ervan kan maanden duren. De overheid zegt die rekening te betalen. Daarbij komen de kosten bij voor de infrastructuur die nodig is om data op te slaan en te analyseren. (MH)

7. Wat doen de diensten met bijvangst?

De veiligheidsdiensten tappen veel data af die niets met het onderzoek te maken hebben. Ervan uitgaande dat het onderzoek zich richt tegen terrorisme maak je kans om zulke ‘bijvangst’ te zijn als je op een plek woont waar veel mensen met het buitenland communiceren. Ook openbare wifi-hotspots zouden afgetapt kunnen worden – die zijn sowieso al niet erg veilig.

De onderzoeken van AIVD en MIVD moeten doelgericht zijn; het is niet de bedoeling om ‘alle communicatie in de stad Den Haag een maand lang te verzamelen’, aldus de toelichting. Maar het zou wel al het Whatsapp-verkeer tussen Den Haag en Syrië kunnen zijn. En daarvoor moet getapt worden bij alle mobiele providers.

Wat te doen met de bijvangst? In het geval van „ernstige feiten” wordt overlegd met de landelijk officier van justitie om te kijken of de informatie van belang is voor het Openbaar Ministerie. Wat is ‘ernstig’? Een woordvoerder van minister Plasterk wil niet vooruitlopen op waar de grens precies ligt. „We bedoelen geen tasjesdief.” (MH/LvL)

8. Hoe voorkom ik dat getapt wordt?

Dat is niet te voorkomen. Je kunt er hooguit voor zorgen dat de inhoud van je gesprekken en berichten versleuteld is. Dat is al standaard de praktijk bij de meeste chatdiensten en anders kun je via een vpn-verbinding werken. Als je ook niet wilt dat je herkomst duidelijk is (het computeradres) dan zou je een TOR-verbinding kunnen gebruiken. (MH)

9. Beschermt de wet tegen Russische hackers?

Niet per se, want die houden zich niet aan de Nederlandse wet. De AIVD waarschuwde vorige week dat geavanceerde kwaadaardige software van Russische origine was opgedoken bij Nederlandse overheidsinstellingen. Dat die malware tijdig is opgemerkt is een goed teken: het weren van dit soort hacks is een kwestie van opletten (scannen) in netwerken. Nog belangrijker is medewerkers te trainen om niet op linkjes in een mailbericht te klikken. (MH)

Behoefte aan under- cover ambtenaren

Het wordt gemakkelijker voor ambtenaren om onder een valse naam te werken. Ambtenaren van politie of IND die speuren naar jihadisten in asielzoekerscentra, kunnen dat met een alias doen. „Door de toegenomen terrorismedreiging is daar meer behoefte aan”, zegt een woordvoerster van de AIVD.

Het werken met valse namen gebeurt nu ook al, maar wordt door de nieuwe Wet op de inlichtingendiensten expliciet geregeld. De wet schrijft voor dat de AIVD een uitgebreide ‘zorgplicht’ heeft voor ambtenaren die de dienst helpen inlichtingen te verzamelen. Dat kan door de ambtenaar met alias een pasje te verstrekken waaruit blijkt dat hij informatie verzamelt voor de AIVD.

Soms vragen AIVD-teams met personeelsgebrek ambtenaren van elders hen te helpen, desnoods met aanneming van een valse identiteit. Mensen uit de praktijk waarschuwen voor een glijdende schaal. Zo zegt Kees-Jan Dellebeke, die 39 jaar bij de AIVD werkte: „Het begint met een aangenomen identiteit, en het eindigt soms met volledig under-cover werken.”



https://www.nrc.nl/nieuws/2017/02/06...80813-a1544813

[Revisor]

China beoordeelt straks alle burgers op basis van big data

Burgerscore Digitale superstaat China ontwikkelt een ‘sociaal krediet-systeem’ om met data de eerlijkheid van burgers, bedrijven en overheidsinstellingen te meten. ‘Betrouwbaren’ worden beloond, ‘onbetrouwbaren’ aan de digitale schandpaal genageld.

Oscar Garschagen 13 maart 2017


Foto: iS

Boer Leng Cheng staat op de ‘rode lijst’ van zeer betrouwbare inwoners van Yuyao, een plattelandsgemeente ten westen van de havenmetropool Ningbo. Hoewel hij weinig verdient en geen bezittingen heeft, krijgt hij een flinke lening van de Yuyao Rurale Coöperatieve Bank

Tijdens de ‘ethische kredietcontrole’ had de bank hem 94 van de 100 haalbare sociale kredietpunten toegekend. Belangrijk onderdeel van deze controle was een digitale rondgang in de databases van de politie, de belastingdienst, het wijkkantoor en het regionale Bureau voor Openbare Betrouwbaarheid. Daaruit blijkt dat Leng plichtsgetrouw is, nooit een misstap heeft gezet en de vleesgeworden ‘harmonie’ is. Kortom, een socialistische modelburger.

Yuyao is een van de 44 steden in China waar het nieuwe, nu nog experimentele ‘sociaal krediet-systeem’ vorm krijgt. Dat systeem moet de greep van de Chinese autoriteiten, die het spectaculair groeiende internet aan het temmen zijn, nog verder verstevigen.

Hond niet aangelijnd? Minpunten

Het idee van de sociale kredietscore is door middel van het verzamelen en analyseren van grote hoeveelheden digitale informatie iedere burger, ieder bedrijf en iedere overheidsdienst punten toe te kennen.

Er wordt gebruikgemaakt van zowel informatie die wordt verstrekt door de politie, financiële instellingen en de overheid als van persoonlijke data van burgers van internetbedrijven. Niet alleen het tijdig afrekenen van aankopen en het aflossen van leningen levert punten op, ook een blanco strafblad, respect voor de autoriteiten en onberispelijk internetgedrag zijn van invloed op de scores.

Hoe het sociale kredietsysteem vanaf het geplande invoeringsjaar 2020 precies gaat werken, is nog onduidelijk. Het is niet bekend of er één of meerdere overkoepelende instanties komen voor het analyseren van data.

Bij wijze van proef werken de autoriteiten nauw samen met internethandelshuis Alibaba, zoekmachine Baidu, de sociale media van Tencent en andere internetbedrijven. Zij beschikken over enorme hoeveelheden data van de bijna 800 miljoen Chinese internetters. Over de exacte aard van de samenwerking met de staat doen de ondernemingen uiterst geheimzinnig.

In Yuyao wordt gewerkt met rode, grijze en zwarte lijsten en een puntensysteem. De loyale, rechtschapen burgers die de waarden van de Communistische Partij uitdragen komen op de rode lijst, de verslaafden, criminelen, ordeverstoorders en querulanten op de zwarte lijst. In andere plaatsen wordt geëxperimenteerd met een opdeling van de bevolking in A-, B-, C- of D-burgers.

Allerlei soorten gedrag kunnen gevolgen hebben voor de burgerscore. In Jinan, de hoofdstad van Shandong, verliezen inwoners punten als zij hun hond niet aan de lijn uitlaten. In Shanghai doen volwassen kinderen er goed aan voor hun bejaarde ouders te zorgen, want anders verliezen zij ‘sociaal krediet’.

Het is nog niet precies duidelijk wat de exacte consequenties zullen zijn van het hebben van een goede of slechte score. Er zijn wel voorbeelden bekend uit lopende experimenten, waaruit blijkt dat een slechte score verstrekkende gevolgen kan hebben: je kunt bijvoorbeeld geen lening krijgen bij een bank, het land niet verlaten of je kinderen worden niet toegelaten tot bepaalde scholen.

Lees ook: In China is The Circle al werkelijkheid. Over de alomvattende berichtenapp WeChat, die de Chinese overheid geïnteresseerd volgt.

Eerlijkheidscrisis

De invoering van de sociale kredietscore is volgens de regering uiteraard ingegeven door de beste bedoelingen, namelijk het bestrijden van de ‘eerlijkheidscrisis’ (dixit president Xi Jinping). „Laat de betrouwbaren vrijelijk bewegen onder de hemel, terwijl de onbetrouwbaren worden belemmerd om ook maar één stap te zetten”, vertaalde het Volksdagblad het jargon in de in 2014 en 2016 gepubliceerde plannen.

‘Onbetrouwbaren’ zijn bijvoorbeeld de makers van nep-producten, artsen die patiënten tillen bij de medicijnen-verkoop, militairen die baantjes verkopen en ambtenaren die hun superieuren voorliegen over productiecijfers om hun promotiekansen te verbeteren. Maar ook dissidenten, kritische journalisten, activistische advocaten, Tibetanen en Oeigoeren. ‘Betrouwbaren’ zijn de ordentelijke, vaderlandslievende en de Communistische Partij getrouwe burgers.

‘Onbetrouwbaren’ kunnen stevig worden aangepakt. Zakenman Gao in het stadje Shishi ontdekte onlangs dat hij in januari met naam, adres, foto en identiteitskaartnummer op de experimentele digitale zwarte lijst van Fujian van ‘wanbetalers’ is geplaatst. Hij kon opeens geen vliegtickets meer kopen en zijn dochter werd van een privé-school gestuurd.

De Beijingse auteur en sociale commentator Murong Xuecun is een van de zeer weinigen in China die het sociale kredietsysteem durfde te bekritiseren. In Beijing wordt hij altijd gevolgd door agenten van de staatsveiligheid, maar in Shanghai kan hij ongestoord met buitenlandse journalisten praten. „Als de socialemediabedrijven gaan meewerken – en zij hebben geen keuze – gaat dit project veel verder dan alleen het censureren van het nieuws en het internet”, zegt de schrijver van het nog te verschijnen 2072, een sciencefictionboek over de digitale totalitaire staat.

„Wij zijn van jongs af aan gewend aan het bestaan van ‘big brother’ in onze levens”, aldus Murong. „Op zich is het goed om wanbetalers en fraudeurs op te sporen, maar als ‘big brother’ over ‘big data’ beschikt, worden ook andere groepen bespioneerd. Dat is angstwekkend.”

Geheime proeven

Aan de invoering van het ‘sociaal kredietsysteem’ gaat de registratie van alle internetgebruikers met naam en identiteitskaart-nummer vooraf. Zonder vertoon van een identiteitsbewijs is de aanschaf van hard- en software en telefoonkaarten onmogelijk. Dat geldt ook voor de toegang tot WeChat, Sina Weibo en e-mail. Het gebruik van schuilnamen en software om de Grote Digitale Muur te omzeilen, is strafbaar.

„We kunnen daardoor inmiddels data van de meeste internetters achterhalen en analyseren”, zegt Zhou Tao. Hij is hoogleraar informatiewetenschappen aan de University of Electric Science and Technology China, een van de belangrijkste technische universiteiten van Azië. Zijn proeven met 18.000 studenten in de provincie Sichuan vormen bouwstenen voor de nieuwe digitale wereld in China.

Hij en zijn team verzamelen de data van de gedigitaliseerde toegangspassen tot de campus, de universiteitsbibliotheken, de internetclubs en zelfs de toiletruimtes en de appartementen.
Ook hun internetgedrag wordt nauwgezet gevolgd. Wie weinig in de universiteitsbibliotheek zit en vaak laat terugkeert op de campus en veel in de internet-bars van Chengdu zit, heeft mogelijk een probleem. „Op die manier ontdekten wij dat zeker dertig studenten erg eenzaam waren. Die zijn inmiddels geholpen door hun mentoren”, aldus Zhou.

Lees ook: Xi muilkorft steeds meer media

Een vergelijkbaar experiment met twee miljoen studenten op de 147 universiteiten van de provincie Guangdong begint binnenkort. Ook zij zullen in het geheim worden gevolgd. „Dat is om te voorkomen dat de data zou vervuilen.”

Het argument dat hiermee de privacy wordt geschonden wimpelt hij weg. „Wij zijn hier gewend aan controle door de overheid en wie een gewoon leven leidt, heeft niets te vrezen. Wij hebben in het Chinees niet eens een goed woord voor privacy.” Het doel is om de maatschappij te zuiveren van oneerlijkheid en om mensen die het moeilijk hebben op tijd op te sporen en te helpen, zegt Zhou. En, voegt hij er aan toe: „Het biedt consumenten de mogelijkheid om eerlijke leveranciers van de oneerlijke te onderscheiden, en hygiënische restaurants van vervuilde eethuizen.”

Big brother meets big data

Is het technisch haalbaar om op nationale schaal gegevens te verzamelen van alle burgers en op betrouwbare wijze te analyseren? „Datacrunching zonder foto’s en video’s is betrekkelijk eenvoudig”, aldus Zhou. „Het is geen zwaar Facebook-werk.”

Zijn Beijingse collega Meng Tianguang, politicoloog en big data-expert van de Tsinghua Universiteit, heeft wel twijfels over de haalbaarheid van het project. „Het is nu nog zeer onzeker of voor 2020 alle technologische en bureaucratische problemen kunnen worden opgelost.” Meng helpt de overheid bij het verbeteren van de notoir onbetrouwbare informatiestromen over de economie. 2020 zal niet worden gehaald, denkt hij, omdat de computersystemen van verschillende overheden niet op elkaar aansluiten.

Maar dat op enig moment in de komende jaren ‘big brother’ en ‘big data’ in China elkaar nog nauwer in de armen sluiten, is ook voor hem geen vraag meer. Meng grijnst: „Toen Mao Zedong aan zijn eerste schoonvader vroeg hoe hij een revolutie moest aanpakken, luidde het antwoord: ‘gewoon beginnen en de problemen later oplossen’. Zo gaat het nog altijd.”

.............

Sesam Krediet open u

Model voor het sociale kredietsysteem in China is het uit 2015 daterende Sesam Krediet van internethandelshuis Alibaba. Dat beschikt over gedetailleerde profielen van meer dan 300 miljoen consumenten en bijna 10 miljoen bedrijven.


Hoe de Sesam-kredietscore wordt opgesteld, is geheim. Wel heeft het bedrijf bekendgemaakt dat niet alleen koopgedrag en kredietwaardigheid factoren zijn, maar ook sociale contacten, internetgedrag en een eventueel strafblad.

.................


https://www.nrc.nl/nieuws/2017/03/13...73575-a1550087

[Revisor]

Datadictatuur

Spartelen in een rivier van data


‘Als je genoeg data hebt, verschijnt de waarheid vanzelf’ – een gevaarlijke misvatting. Met technologie als hoogste autoriteit dreigt een dictatuur van data die de humanistische waarden ondermijnt.

door Wouter van Noort beeld Gorilla

12 april 2017

Lacie Pound is een ambitieuze en hard werkende dertiger die behoorlijk houdt van pastelkleurige kleding. Nageltjes altijd keurig gelakt, haren strak naar achter gekamd, beetje te veel make-up. Ze is op en top Amerikaans: tegen iedereen om haar heen beleefd en aardig, maar altijd nét een beetje nep. (‘Hi! How are YOU today?’)

Lacie is de hoofdpersoon in een aflevering van de Netflix-serie Black Mirror. Ze woont in een fictieve wereld in de nabije toekomst waar iedereen gebruik maakt van een systeem dat een beetje het midden houdt tussen Instagram, Uber en TripAdvisor. Collega’s, vrienden, voorbijgangers: iedereen geeft elkaar met dit systeem een rating. Het beoordelingssysteem werkt via de smartphones van de inwoners, en via een soort slimme contactlenzen waarop iedereen elkaars gemiddelde beoordeling kan zien. Lacie heeft een gemiddelde score van 4,2: best oké, maar niet top.



In de fictieve wereld van Black Mirror beïnvloedt die score niet alleen iemands sociale klasse, maar wordt die ook gebruikt om te bepalen welke mensen er in bepaalde wijken mogen wonen, of ze vliegreizen kunnen boeken en welke banen er beschikbaar zijn. Dan komt er een geschenk uit de hemel voor Lacie, althans zo lijkt het. Een vriendin van vroeger, Naomi, vraagt haar om getuige te zijn op haar huwelijk en daar een speech te houden. Lacie kan haar geluk niet op, want Naomi ‘is’ een 4,8.

De hoogblonde Naomi wijst Lacie constant op de enorme verantwoordelijkheid die ze voor het huwelijk heeft. Ze post bovendien de hele tijd berichten op haar profiel waarop ze in ingewikkelde yogaposes gevouwen, borsten lekker omhoog geduwd, lippen getuit supergezonde en picture perfect bakjes yoghurt met granola en rode bessen zit te eten. Ze woont op een idyllisch privé-eiland waar ze een constante stroom foto’s van romantische zonsondergangen met haar aanstaande man (lang, donker en knap natuurlijk) deelt met iedereen die het maar wil weten. Hashtag #nofilter.

Lacie wordt daar niet bepaald rustiger van, en door de stress heeft ze een paar vervelende ontmoetingen met vreemden, collega’s en verkopers in winkels. Niks ernstigs, maar genoeg voor een aantal slechte beoordelingen, waardoor haar rating langzaam wegzakt tot onder de 4,2. Ze moet haar vlucht halen om naar de bruiloft van Naomi te komen, maar heeft vertraging onderweg waardoor ze de vlucht mist. Dit zorgt natuurlijk voor nog meer onrust, vooral als ze erachter komt dat ze bij haar luchtvaartmaatschappij minstens een 4,2 nodig heeft om op de volgende vlucht te mogen. De frustratie bereikt een kookpunt en ze maakt ruzie met de baliemedewerker. De beveiliging moet erbij komen, en ze krijgt nu zelfs strafpunten opgelegd waardoor haar rating steeds verder daalt, ze steeds zenuwachtiger raakt en alleen nog maar meer slechte ratings krijgt.

Uiteindelijk stort Lacie helemaal in, en reist ze al liftend naar de bruiloft (al het andere openbaar vervoer komt ze niet meer in door haar lage rating) om daar de boel te verstoren met een emotionele speech, haar mascara totaal uitgelopen en haar haar als een vogelnest op haar hoofd. Als de bruidegom de microfoon uit haar handen wil pakken, bedreigt ze hem met een mes. Haar score blijft kelderen. Lacie raakt volledig buiten zinnen en eindigt in de gevangenis. Ze bezwijkt onder de druk van het sociale-ratingsysteem. Black Mirror is sciencefiction, natuurlijk. Maar gaat het systeem uit de serie nou echt heel veel verder dan in het echt?

Kijk bijvoorbeeld naar het grootste bouwproject op dit moment in New York. De skeletten van de wolkenkrabbers in Hudson Yards, in het westen van Manhattan, zien er op het eerste gezicht niet anders uit dan de vele andere in de stad: veel blootliggend staal, enorme hijskranen en wegafzettingen. Maar hier wordt geen gewone wijk gebouwd. ‘We gaan met sensoren op elke hoek de luchtkwaliteit meten’, zegt Constantine Kontokosta, een van de directeuren van het project. ‘We gaan ook temperatuur, lichtniveaus en lawaai constant in kaart brengen.’
Hij doet er bij cusp, een instituut van New York University, onderzoek naar; de gegevens wil hij combineren met data van gemeentelijke klachtenlijnen, de sociale dienst, mogelijk ook energiebedrijven. Bovendien willen ze berichten op sociale media van bewoners monitoren om hun sentiment te meten, en locatiedata van hun mobiele telefoons bijhouden via wifinetwerken zodat ze kunnen zien hoe ze door de buurt bewegen.

Hudson Yards moet de eerste quantified community van de wereld worden: een wijk waar alles en iedereen op elk moment van de dag gemonitord wordt. De eerste bewoners trekken er inmiddels al in. ‘Voor het eerst kunnen we in real time een wijk analyseren’, zegt Kontokosta trots. Met de data kan het gemeentebestuur bijvoorbeeld snel ingrijpen bij geluidsoverlast, of meten wat het effect is van bepaalde beleidsmaatregelen.

‘Het is de vraag of we met big data de menselijke vooroordelen elimineren, of juist camoufleren met nieuwe technologie’

Op termijn wil Kontokosta ook gegevens over lichaamsbeweging, gezondheid en gewicht van de wijkbewoners verzamelen, bijvoorbeeld met data uit smartphones of wearables zoals polsbandjes. ‘Geheel vrijwillig natuurlijk.’ En alle data worden geanonimiseerd opgeslagen, zo bezweert hij. Hudson Yards wordt een van de duurste buurten van de stad; de ontwikkelaars verwachten dat er veel vraag is naar zo’n gekwantificeerd leven in een big data-wijk.

Big data worden door andere overheden en bedrijven inmiddels ook gebruikt om sollicitanten te selecteren, verzekerden te beoordelen, aanslagen te voorkomen en politieke campagnes op af te stemmen. Als een algoritme een oordeel velt, zal het wel gebaseerd zijn op een kloppende berekening en neutrale feiten, wordt vaak gedacht. Maar die aanname is ronduit gevaarlijk, betoogt Harvard-wiskundige Cathy O’Neil in haar boek Weapons of Math Destruction. Neem haar voorbeeld van een Amerikaanse autoverzekeraar die op basis van kredietscores (inschattingen van iemands kredietwaardigheid) probeert te voorspellen hoeveel kans iemand heeft op een ongeluk, en daarop de hoogte van de premie baseert. In die kredietscores wordt de postcode verwerkt. En in postcodes zit, zeker in steden met ‘zwarte’ en ‘witte’ wijken, mogelijk ook informatie over huidskleur verwerkt. Huidskleur mag wettelijk niet worden meegewogen in het bepalen van premies, maar door het te verstoppen in algoritmes gebeurt dat via een omweg toch.

O’Neil waarschuwt dat door dit soort ondoorzichtige algoritmes discriminatie zal toenemen, economische ongelijkheid zal groeien en zelfs dat de democratie gevaar loopt. Want ook overheden gebruiken in toenemende mate algoritmes en datamodellen om beslissingen te nemen. ‘Het is zeer de vraag of we met big data de menselijke vooroordelen elimineren, of juist camoufleren met nieuwe technologie’, aldus O’Neil.

Nog een voorbeeld: in de VS, net als in Nederland, maakt de politie gebruik van big data om te bepalen waar ze moeten patrouilleren. Ook in dat soort technologieën (predictive policing genoemd) zitten mogelijk vooroordelen verstopt, die zichzelf bovendien versterken: als bepaalde wijken vaker worden gecontroleerd, stijgt daar het aantal staandehoudingen, al was het maar vanwege identificatieplicht. Omdat die staandehoudingen op zichzelf ook weer in veel modellen meewegen, gaan de agenten nog vaker patrouilleren, waardoor er een vicieuze cirkel ontstaat.

[Revisor]

In westerse landen gaan overheden, aangespoord door databedrijven als Palantir en ibm, al ver met dataverzameling en algoritmische politie- en veiligheidsdiensten, maar in Azië, en vooral in Singapore, gaat het nog veel verder. Sinds 2009 heeft deze staat een uitgebreid systeem van dataverzameling opgetuigd, onder de naam Smart Nation. De Singaporese overheid verzamelt en analyseert data uit sensoren op straat, camera’s met gezichtsherkenning, sociale media en smartphones. Twee overheidsinstanties met orwelliaanse namen, het Risk Assessment and Horizon Scanning-programma (rahs) en het Centre for Strategic Futures, analyseren die data.

Om een beetje beter te begrijpen wat voor soort land Singapore is: technologietijdschrift Wired noemde het ooit ‘Disneyland met de doodstraf’, en dat is precies het gevoel dat je krijgt als je er rondloopt. Het is een supergoed georganiseerde en zeer welvarende stadstaat waarin de stad naadloos overloopt in een pretparkachtig strand in het zuiden en een gigantische dierentuin in het noorden. Straten zijn er blinkend schoon, mensen wachten keurig in de rij voor alles. Het land wordt al sinds 1959 met strakke hand bestuurd door de People’s Action Party, met een unieke mix van kapitalisme en strikte staatscontrole van burgers. Kauwgom kauwen is er verboden, als je wordt betrapt op water drinken in de trein of afval gooien op straat krijg je een boete van honderden euro’s.

En dat land loopt dus nu voorop als smart nation. Eén project van het rahs draait om het meten van het niveau van ‘nostalgische gevoelens’ onder de inwoners. Een groeiende groep Singaporezen verlangt terug naar de tijd waarin Singapore nog een veel rustiger stadstaat was zonder alle immigranten en grote bedrijven die er nu zitten. Sommige Singaporezen nemen daarom initiatieven voor meer parken in de stad, en spreken zich over hun onvrede uit op sociale media. ‘Maar nostalgie kan ook lelijke trekken krijgen’, volgens een rapport van het rahs uit 2014. ‘Het kan ontaarden in het afwijzen van de huidige situatie, en een isolerend nationalisme aanwakkeren. We verkennen mogelijkheden om deze nostalgie te kanaliseren op een manier die meer vooruitkijkt.’ De Singaporese overheid wil data over bewoners gebruiken om bepaalde sentimenten te meten, en te sturen. Technologie wordt op die manier door de overheid gebruikt om de grip op het persoonlijke leven van mensen te versterken.

Hoe het ‘kanaliseren’ van gedrag eruit kan zien blijkt verderop in Azië: in China. Eind 2015 lanceerde de communistische partij in dat land een uitgebreid systeem om met behulp van data de gehoorzaamheid van burgers aan het regime te stimuleren: sesame credits. Op basis van onder meer data over gedrag op sociale media en aankopen op websites krijgen burgers een ‘sociale kredietscore’ toegekend. Als je aankopen doet die passen bij de politieke lijn van de Partij, zoals werkschoenen of lokaal geproduceerde landbouwproducten, gaat je score omhoog. Als je stoute anime-stripboeken uit Japan koopt, daalt je score. Als je beelden op sociale media post van de protesten op het Plein van de Hemelse Vrede of al te kritisch bent op de ineenstorting van de aandelenbeurzen gaat je sesame credit omlaag. Maar wie een linkje deelt van het staatspersbureau over hoe goed het gaat met de economie krijgt bonuspunten.

‘We bouwen een soort supercomputer die vertelt wat we moeten doen. Een nieuw totalitair systeem. Een dictatuur van data’

Met sesame credits kunnen Chinezen makkelijker leningen afsluiten en krijgen ze sneller toegang tot overheidsdiensten. Volgens mediaberichten rondom de lancering van de kredietpunten overweegt de overheid ook negatieve maatregelen tegen mensen die zich online niet zo gedragen als de Partij wil, zoals lagere internetsnelheden voor mensen met een lage score of het uitsluiten van ongehoorzame burgers van bepaalde overheidsbanen. Het project is nu nog in de testfase, maar moet landelijk worden ingevoerd. De Chinese overheid werkt zo aan een supercomputer voor burgerlijke gehoorzaamheid. Black Mirror, iemand?

Ook wat dichter bij huis gebeuren al behoorlijk enge dingen wat betreft controle van burgers via de mobiel. Tijdens een protest in 2014 op het Maidan-plein in Kiev, de hoofdstad van Oekraïne, kregen demonstranten plots een sms: ‘Beste abonnee, u bent geregistreerd als deelnemer in een massale rel.’ En laten we ook vooral niet vergeten dat in Nederland door de nieuwe wet op de inlichtingendiensten die onlangs werd aangenomen overheden veel meer bevoegdheden krijgen om burgers af te tappen en rond te neuzen in hun privé-berichten.
Mede door ons massale gebruik van smartphones krijgen overheden en machtige bedrijven potentieel een ongekende hoeveelheid gegevens tot hun beschikking over burgers. Daarmee krijgen ze instrumenten in handen om hen op ingrijpende manieren te sturen, monitoren en manipuleren. Daarvoor waarschuwt ook Dirk Helbing, hoogleraar computationele sociologie aan de TU Delft en de Zwitserse eth in Zürich. Volgens Helbing leiden big data tot een nieuw soort totalitaire samenleving. ‘Ik ben zeer bezorgd. We komen steeds meer in een grote systeemcrisis terecht. Ik vrees op korte termijn misschien zelfs oorlog als bedrijven en overheden zo doorgaan als nu.’

Dat zijn grote woorden. Die zijn dan ook een handelsmerk van Helbing – naast zijn glimmende pakken en knalroze dassen. Hij neemt in het Duitse publieke debat over technologie vaker standpunten in die behoorlijk heftig klinken. Misbruik van big data en overheidssurveillance noemt hij bijvoorbeeld vaak ‘fascisme 2.0’. Hij publiceerde er onder meer over in Nature.

Waar komt Helbings zorg vandaan? ‘Bedrijven en overheden hebben de laatste jaren als gekken data verzameld, vanuit het idee dat we de wereld kunnen optimaliseren door ons van bovenaf in de gaten te houden. Maar door mondialisering en digitalisering is de wereld zó complex geworden dat dat helemaal niet kan.’ De misvatting achter massasurveillance en big data is: als je genoeg data hebt, verschijnt de waarheid vanzelf. Topmanagers en politici moeten doen wat de data ze vertellen. Dat is de ideologie die is verspreid door technologiebedrijven. We bouwen volgens Helbing ‘een soort supercomputer die ons vertelt wat we moeten doen. Een nieuw totalitair systeem. Een dictatuur van data.’

In de Verenigde Staten zijn proeven bezig met rechtspraak op basis van data over verdachten. Algoritmes voorspellen daar op basis van die data de kans op recidive, en de rechters baseren daar deels hun oordeel op. Dat is volgens hem een volledig verkeerde aanname over hoe de digitale maatschappij werkt. Die is namelijk veel te ingewikkeld om zomaar in kaart te brengen met het verzamelen en interpreteren van data met feilbare algoritmes en modellen. Wat er gebeurt in de digitale economie: alles en iedereen raakt met elkaar verbonden. Denk aan smartphones, sociale netwerken, slimme infrastructuur, elektriciteitsnetwerken, internet of things. Alles wordt op die manier ook afhankelijk van alles, er ontstaan ontelbare verbindingen: een gebeurtenis aan de ene kant van de wereld kan aan de andere kant razendsnel gevolgen hebben. De wereld wordt één groot netwerk.

Dat maakt de samenleving zo veel complexer dat beheersing van bovenaf door data te verzamelen en daarop beslissingen te baseren een illusie is. ‘We kunnen niet eens de verkeerslichten in een stad volledig optimaliseren, omdat die systemen al te complex zijn. Laat staan dat dat voor een hele maatschappij kan’, zegt Helbing. ‘Het idee dat je hele landen of steden op een goede manier zou kunnen optimaliseren met behulp van big data is absurd, absoluut absurd. Hoeveel data je ook verzamelt, de wereld is toch altijd ingewikkelder, dus ze bieden valse zekerheid.’

[Revisor]

Het gevaar voor een grote crisis door deze obsessie met data komt volgens hem door het feit dat elk groot economisch tijdperk zijn eigen succesprincipes heeft. Eerst was er de landbouwmaatschappij, in de negentiende eeuw kwam de industriële samenleving, daarna de diensteneconomie. We zitten nu precies in de overgangsfase naar de digitale economie. Bij een nieuw economisch tijdperk hoort een nieuwe manier om de maatschappij te organiseren, een nieuw besturingssysteem. In de boerensamenleving moest iedereen zelf zien te overleven, in het industriële tijdperk bepaalden ondernemers grotendeels van onderaf, zonder overheidsbemoeienis, wat er gebeurde. Dat systeem leidde wel tot groei, maar er was geen aandacht voor armoede, werkloosheid en milieu.

Steden zijn niet meer alleen plekken om fijn te wonen en werken, maar ook laboratoria om proefpersoon te zijn
De dienstenmaatschappij probeerde dat te repareren met regulering, administratie, optimalisatie van bovenaf. Grote internationale organisaties, toezichthouders en uitgebreide ambtenarenapparaten werden opgetuigd. Dat heeft lang goed gewerkt, maar is nu heel snel aan het falen. Want dat van bovenaf beheersen kan wel in een analoge wereld, maar niet meer in de complexe digitale wereld.

Volgens Helbing stemt de geschiedenis van grote systeemtransities niet gerust. De overgangen van boereneconomie naar industriële tijd, en van industriële tijd naar diensteneconomie, hebben geleid tot grote crises, revoluties en oorlogen. Het revolutiejaar 1848 en de maatschappelijke onrust rondom de Eerste Wereldoorlog in 1914 zijn daarvan voorbeelden. ‘Natuurlijk hadden die gebeurtenissen meer oorzaken, maar dat soort grote omwentelingen heeft zijn wortels in grote economische en technologische veranderingen. En we zijn nu op een punt dat we de transitie moeten maken, we moeten een grote stap zetten, anders gaat het weer fout.’ Volgens Helbing maakt de obsessie met big data dat de noodzakelijke transitie wordt tegengewerkt.
En meer denkers over technologie zien big data botsen met fundamentele waarden. Zoals de Israëlische hoogleraar geschiedenis Yuval Harari: hij publiceerde onlangs het boek Homo Deus, waarin hij een nieuwe opkomende ideologie signaleert die op gespannen voet staat met het liberale humanisme dat nu dominant is: het dataïsme. Harari plaatst het opkomende dataïsme in het perspectief van de dominante filosofische stromingen die we de afgelopen duizenden jaren aan ons voorbij hebben zien trekken. Duizenden jaren lang geloofden mensen dat de belangrijkste bron van autoriteit goddelijk was: goden bepaalden wat er gebeurde, goden waren de hoogste wezens en goden beschikten over het lot van mensen. Dat duurde vele millennia, totdat vanaf de Renaissance het humanisme, dat juist de mens centraal stelt, serieuze invloed begon te krijgen.
Een mooie samenvatting van de humanistische waarden is te vinden in het werk van de Franse filosoof Jean-Jacques Rousseau. Die schreef in zijn vertoog Emile in 1762: ‘Ik hoef alleen maar bij mezelf te rade te gaan over wat ik wil doen; over wat ik goed vind, over wat ik slecht vind.’ Vandaar dat liberale maatschappijen zo gericht zijn op individuele keuzevrijheid: wie kan beter bepalen wat goed voor mensen is dan mensen zelf?
Maar volgens Harari is dat aan het veranderen. Want door het geloof in data als ultieme bron van waarheid verschuift de focus van mensen naar technologie als plek waar de autoriteit vandaan moet komen. Als computers met behulp van data-analyse tot betere beslissingen kunnen komen dan mensen betekent dat een enorme verandering in het denken over de rol, de vrijheid en de autonomie van mensen. Als je de wereld ziet als een enorme verzameling data, als je mensen ziet als datapunten in een systeem, en als je constateert dat algoritmes veel nauwkeuriger en sneller oordelen kunnen vellen over die data, dan manoeuvreer je mensen en de vrije wil heel snel in filosofisch opzicht naar de zijlijn.

In smart cities, door smartphones en bij bedrijven als Google, Uber en Facebook zijn mensen al gereduceerd tot een digitaal profiel; een pixel op een enorm scherm waarin de bedrijven en overheden de complete mensheid in real time proberen te monitoren. ‘Ik weet niet precies waar ik in dit systeem precies sta, en ik weet niet hoe mijn data-bits zich verhouden tot de bits van de miljarden andere mensen die in deze supercomputer staan’, aldus Harari. ‘Ik heb ook helemaal geen tijd om dat uit te zoeken omdat ik te druk ben met het beantwoorden van mijn stroom e-mails. Deze niet-aflatende datarivier zorgt voor nieuwe uitvindingen en inzichten die niemand controleert, plant of zelfs ook maar begrijpt.’ Door mensen te reduceren tot datapunten die moeten worden geanalyseerd door een computer maak je hen automatisch voor een belangrijk deel overbodig.

Volgens Harari geloven mensen die dit dataïsme aanhangen dat als je maar genoeg data verzamelt en algoritmes maakt die slim genoeg zijn computers ons uiteindelijk veel beter zullen begrijpen dan we onszelf begrijpen. Die ideologie is inderdaad al behoorlijk zichtbaar bij de grote technologiebedrijven uit Silicon Valley. Neem de aanbevelingen van apps als Netflix: als je House of Cards uit hebt gekeken, zul je Black Mirror ook wel leuk vinden, voorspelt het algoritme op basis van kijkgedrag van miljoenen anderen. En vaak hebben de algoritmes nog gelijk ook.

Maar als we dit soort aanbevelingen al uitbesteden aan algoritmes, wat gaan we dan doen met de echt belangrijke beslissingen? Bijvoorbeeld als het gaat om klimaatverandering: dat is zo’n complex probleem dat mensen er zelf niet in slagen om er een goede oplossing voor te bedenken. Als computers, eventueel geholpen door kunstmatige intelligentie, er wel in slagen om oplossingen te berekenen: wat doen we dan? Het ligt voor de hand dat we die instructies dan gaan opvolgen, maar wat als die instructies tegen de belangen in gaan van een bepaalde groep mensen? Op het moment dat computers beleid gaan maken en beslissingen gaan nemen die nu nog door politici worden genomen, verliezen mensen hun autoriteit en als mensen hun autoriteit verliezen, slaat democratie eigenlijk nergens meer op, waarschuwt Harari. ‘Dan worden verkiezingen net zo overbodig als regendansen.’

Dit soort scenario’s over een einde aan persoonlijke vrijheden, de afschaffing van menselijke autonomie, de opkomst van nieuwe soorten totalitaire regimes en misschien zelfs wel oorlogen door het geloof in data klinken extreem, en misschien zijn ze dat ook wel. Het blijven toekomstvoorspellingen en dus koffiedik kijken. Maar wat echt opvallend is, is dat steeds meer zeer serieus te nemen onderzoekers en denkers met zulke sterke waarschuwingen komen. Technologiebedrijven en techno-optimisten uit Silicon Valley krijgen in toenemende mate kritiek op hun eenzijdige positieve houding tegenover de gevolgen van smartphones, algoritmes en big data. Data en algoritmische voorspellingen zijn handig, maar nooit perfect. Als we deze technologie op grote schaal gaan toepassen is een gezonde dosis (menselijk) gezond verstand op zijn plaats.

Maar het is zeer de vraag of het gezonde verstand de snelheid van veranderingen wel bij kan benen. Terwijl de discussies over de gevaren van blind geloof in data pas net loskomen, gaat het heel hard met smart cities en smart nations. Afgelopen januari presenteerden de Nederlandse grote steden een ambitieuze ‘Smart City Strategie’, waarin vooral dit zinnetje opvalt: ‘De steden willen experimenteerruimte bieden. In “living labs” wordt samengewerkt aan innovaties en stedelijke toepassingen.’ Steden zijn niet meer alleen plekken om fijn te wonen en werken, maar ook laboratoria om proefpersoon te zijn voor precies het soort systeem waar Lacie Pound in Black Mirror genadeloos aan onderdoor gaat.

---

Dit is een bewerkte tekst uit het boek Is daar iemand: Hoe de smartphone ons leven beheerst, van Wouter van Noort, dat deze week verschijnt bij uitgeverij Thomas Rap. Sommige passages stonden eerder in NRC Handelsblad



https://www.groene.nl/artikel/sparte...ivier-van-data

[Nelladella]

Revisor: de knip en plak koning.
Zou hij de kleuterklas gemist hebben?
Zijn er werkelijk mensen die dit knipwerk lezen?
Vragen, vragen...

[Revisor]

Revisor: de knip en plak koning.
Zou hij de kleuterklas gemist hebben?
Zijn er werkelijk mensen die dit knipwerk lezen?
Vragen, vragen...

Wat is het probleem? De lengte van de tekst? Dat ik (interessante) artikelen plaats? Of is mijn intresse het probleem?

[Nelladella]

Een forum is niet bedoeld als kanaal voor mediainfo. Het is een plaats om van gedachten te wisselen.

[Revisor]

Een forum is niet bedoeld als kanaal voor mediainfo. Het is een plaats om van gedachten te wisselen.

Ik denk dat het gebruik van een forum veel breder is.

Je kunt overigens over van alles van gedachten wisselen. Ook over wat ik plaats.

Je kunt zelf ook het goede voorbeeld geven en een topic openen waar jij van gedachten over wilt wisselen.

[Soldim]

Een forum is niet bedoeld als kanaal voor mediainfo. Het is een plaats om van gedachten te wisselen.

Dat kan ook op basis van artikelen. Ik vind dit wel een interessant verhaal. Niet dat ik in allerhande doem scenarios geloof, maar dat bepaalde personen/instanties en bedrijven te veel waarde hechten aan ongecureerde data lijkt mij niet onwaarschijnlijk.