AI: een missionaire technologie
Geachte voorzitter, geachte aanwezigen, in al uw hoedanigheden. Geachte studenten! Het is een eer en groot genoegen hier te mogen zijn, vandaag. Vooral omdat dit voor mij bekend terrein is: een geliefde plek. Ooit volgde ik hier in Tilburg een deel van mijn studie, vanwege mijn belangstelling voor wat toen nog informatisering of automatisering heette. En dan vooral over de gevolgen daarvan voor de overheid, de bureaucratie en de democratie. Ik studeerde bij Paul Frissen en volgde colleges bij Wim van de Donk - die nu uw voorzitter is. Dat ik vandaag opnieuw over dit thema mag spreken – is een voorrecht.
Als eerste in Nederland bood Tilburg University de studierichting informatiekunde aan – al in 1984, ver voor het internet en een tijd waarin een computer thuis nog een zeldzaamheid was. Een universiteit die al in de begin jaren 60’ een IBM computer aanschafte die werd gebruikt door wiskundige, wereldkampioen schaken én hoogleraar Automatische Informatieverwerking, Max Euwe. Kortom, voor innovatie en een frisse blik is en was Tilburg the place to be. Dat geldt ook voor een gezonde dosis activisme. Voor mijn studietijd stond ‘Tilburg’ - toen nog de Katholieke Hogeschool - bekend als een activistische plek. Dan denk ik in het bijzonder aan 18 februari 1969, toen boven de poort van het hoofdgebouw ineens de woorden ‘Karl Marx Universiteit’ geschilderd stonden. Met rode verf uiteraard!
Ik hoop dat die twee facetten - innovatie en activisme - ook het komende collegejaar voelbaar en merkbaar zullen zijn. Want op het gebied van digitalisering is dat hard nodig: innovatie in het onderzoek naar toepassingen van AI ten dienste van brede welvaart en activisme in het beschermen van onze publieke waarden. Publieke waarden die onder druk staan in de digitale wereld, met name door de macht van Big Tech (het grote geld). Daar wil ik het vandaag graag met u over hebben: over de kansen en risico’s van AI - en van generatieve AI in het bijzonder. En wat we daarin concreet kunnen - en gaan - doen: als samenleving en als politiek, zowel in Nederland, in Europa en wereldwijd. Uiteraard heb ik daarbij een stevige oproep aan jullie, aan wetenschappers én aan studenten. Want jullie zijn de generatie voor wie technologie een no brainer is. Mobiel bankieren, social media, coderen, het spreekt vanzelf. En als ik studenten spreek, hoor ik ook dat jullie het belangrijk vinden dat die technologie voor iedereen werkt. Dat iedereen mee kan doen en dat de lusten en lasten eerlijk verdeeld zijn. Ik kom daar straks op terug.
Om een beeld te vormen hoe belangrijk die oproep aan u en jullie is, wil ik eerst toelichten waarom we hierover moeten hebben. En daarvoor begin ik bij een technologie die inmiddels overal is: kunstmatige intelligentie, oftewel AI. Chatrobots en gepersonaliseerde muzieksuggesties op Spotify kunnen het dagelijks leven een beetje makkelijker maken. Er zijn ook computers die menselijk weefsel met algoritmes kunnen onderzoeken en zo longkanker of aangeboren afwijkingen kunnen ontdekken. Of een algoritme dat in een krop sla in de grond ziekten kan opsporen, voordat ze zich verspreiden. Dit zijn zeer wenselijke - en vaak ook ronduit kansrijke voorbeelden.
Maar er is ook een andere kant van de medaille. ‘gewone’ AI - zo noem ik het maar even voor het gemak - brengt namelijk ook enorme risico’s met zich mee. De risico’s waarmee ikzelf oog in oog stond, op een manier die mij diep heeft geraakt: toen ik ouders sprak die slachtoffer waren van de toeslagenaffaire. Zij waren op basis van een AI-risicomodel voor controle ‘eruit gepikt’. Zonder veel aanvullend onderzoek moesten zij – onterecht – vaak duizenden euro’s terugbetalen, met enorme schade voor hen en hun kinderen als gevolg. En het verlies van vertrouwen in een overheid die niet naast, maar tegenover hen stond. En denk ook aan desinformatie en andere schadelijke content waar bijvoorbeeld kinderen aan worden blootgesteld; persoonlijke data die massaal van het internet worden geschraapt, waardoor er van ons allemaal gedetailleerde profielen te koop zijn. En wat te denken van social media verslaving, op basis van zeer effectieve aanbevelingsalgoritmen. Vorige week benadrukte het Sociaal en Cultureel Planbureau nog dat Nederlanders bezorgd zijn over des- en misinformatie en deze zorgen afwegen tegen de vrijheid van meningsuiting. Het fundament van ons hoogste goed: de democratie.
Het gebruik van AI vergroot dus ongelijkheid, leidt tot vaak grote schade en schendt publieke waarden als privacy, veiligheid, transparantie en zelfbeschikking. Dit geldt voor Nederland, maar ook wereldwijd. Problemen die ontstaan op basis van de inzet van nu nog vrijwel ongereguleerde AI. Problemen gecreëerd door de producten en diensten van Big Tech ondernemingen– of in termen van de toenmalige Katholieke Hogeschool: het grootkapitaal. Hun producten gebruiken wij overal voor: thuis met social media en gamesop het werk in allerlei risico-modellen en vooral ook in digitale dienstverlening door bedrijven en overheden. We kunnen er vaak niet meer vanaf of van weg.
Op basis van problemen met deze eerste generaties van algoritmes - en de toepassingen daarvan - is in Europa een heldere behoefte aan regulering ontstaan. Net zoals medicijnen, voeding en auto’s ook eerst getest en goedgekeurd moeten zijn voordat ze op de markt kunnen komen. Europa loopt daarin voorop, en Nederland daarbinnen zeker ook, om deze regelgeving te maken en te implementeren. Dankzij de AVG bewaken we onze privacy. En dankzij de Digital Markets Act en de Digital Services Act zijn er meer regels gekomen voor het beperken van de marktmacht van Big Tech en het beschermen van onze privacy en het tegengaan van desinformatie. Sinds 25 augustus van dit jaar moeten de 19 grootste online platforms en zoekmachines aan de regels van de DSA voldoen. Dit biedt ons de gelegenheid om ook de komende periode platforms kritisch tegen het licht te houden. Als overheid hebben we bij de toepassing van al deze regulering een voorbeeldrol. Daarom zijn we nu als overheid – vooruit lopend op de europese AI verordening - die in vergevorderd stadium is - zo transparant mogelijk over de algoritmen die we gebruiken, en zorgen we dat de wetenschap mee kan kijken en onderzoek kan doen. Met het door ons ontwikkelde algoritmeregister voor de overheid en met de algoritme waakhond – de Autoriteit Persoonsgegevens - loopt Nederland voorop.
Maar let op: toch is dat nog lang niet voldoende. Er is bij de overheid veel meer nodig en daar zal ik straks verder op ingaan. Maar ook de bedrijven die AI ontwikkelen en toepassen moeten aan het werk. Velen beloven mee te werken, maar we zien daar in de praktijk nog bar weinig van. Je zou een vergelijking kunnen trekken met het Klimaatvraagstuk. In de jaren 80 werd dat door de fossiele industrie ontkend, vervolgens gebagatelliseerd en pas decennia later, op basis van geweldig werk van NGO’s en overheden omgezet in harde doelstellingen en een klimaataanpak. Deze patronen zien we in de digitale wereld ook. De verdienmodellen van bijvoorbeeld social media platforms zijn gebaseerd op gedetailleerde profielen van ons allemaal en aanbevelingsalgoritmen: u en ik betalen er niet voor, dus wij zijn het product geworden. En als het gaat om computerprogramma’s of telefoons is vendor lock in – gebondenheid aan de leverancier - aan de orde van de dag. Om maar niet te spreken over ‘de extra hypotheek’, die we met het voor AI benodigde energiegebruik nemen op ons klimaat.
Net nu we meer grip weten te krijgen op dit veelkoppige monster dat AI is, dient met generatieve AI de volgende grote uitdaging zich aan. En laat ik heel duidelijk zijn: die uitdaging is oneindig veel groter, en daar moeten we bliksemsnel en grootschalig actie op ondernemen. Wat mij betreft op basis van een gecoördineerde aanpak op het hoogste niveau – niet alleen in de EU, G7 of G20, maar op mondiaal niveau, dat van de Verenigde Naties. Een gecoördineerde aanpak, vergelijkbaar met de klimaatakkoorden. Gebasseerd op wetenschappelijk inzicht zoals bij klimaat de IPCC. U weet, generatieve AI gedraagt zich niet alleen als een heel slimme rekenmachine, om het maar even veel te simplistisch te zeggen. Generatieve AI rekent niet alleen, maar tekent/ontwerpt/schetst op basis daarvan ook weer iets nieuws. Het is AI die eigen ‘originele’ content produceert: van de teksten van ChatGPT en de afbeeldingen van Dall-E tot muziek, video en zelfs code voor software. Allemaal gebaseerd op ‘large language’ modellen, die gevoed worden met enorme hoeveelheden - al dan niet openbare - data. Het levert boeiende producten op. Er is nu al een bescheiden markt voor digitale kunstwerken, waar geen mens aan te pas gekomen is. En een recent voorbeeld dat ontzettend tot mijn verbeelding sprak, is een nieuw systeem van de Universiteit van Californië. Dat is in staat om met behulp van 250 elektroden en een complex algoritme de woorden letterlijk uit de hersenen van een patiënt te halen. – Let wel: niet gedachten lezen. Inspirerend, ontroerend en werkelijk ongelofelijk, als je het mij vraagt. AI biedt ons daarnaast kansen op het gebied van productiviteitswinst. Saai, administratief werkt behoort straks voor veel beroepen tot het verleden. Kansen ook om de democratie te verversen, eerlijker en rechtvaardiger te maken. Waarbij AI tot een synthese komt van alle stemmen, niet alleen van degenen die het hardste schreeuwen, iedereen dus gehoord wordt. Maar het laat meteen zien hoe ongelofelijk groot de impact van generatieve AI is. Jensen Huang, de CEO van chipmaker Nvidia, noemde Chat GPT ‘het ‘iPhone-moment’ van AI. Generatieve AI toont ons content en digitale producten waar de mens steeds minder bij betrokken is. En dus staat we voor de vraag: is intelligentie nog wel het exclusieve domein is van de mens? Welke – al dan niet ingrijpende – gevolgen heeft deze technologie voor onze samenleving. Voor de manier waarop we leren, werken, kunst maken, schrijven, etc.? En voor de manier waarop we met elkaar omgaan? En als de ontwikkelingen zo snel gaan, dan is een kritische, onderzoekende, houding onontbeerlijk. We moeten de juiste vragen blijven stellen om daarmee ook grenzen te bepalen. Vragen als wie de makers zijn van deze modellen en met welke waarden, uitgangspunten en aannames ze worden ontworpen. Welk effect ze hebben op ons en op onze samenleving hebben, wat ze ons geven en wat ze ons afnemen. De antwoorden op die vragen zijn bepalend in wat we als samenleving en als politiek te doen hebben om deze ontwikkelingen in goede banen te leiden.
Generatieve AI kan volgens consultancybureau McKinsey biljoenen opleveren voor onze economieën, miljoenen banen wereldwijd overbodig maken, een beslissende invloed hebben op onderwijs en wetenschap, kunst en oorlog – of die begrippen zelfs compleet herdefiniëren. Generatieve AI heeft de potentie om talloze terreinen ingrijpend en onherkenbaar, te veranderen. En ik vermoed dat het die potentie gaat waarmaken. Dat is geen theoretisch toekomstbeeld, uit Terminator of The Matrix maar iets dat nu onder onze ogen gebeurt. Om deze technologie te beheersen hebben we niet de tientallen jaren die zaten tussen de opkomst van sociale media en de DSA. Wat staat ons nu te doen? Hoe begeleiden we de kansen zo dat we onze publieke waarden ook bij het gebruik van generatieve AI beschermen. Dat we geen duimbreed toegeven op het gebied van democratie, privacy, zelfbeschikking, transparantie en veiligheid. Dat is nodig. Neem de image generators, zoals Dall-E bijvoorbeeld. Wat zij voortbrengen is een gemiddelde, een amalgaam van beelden uit films en reclame, inclusief alle vooroordelen en stereotypen die daarin hun weerslag vinden. Dat leidt er toe dat een zwarte vrouw een verwrongen gezicht krijgt, of standaard wordt geportretteerd als conciërge, of schoonmaker. Als we willen dat technologie voor iedereen werkt, dan moeten we dat soort patronen ondubbelzinnig kwalificeren als onacceptabel en werken aan waardengedreven alternatieven. Innovatie als streven, maar met grondrechten als harde voorwaarden.
Als we niet met deze risico’s aan de slag gaan, onderwerpen we ons moedwillig aan een gezelschap van een stuk of vier, vijf witte mannen, die oprecht lijken te denken dat hun miljarden bewijzen dat zij weten wat goed is voor de wereld. Dat je de definitie van vrijheid van meningsuiting kunt kopen, als je zakken maar diep genoeg zijn. Neem nu dat al maandenlang gehypete kooigevecht tussen Mark Zuckerberg en Elon Musk. Vergeef me dat ik even de laatste status niet paraat heb. Wel getraind, niet getraind, gaat wel door, gaat niet door, pay per view, etcetera… Het is verleidelijk om er weinig meer in te zien dan een geslaagde grap. Maar het is vooral een treffende illustratie van een heel reëel en ook destructief soort haantjesgedrag. Het soort gedrag dat leidt tot een race to recklessness, waarbij tech-bedrijven zich gedwongen voelen om producten op de markt te brengen die nog niet af zijn, laat staan getest.. Met alle mislukkingen van dien. Een live-demonstratie van een AI chatbot blijkt achteraf een opgenomen video te zijn. En een twitterbot wordt haastig offline gehaald als die binnen een dag of twee de meest waanzinnige expliciete monologen afdraait. Grappig, dit soort mislukkingen.
Ondertussen blijkt de consument proefkonijn te zijn, wij zijn onderdeel van een sociaal experiment. Met heel serieuze gevolgen. Zoals de Belg die recent zelfmoord pleegde op basis van aanbevelingen van een chatbot. Dit, terwijl we wél weten hoeveel calorieën er zitten in een reep chocola, hoeveel CO2 een Volkswagen Golf uitstoot, welk effect een specifiek medicijn kan hebben op onze bloeddruk – want anders, dan komt het niet op de markt. Uitgesloten. Maar wat gebeurt er met generatieve AI? Wie krijgt welke informatie voorgeschoteld – en waarom? De Big Tech ondernemingen zeggen nu al dat wij allemaal niet snappen wat ze doen. En dat we dús ook de regulering aan hen moeten overlaten. Je moet het lef maar hebben… En ze zeggen dat ze binnenkort zelfs met een ‘General AI’ of ‘Artificial General Intelligence’ komen. Met andere woorden: een AI dat intellectueel minimaal hetzelfde kan als de mens.. Het lijkt me niet erg waarschijnlijk. Maar het lijkt me ook nog minder wenselijk. Sterker nog, voor die ontwikkeling mogen we zelfs bang zijn.
Wat zetten wij hier tegenover? Natuurlijk hebben wij als kabinet de werkagenda waardengedreven digitalisering uitgewerkt. Waarin helder staat dat: Iedereen moet kunnen meedoen in de digitale wereld. Iedereen kan de digitale wereld vertrouwen, zich veilig kan weten. Iedereen moet controle hebben over zijn of haar digitale leven. En met een voorbeeldrol voor de overheid. Wat mij betreft in de nabije toekomst: met een minister voor digitale zaken de koers aanhoudt om van Nederland een digitale koploper te maken..
Maar dat is natuurlijk niet het enige. We zullen deze grote ontwikkeling - met de talloze kansen en risico’s die op ons afkomen - samen moeten aangaan. En dat vraagt dus ook veel van onderwijs, wetenschap en bedrijfsleven. Op alle niveaus: Nederland, Europa en de wereld. In Europees verband, met de AI-verordening bijvoorbeeld, waar wij een actieve rol in spelen, en ook breder internationaal. Waarbij voor onze samenleving wetgeving en beleid ‘zilver’ is, maar het toezicht het daadwerkelijk ‘goud’. Daar heb ik mij de afgelopen 1,5 jaar dan ook sterk voor gemaakt. In Nederland, maar ook bijvoorbeeld op techfestival South by Southwest in Austin Texas en tijdens de Asia-Tech-conferentie in Singapore. We maken immers allemaal gebruik van dezelfde software, dezelfde sociale media en dezelfde chatbots.
Omgaan met AI draait ook om zorg dragen voor een eerlijke verdeling van lusten en lasten. Laten we niet vervallen in het historische patroon, waarbij vooruitgang bestaande verschillen en barrières vergroot. De logistiek medewerker in het pakhuis die zich in het zweet werkt, nauwelijks rond kan komen en beperkt naar de wc mag. En de eigenaar die een toeristische ruimtevlucht maakt in zijn eigen raket, en dan de mensen in het pakhuis bedankt dat zij dit mogelijk hebben gemaakt. In het verlengde daarvan ligt eerlijke concurrentie. Startups, ook Europese en Nederlandse startups, verdienen een eerlijke kans. We moeten werken aan waardengedreven verdienvermogen. IT’ers schermen graag met de romantische verhalen over Jobs en Wozniak, die al knutselend in een Californische garage het fundament legden van het grootste bedrijf ter wereld. Maar de werkelijkheid van de AI-revolutie is dat de techreuzen van nu de Apple’s van de toekomst uit de markt drukken. Daarom is het belangrijk ook ruimte te maken voor open source technologie en voor public commons – zoals Wikipedia. En ook voor publieke large language models. Om onze en de Europese soevereiniteit te ondersteunen. Digitale middelen en ontmoetingsplaatsen die voor iedereen toegankelijk zijn, gebaseerd op publieke waarden. Als overheid hebben we al een stap gezet en gebruiken we nu ook Mastodon voor onze communicatie. En in het land ondersteunen we financieel zogenoemde pub hubs, een veilige en vertrouwde online omgeving beheerd door publieke organisaties en hun eindgebruikers. Serieus werk maken we ook van het beschermen van kinderrechten in de digitale wereld. Daarbij zetten we vol in op enerzijds het vergroten van kennis bij jongeren en hun ouders, anderzijds op grenzen aan de producten en diensten die Big Tech aan kinderen mogen aanbieden. Deze lijn moeten we voortzetten.
Deze universiteit draagt met tros het motto: Understanding society. En daarom sta ik hier nu voor jullie als toehoorders: voor veel antwoorden heeft de overheid de wetenschap ontzettend hard nodig. Daarbij sluit ik me aan bij de visie van SURF, de coöperatieve vereniging van Nederlandse onderwijs- en onderzoeksinstellingen op het gebied van informatie- en communicatietechnologie: Investeer in onderzoek, in de digitale fundamenten van dat onderzoek en bescherm de kernwaarden van het internet. Ook hier in Tilburg wordt baanbrekend onderzoek verricht, bijvoorbeeld naar de ethische aspecten van AI in een militaire context, waarbij steeds de interactie tussen de mens en AI centraal staat. Waar digitalisering als de nieuwe grondplaat voor de samenleving wordt gezien. En men bewust is dat mensen door digitalisering veranderen, dus ook het onderzoeksobject der sociale wetenschappen: de menselijke samenleving en het gedrag van individuen binnen die samenleving. Gelukkig onderzoeken we ook al heel veel op EU-niveau, bijvoorbeeld via de test- en experimenteerfaciliteiten van het Digital Europe Programme. En in Sevilla is onlangs het European Centre for Algorithmic Transparency geopend, oftewel ECAT. De wetenschappers van ECAT zullen samenwerken met vertegenwoordigers uit de academische wereld, het bedrijfsleven en maatschappelijke organisaties om het begrip van algoritmen te verbeteren. Waar we naar zouden moeten streven, is een internationaal centrum dat het onderzoeken, testen én reguleren van AI op zich neemt. En ik vind eigenlijk dat Nederland de aangewezen plek is om zo’n centrum te huisvesten. Misschien wel specifiek in hier Tilburg. Maar de rol van de wetenschap gaat zoveel verder dan het onderzoeken van AI. Ook het opzetten van publieke large language models is er onderdeel van. En ik begrijp dat Tilburg University ook studenten voorbereid op een toekomst met AI. Schrijven met AI, onderzoek doen met AI - het is ontzettend belangrijk om vroeg te leren.
Afgelopen januari verscheen in The New York Times het artikel How the Dutch are taming big tech. Daarin werd Nederland bestempeld tot gidsland. Een erkenning voor onze inzet voor privacy en publieke waarden. Door diepgravende assessments uit te voeren op producten en diensten – als tekstverwerkers, social mediaplatforms en headsets voor de meta-verse – gaan we na wat er met data gebeurt, waarom bepaalde content wordt getoond, en of kinderen afdoende zijn beschermd. Is dat niet het geval, dan gaan we met bedrijven in gesprek en eisen we verbeteringen. David versus Goliath, werd het genoemd. Een vergelijking waar ik niet geheel gelukkig mee ben. Ik wil Big Tech namelijk niet neerhalen, of verslaan, ik heb niet werkelijk de ambitie om met die jongens in zo’n kooi te gaan staan. Wat ik wel wil, is big tech temmen. Inzicht krijgen in de werking van hun producten en die in overeenstemming brengen met onze waarden. Stimuleren van innovatie én reguleren. Zoals we dat doen bij medicijnen of voeding. En dat is heel goed toepasbaar op de AI-diensten van big tech. Hoewel we als Kabinet nu demissionair zijn, geloof ik dat de weg die we zijn ingeslagen de juiste is. En ik hoop ook dat deze weg zal worden voortgezet. AI is immers niet demissionair. Dat de houding die we aannemen ten aanzien van big tech, en de methoden die we nu al inzetten om producten en diensten te reguleren, ook de houding en de methoden zijn om AI in te dammen. Want tegenover al die onzekerheden, die talloze vragen en dilemma’s, daar kunnen wij iets tegenoverstellen. Iets dat een stuk minder veranderlijk is, en minder onvoorspelbaar: onze grondrechten en onze waarden. En, ook niet onbelangrijk, het vermogen om af te dwingen dat producten en diensten hiermee in overeenstemming zijn.
Geachte aanwezigen, laat ik eerlijk zijn: ik ben natuurlijk best trots dat een krant als de NYT ons uitroept tot gidsland. Maar eigenlijk betekent die boodschap dat we nog zo ontzettend veel werk te doen hebben! Want we staan nog maar aan het begin van onze taak om AI vooral in ons voordeel te gebruiken. En als we nu verslappen, laten we - zogezegd - de technologie over ons heen lopen. Dus laten we allemaal - studenten, onderzoekers, bestuurders, ondernemers - een actieve houding aannemen. Laten we nieuwe technologie omarmen, temmen en mooier maken! Ontwikkel jullie een eigen language model, creëer een AI test faciliteit, waar niet allen technologische, maar ook ethische maatschappelijke vraagstukken worden meegewogen. Doe onderzoek naar de consequenties en experimenteer met nieuwe toepassingen en regulering van (generatieve) AI. Laten we AI inzetten voor de wereld die we graag willen en een planeet die we willen koesteren, in plaats van een wereld die ons door een handjevol mensen wordt opgedrongen. Met een gezonde balans tussen de kansen van producten en de rechten en belangen van consumenten en burgers. En laten we uw en jullie positie gebruiken om nog meer gidsland te worden en dat te blijven. Laten we de samenwerking tussen uw universiteit en de overheid versterken.
Beste studenten, haal daarom dit jaar het allerbest uit jezelf. Ik hoop dat dit jaar jullie nieuwsgierigheid, optimisme én jullie activisme aangewakkerd wordt.
Docenten en onderzoekers,
Voor jullie wil de overheid graag een betrouwbare en waardevolle partner zijn en onderzoek mede mogelijk maken. Met onze Nederlandse wetenschappelijke cultuur en onze sterke drang tot ontdekken en onderzoeken zijn we koplopers. We zijn een kenniseconomie, een hoog gedigitaliseerd land. Nederland heeft alles in huis om thought leader te zijn en een cruciale rol te spelen in het vormgeven van de mondiale digitale toekomst. Laten we koplopers blijven. Laten we doorpakken. Zoals de beroemde Franse denker Voltaire zijn satirische verhaal Candide afsloot: il faut cultiver notre jardin Waarmee hij bedoelde: iedereen kan in zijn eigen omgeving werken aan een betere wereld en daar geluk en voldoening uithalen. Dus laten we doen wat binnen onze mogelijkheden ligt om verandering en verbetering in de digitale wereld te brengen. Want het is steeds meer ónze tuin, ónze ontmoetingsplaats, onze publieke ruimte. En niet de speeltuin van een handjevol worstelende tech miljardairs.
Ik wens u allemaal een mooi collegejaar toe, vol kansen, vol innovatie en met een flinke dosis activisme! Ik dank u wel!
(gesproken woord geldt)