Public Value Benchmarking
Een dynamisch beoordelingskader voor AI-tools op basis van publieke waarden
AI wordt steeds vaker ingezet binnen publieke instellingen. Dat biedt grote creatieve kansen. Maar ook brengt ook grote ethische vragen met zich mee. Hoe verhouden deze tools zich tot onze publieke taak? Welke risico’s nemen we? En hoe leggen we die keuzes uit aan het publiek?
Met Public Value Benchmarking (PVB) ontwikkelen we een manier om AI-tools te beoordelen vanuit publieke waarden. Niet met een simpel ja/nee-oordeel, maar met een systeem dat nuance zichtbaar maakt en discussie mogelijk maakt. Zo ontstaat een gezamenlijke taal om over AI te spreken.
Waarom dit project nodig is
De huidige beoordelingskaders voor AI schieten vaak tekort. Ze zijn:
- Te generiek — onvoldoende afgestemd op de specifieke rol en verantwoordelijkheid van publieke instellingen
- Te binair — ja/nee-vragen doen geen recht aan de complexiteit van de keuzes
- Te onduidelijk— het is moeilijk om afwegingen inzichtelijk en uitlegbaar te maken
Dat is lastig want we hebben te maken met razende technologische ontwikkelingen. Big tech domineert de markt, gelukkig komen er steeds meer alternatieven, publieke waarden staan onder druk en organisaties maken noodgedwongen onvolledige keuzes.
Public Value Benchmarking wil daar een alternatief voor bieden.
De huidige beoordelingskaders voor AI schieten vaak tekort
Wat is Public Value Benchmarking?
Public Value Benchmarking is een beoordelingskader dat AI-tools vergelijkt op basis van negen publieke waarden.
Elke waarde wordt gescoord op een schaal van 0 - niet best- naar 4 - stuk beter-. Hierbij kijken we ook naar de context waarin een tool wordt gebruikt. Het is belangrijk om te onthouden dat een scoren niet staat voor definitef goed of definitief slecht. Het doel is om inzicht te krijgen in de afwegingen die worden gemaakt.
Het resultaat is een matrix die publieke waarden zichtbaar, bespreekbaar en vergelijkbaar maakt. Zo kunnen organisaties beter onderbouwde keuzes maken over welke AI-tools zij inzetten en kunnen uitleggen welke keuzes ze hebben gemaakt.
De negen publieke waarden
Transparantie
Relevante informatie over een tool moet beschikbaar zijn om deze te kunnen beoordelen.
Inclusiviteit en non-discriminatie
Bias en uitsluiting moeten worden voorkomen.
Intellectueel eigendom
Auteursrechten van derden en van de organisatie zelf moeten worden beschermd.
Milieu-impact
De ecologische impact van AI-gebruik moet zo laag mogelijk zijn.
Nauwkeurigheid
Resultaten moeten zo correct mogelijk zijn, en het moet duidelijk zijn wanneer dat niet het geval is.
Privacy
Gevoelige gegevens van partners, publiek en instellingen moeten beschermd worden.
Mensgerichtheid
De mens heeft een rol in het proces. Human-in-the-loop.
Menselijkheid
AI mag niet leiden tot schadelijke gedragssturing, en de arbeidsomstandigheden in de hele keten moeten goed zitten.
Digitale soevereiniteit
Hoe dichter data-opslag en infrastructuur bij de organisatie liggen, hoe groter de controle over toegang en continuïteit.
Hoe werkt het?
Public Value Benchmarking volgt vier stappen:
1. Identificeer de tool
Welke software, welk model en welke aanbieders zitten achter de toepassing?
2. Bepaal het gebruiksscenario
Wordt de tool intern gebruikt of bereikt het publiek? Worden er gevoelige gegevens gedeeld? Gaat het om beeld, tekst, audio of analyse?
3. Score op publieke waarden
Afhankelijk van de toepassing worden één of meerdere schalen gebruikt om te scoren. Elke waarden krijgt een eigen score.
4. Vergelijk en kies
Door verschillende tools naast elkaar te leggen ontstaat een onderbouwde keuze.
Belangrijk: PVB kijkt naar hoe een tool is ontworpen en ingezet — niet naar hypothetisch misbruik. Net zoals een hamer bedoeld is om spijkers te slaan, maar ook verkeerd gebruikt kan worden.
Een levend document
Public Value Benchmarking is geen statisch model. Het kader evolueert met nieuwe inzichten, wetgeving en technologische ontwikkelingen.
Informatie over AI-systemen is nu vaak moeilijk te verkrijgen. Het proces om die informatie te verzamelen lijkt soms op onderzoeksjournalistiek. Daarom pleiten we ook voor meer transparantie en regelgeving die bedrijven verplicht openheid te geven over hun technologie.
Door het kader continu te actualiseren bouwen we aan een gedeelde dataset en een netwerk van organisaties die publieke waarden centraal stellen in hun AI-keuzes.
Wat willen we bereiken?
Met Public Value Benchmarking willen we:
- Reflectie en discussie stimuleren binnen en tussen organisaties
- AI-tools beter vergelijkbaar maken
- Verantwoord gebruik van AI mogelijk maken, voor zover mogelijk..?
- Een gemeenschappelijke taal ontwikkelen om over AI te spreken
We hebben de afgelopen maanden een basis gelegd voor Public Value Benchmarking. Door te onderzoeken, testen en herdefiniëren zijn we tot een eerste versie gekomen. De komende maanden gaan we de schalen verder uitwerken en maken we een begin met en database.
Blijf op de hoogte van testmomenten, updates en nieuwe inzichten via de website, onze LinkedIn en de nieuwsbrief.
Wil je meer weten over dit onderwerp of samenwerken op dit thema? Mail dan d.steenbeek@vpro.nl