Selectiviteitsscan: veilige toetsing van algoritmes
PDF downloaded. Selectiviteitsscan: veilige toetsing van algoritmes in Zotero
Selectiviteitsscan: veilige toetsing van algoritmes
PDF downloaded. Selectiviteitsscan: veilige toetsing van algoritmes in Zotero
Casus UWV-algoritmeAls toepassing van de Selectiviteitsscan heeft het UWV een selectie-algoritme door het CPB laten toetsen: de Sollicitatiescan WW. Dit algoritme helpt bij het selecteren van dossiers die medewerkers bekijken om te beoordelen of iemand extra ondersteuning nodig heeft bij het solliciteren. De analyse laat zien dat bij zowel het algoritme als de medewerkers de groepssamenstelling in de selectie verschilt van een neutrale referentiegroep. In de referentiegroep heeft 37% een migratieachtergrond; het algoritme komt uit op 38% en medewerkers op 43%. Bij elk selectieproces zijn enige verschillen te verwachten, en in dit geval zijn die bij het algoritme kleiner dan bij medewerkers. De Selectiviteitsscan laat zien dát er verschillen zijn; het is aan de eigenaar van het algoritme om verschillen te duiden en rechtvaardigen.
De testcasus ging om UWV gegevens, algo lag dichter bij neutraliteit dan de medewerkers zelf, maar niet geheel neutraal. UWV is zelf aan zet om te bedenken of ze iets met de uitkomsten moeten.
Het is daarom belangrijk om te controleren of deze algoritmes bepaalde groepen niet benadelen. Dat is nu vaak lastig, omdat organisaties gevoelige gegevens, zoals leeftijd of migratieachtergrond, niet kunnen gebruiken. De Selectiviteitsscan biedt hiervoor een oplossing. Organisaties uploaden hun selectie naar de beveiligde microdataomgeving van het CBS, waar een onafhankelijke partij de analyse doet. De organisatie krijgt alleen de uitkomsten te zien; de gevoelige persoonsgegevens blijven volledig afgeschermd.
Ah, it uses the CBS protected data working environment (also for the DGA). This means the debiasing is not done without personal data but without the organisation concerned seeing that data. Third party testing basically, with CBS being that party.
CPB heeft selectiviteitsscan ontwikkeld om bias in algo's te checken zonder daarvoor persoonsgegevens te hoeven gebruiken.
Białek, Michał, Ethan Andrew Meyers, Patricia Arriaga, Damian Harateh, and Arkadiusz Urbanek. ‘COVID-19 Vaccine Sceptics Are Persuaded by pro-Vaccine Expert Consensus Messaging’. PsyArXiv, 14 January 2022. https://doi.org/10.31234/osf.io/kgsy3.
Abel, M., Byker, T., & Carpenter, J. (2020). Socially Optimal Mistakes? Debiasing COVID-19 Mortality Risk Perceptions and Prosocial Behavior. IZA Discussion Paper, 13560.
Lewandowsky, S., Ecker, U. K. H., Seifert, C. M., Schwarz, N., & Cook, J. (2012). Misinformation and Its Correction: Continued Influence and Successful Debiasing. Psychological Science in the Public Interest, 13(3), 106–131. https://doi.org/10.1177/1529100612451018
Kamorowski, J., de Ruiter, C., Schreuder, M., Ask, K., & Jelicic, M. (2020, April 16). Forensic Mental Health Practitioners’ Use of Structured Risk Assessment Instruments, Views About Bias in Risk Evaluations, and Strategies to Counteract It. https://doi.org/10.31234/osf.io/te5c2