Compte rendu : "Algorithmes - Vers un monde manipulé | ARTE"
Ce briefing examine le documentaire "Algorithmes - Vers un monde manipulé" produit par ARTE, explorant l'impact omniprésent et souvent insidieux des algorithmes sur notre quotidien, la société et les individus.
Le film présente plusieurs cas d'étude et témoignages soulignant les risques liés à l'utilisation non réglementée et biaisée de l'intelligence artificielle et des systèmes algorithmiques.
Thèmes principaux :
L'omniprésence et l'opacité des algorithmes dans la vie quotidienne :
Les algorithmes sont partout et influencent des décisions cruciales (lecture, achats, prêts, relations) sans que nous en ayons conscience.
La discrimination et les biais algorithmiques :
Les algorithmes peuvent perpétuer et amplifier les préjugés humains présents dans les données d'entraînement, entraînant des discriminations basées sur l'apparence, l'origine géographique, la nationalité, le milieu social, etc.
L'utilisation des algorithmes pour la surveillance et l'exploitation :
Les algorithmes sont utilisés par les entreprises et les gouvernements pour surveiller, classer et contrôler les individus, souvent à leur insu et au détriment de leur vie privée et de leurs droits.
La "déqualification" du travail et la précarisation des travailleurs :
Les algorithmes et l'automatisation sont utilisés pour réduire le contrôle des employés sur leur travail, augmenter la productivité au profit des entreprises et rendre les travailleurs plus interchangeables.
L'influence des algorithmes sur la perception et la santé mentale :
Les algorithmes des plateformes en ligne sont conçus pour maximiser le temps d'écran, potentiellement en poussant les utilisateurs vers des contenus nuisibles ou en renforçant des bulles de filtre isolantes, avec des conséquences sur la santé mentale, en particulier chez les jeunes.
Le capitalisme de surveillance :
Le modèle économique de nombreuses plateformes en ligne repose sur la collecte et la vente de données personnelles, transformant les utilisateurs en produits et limitant leur libre arbitre.
Le pouvoir des entreprises de la tech et les défis de la régulation : Les grandes entreprises technologiques disposent d'un pouvoir économique et politique considérable, rendant difficile leur régulation et leur responsabilisation, notamment par le biais de lobbying intense et de l'opacité de leurs systèmes.
La nécessité de la transparence, de la responsabilité et d'une approche plus inclusive dans le développement des algorithmes :
Pour contrer les effets négatifs des algorithmes, il est essentiel d'augmenter la transparence de leurs fonctionnements, d'établir des mécanismes de responsabilité et d'impliquer une diversité d'expertises dans leur conception.
Idées et faits les plus importants :
Le scanner corporel à l'aéroport :
L'exemple de Sacha, une personne transgenre signalée comme "anormale" par un scanner corporel à l'aéroport, illustre la façon dont les algorithmes peuvent discriminer les individus en raison de leur apparence physique, si celle-ci ne correspond pas aux normes établies par la base de données d'entraînement. "Le scanner considère Sacha comme un danger uniquement en raison de son apparence Parce qu’elle est transgenre elle ne passe pas."
Viogène en Espagne :
Le système d'évaluation du risque de violence conjugale, Viogène, bien que conçu pour aider la police, a montré ses limites en sous-évaluant le danger pour des victimes, avec des conséquences tragiques comme le cas d'Itsiar.
Le fait que l'algorithme ignore des preuves manifestes de danger et l'opacité de ses critères de décision sont soulignés.
"Sur les 35 questions une seule concerne l’appréciation du risque par Macarena elle-même Est-ce qu’elle croit que son conjoint serait capable de la tuer est-ce que sa réponse sera prise en compte par l’algorithme les policiers l’ignorent C’est un secret des développeurs."
Parcoursup en France :
Le système d'admission à l'enseignement supérieur, Parcoursup, basé sur des algorithmes, est critiqué pour son opacité et les biais potentiels qui favorisent les étudiants issus de lycées réputés au détriment de ceux issus de milieux défavorisés.
L'accès payant à de l'aide pour naviguer le système aggrave les inégalités.
"Cela signifie que l’effort fourni par Intissar pour décrocher le baccalauréat a été inutile Sa candidature était vouée à l’échec parce qu’elle habite une banlieu à faible revenu."
La loi obligeant à rendre publics les algorithmes ayant un impact sur la vie des citoyens est contournée par la règle du "secret des délibérés".
Les petites mains de l'IA (micro-travail) :
Le documentaire révèle que derrière les systèmes d'IA apparemment automatisés se cache un travail humain souvent mal rémunéré et précaire.
Des personnes dans les pays en développement créent et étiquettent les vastes bases de données utilisées pour entraîner les algorithmes, souvent sans protection des travailleurs.
"Pour un salaire de misère ils produisent les jeux de données mis en œuvre pour l’apprentissage des algorithmes."
Le vol de salaire est courant sur ces plateformes.
Les biais culturels dans les bases de données d'images :
La base de données ImageNet est montrée comme un exemple de la manière dont les préjugés culturels peuvent être intégrés dans les algorithmes.
Des catégories de classification d'êtres humains sont jugées "bizarres" et potentiellement discriminatoires (ex: classer une personne comme "incurable", "hypocrite", "mauviette").
"Pour Image Net les collaborateurs chargés de la classification doivent décider si l’humain pris en photo est un hypocrite ou une mauviette L’algorithme n’a pas seulement appris les catégories à partir de la base de données mais il a aussi intégré de nombreux préjugés."
L'historique des pseudo-sciences comme la physionomie et la phrénologie est évoqué pour souligner que ces tentatives de classification des humains basées sur l'apparence ont toujours été utilisées pour justifier l'injustice.
L'influence de YouTube et l'anorexie :
Le témoignage de Marie montre comment les algorithmes de recommandation de YouTube, conçus pour maximiser le temps d'écran, peuvent pousser les utilisateurs vers des contenus potentiellement dangereux, comme des régimes extrêmes liés à la K-pop, conduisant à des troubles alimentaires comme l'anorexie.
"Les algorithmes de YouTube ont appris que les vidéos qui suscitent la peur et la dépression chez le spectateur maintiennent les utilisateurs devant leur ordinateur Un client dépressif est donc un client fidèle de YouTube."
La surveillance des employés chez Amazon :
Amazon utilise des algorithmes pour surveiller en temps réel l'activité de ses employés dans les entrepôts, mesurant leur productivité et identifiant les "temps d'inactivité".
Cela conduit à une pression constante et une déshumanisation du travail.
"Les algorithmes calculent pour chaque employé s’il fait perdre de l’argent à Amazon."
Le licenciement de Timnit Gebru chez Google :
Le cas de Timnit Gebru, scientifique spécialisée dans l'éthique des algorithmes, renvoyée de Google après avoir co-rédigé un article critique sur les biais dans les modèles de langage, illustre la difficulté de soulever des questions éthiques au sein des grandes entreprises de la tech et la centralisation du pouvoir.
"L’un des sujets de notre article porté sur les données d’entraînement de l’intelligence artificielle
Lorsque les modèles de langage sont entraînés à partir de données provenant d’Internet les gens pensent qu’il y en a beaucoup et qu’il y aura différents points de vue
Mais en fait Internet n’a pas beaucoup de points de vue différents Certaines voix sont supprimées d’autres sont mises en avant
Par exemple des femmes sont harcelées des personnes persécutées Donc si on se contente d’entraîner l’intelligence artificiel avec cela on obtient un point de vue qui est très raciste sexiste et hostile aux handicapés et bien d’autres choses encore."
Le scandale des allocations familiales aux Pays-Bas : Ce cas majeur a révélé qu'un algorithme utilisé par l'administration fiscale pour détecter la fraude a identifié à tort des dizaines de milliers de familles, souvent d'origine étrangère ou néerlandaise avec une double nationalité, comme fraudeurs potentiels.
Cela a eu des conséquences désastreuses pour ces familles (dettes, saisies, séparations d'enfants).
L'opacité de l'algorithme et la destruction de dossiers sont soulignées.
"Il est possible que les autorités fiscales aient intégré la nationalité comme élément indicateur d’une fraude dans l’algorithme Ainsi l’algorithme à identifier tout citoyen n’ayant pas la nationalité néerlandaise comme fraudeur potentiel ainsi que les néerlandais ayant une double nationalité."
Des dessins et emails racistes trouvés dans les documents de fonctionnaires soulignent les préjugés humains qui peuvent influencer l'utilisation des algorithmes.
La prévention policière basée sur les algorithmes dans les écoles :
L'utilisation d'algorithmes comme Dirias pour identifier de potentiels auteurs de violences dans les écoles, basé sur des comportements "suspects", est critiquée. Ces systèmes tendent à surestimer le risque et peuvent mener à des interrogatoires policiers d'enfants qui n'ont commis aucun délit, basés sur de simples soupçons.
"Des algorithmes cherchent à empêcher les crimes avant qu’il ne soient commis."
La loi antiterroriste suisse de 2021 autorise des assignations à résidence basées sur de simples soupçons, sans preuves de délit, et le fichage des personnes "dangereuses" souvent à leur insu.
La centralisation du pouvoir et les inégalités numériques :
Le documentaire met en garde contre la concentration du pouvoir entre les mains de quelques grandes entreprises technologiques et l'augmentation des inégalités numériques, où les personnes vulnérables sont les premières à subir les conséquences négatives des technologies non matures.
"Partout dans le monde nous constatons que l’intelligence artificielle est d’abord conçue pour des populations vulnérables qui n’ont pas les moyens de se défendre si elles estiment avoir été accusé à tort par exemple ou si on leur a attribué un score de risque qui ne correspond pas à la façon dont elles pensent devoir être traitées On ose imposer des technologies non matures à des populations vraiment vulnérables."
Les tentatives de régulation et les défis du lobbying :
Les efforts de l'Union européenne pour réguler les entreprises de la tech par le biais de lois comme le Digital Markets Act et le Digital Services Act sont présentés.
Cependant, l'intense lobbying des entreprises de la tech, qui dépensent des sommes considérables pour influencer la législation, pose un défi majeur.
"En tant que présidente en charge des technologies numériques Vestagger a présenté en avril 2021 un projet de loi visant à réguler l’intelligence artificielle
Le projet répartait les systèmes algorithmiques en quatre classes de risque." Les entreprises financent également des recherches scientifiques pour les mettre à leur service.
La nécessité de la responsabilité et du consentement : Le film souligne que la responsabilité de l'utilisation des algorithmes incombe aux humains qui les développent et les utilisent.
L'idée d'un "modèle technologique consensuel" est proposée, où les utilisateurs donneraient leur consentement concernant leurs données et leurs interactions avec la technologie.
"Il faut s’interroger sur la pertinence de jeux de données créé par des humains d’une grande diversité culturelle et travaillant dans des conditions indignes."
"L’intelligence artificielle n’est jamais purement technique Elle est aussi sociale politique culturel Elle est aussi en lien avec l’histoire Et qui étudie la société qui étudie la politique ou l’histoire ce ne sont pas des ingénieurs Il faut impliquer davantage de personnes issues d’autres disciplines."
En résumé, le documentaire "Algorithmes - Vers un monde manipulé" dresse un tableau critique de l'impact croissant des algorithmes, mettant en lumière les risques de discrimination, de surveillance, d'exploitation et de manipulation, souvent au détriment des populations les plus vulnérables.
Il souligne l'urgence d'une meilleure régulation, d'une plus grande transparence et d'une approche plus éthique et inclusive dans le développement et l'utilisation de l'intelligence artificielle.