Compte rendu : "Algorithmes - Vers un monde manipulé | ARTE"

Ce briefing examine le documentaire "Algorithmes - Vers un monde manipulé" produit par ARTE, explorant l'impact omniprésent et souvent insidieux des algorithmes sur notre quotidien, la société et les individus.

Le film présente plusieurs cas d'étude et témoignages soulignant les risques liés à l'utilisation non réglementée et biaisée de l'intelligence artificielle et des systèmes algorithmiques.

Thèmes principaux :

L'omniprésence et l'opacité des algorithmes dans la vie quotidienne :

Les algorithmes sont partout et influencent des décisions cruciales (lecture, achats, prêts, relations) sans que nous en ayons conscience.

La discrimination et les biais algorithmiques :

Les algorithmes peuvent perpétuer et amplifier les préjugés humains présents dans les données d'entraînement, entraînant des discriminations basées sur l'apparence, l'origine géographique, la nationalité, le milieu social, etc.

L'utilisation des algorithmes pour la surveillance et l'exploitation :

Les algorithmes sont utilisés par les entreprises et les gouvernements pour surveiller, classer et contrôler les individus, souvent à leur insu et au détriment de leur vie privée et de leurs droits.

La "déqualification" du travail et la précarisation des travailleurs :

Les algorithmes et l'automatisation sont utilisés pour réduire le contrôle des employés sur leur travail, augmenter la productivité au profit des entreprises et rendre les travailleurs plus interchangeables.

L'influence des algorithmes sur la perception et la santé mentale :

Les algorithmes des plateformes en ligne sont conçus pour maximiser le temps d'écran, potentiellement en poussant les utilisateurs vers des contenus nuisibles ou en renforçant des bulles de filtre isolantes, avec des conséquences sur la santé mentale, en particulier chez les jeunes.

Le capitalisme de surveillance :

Le modèle économique de nombreuses plateformes en ligne repose sur la collecte et la vente de données personnelles, transformant les utilisateurs en produits et limitant leur libre arbitre.

Le pouvoir des entreprises de la tech et les défis de la régulation : Les grandes entreprises technologiques disposent d'un pouvoir économique et politique considérable, rendant difficile leur régulation et leur responsabilisation, notamment par le biais de lobbying intense et de l'opacité de leurs systèmes.

La nécessité de la transparence, de la responsabilité et d'une approche plus inclusive dans le développement des algorithmes :

Pour contrer les effets négatifs des algorithmes, il est essentiel d'augmenter la transparence de leurs fonctionnements, d'établir des mécanismes de responsabilité et d'impliquer une diversité d'expertises dans leur conception.

Idées et faits les plus importants :

Le scanner corporel à l'aéroport :

L'exemple de Sacha, une personne transgenre signalée comme "anormale" par un scanner corporel à l'aéroport, illustre la façon dont les algorithmes peuvent discriminer les individus en raison de leur apparence physique, si celle-ci ne correspond pas aux normes établies par la base de données d'entraînement. "Le scanner considère Sacha comme un danger uniquement en raison de son apparence Parce qu’elle est transgenre elle ne passe pas."

Viogène en Espagne :

Le système d'évaluation du risque de violence conjugale, Viogène, bien que conçu pour aider la police, a montré ses limites en sous-évaluant le danger pour des victimes, avec des conséquences tragiques comme le cas d'Itsiar.

Le fait que l'algorithme ignore des preuves manifestes de danger et l'opacité de ses critères de décision sont soulignés.

"Sur les 35 questions une seule concerne l’appréciation du risque par Macarena elle-même Est-ce qu’elle croit que son conjoint serait capable de la tuer est-ce que sa réponse sera prise en compte par l’algorithme les policiers l’ignorent C’est un secret des développeurs."

Parcoursup en France :

Le système d'admission à l'enseignement supérieur, Parcoursup, basé sur des algorithmes, est critiqué pour son opacité et les biais potentiels qui favorisent les étudiants issus de lycées réputés au détriment de ceux issus de milieux défavorisés.

L'accès payant à de l'aide pour naviguer le système aggrave les inégalités.

"Cela signifie que l’effort fourni par Intissar pour décrocher le baccalauréat a été inutile Sa candidature était vouée à l’échec parce qu’elle habite une banlieu à faible revenu."

La loi obligeant à rendre publics les algorithmes ayant un impact sur la vie des citoyens est contournée par la règle du "secret des délibérés".

Les petites mains de l'IA (micro-travail) :

Le documentaire révèle que derrière les systèmes d'IA apparemment automatisés se cache un travail humain souvent mal rémunéré et précaire.

Des personnes dans les pays en développement créent et étiquettent les vastes bases de données utilisées pour entraîner les algorithmes, souvent sans protection des travailleurs.

"Pour un salaire de misère ils produisent les jeux de données mis en œuvre pour l’apprentissage des algorithmes."

Le vol de salaire est courant sur ces plateformes.

Les biais culturels dans les bases de données d'images :

La base de données ImageNet est montrée comme un exemple de la manière dont les préjugés culturels peuvent être intégrés dans les algorithmes.

Des catégories de classification d'êtres humains sont jugées "bizarres" et potentiellement discriminatoires (ex: classer une personne comme "incurable", "hypocrite", "mauviette").

"Pour Image Net les collaborateurs chargés de la classification doivent décider si l’humain pris en photo est un hypocrite ou une mauviette L’algorithme n’a pas seulement appris les catégories à partir de la base de données mais il a aussi intégré de nombreux préjugés."

L'historique des pseudo-sciences comme la physionomie et la phrénologie est évoqué pour souligner que ces tentatives de classification des humains basées sur l'apparence ont toujours été utilisées pour justifier l'injustice.

L'influence de YouTube et l'anorexie :

Le témoignage de Marie montre comment les algorithmes de recommandation de YouTube, conçus pour maximiser le temps d'écran, peuvent pousser les utilisateurs vers des contenus potentiellement dangereux, comme des régimes extrêmes liés à la K-pop, conduisant à des troubles alimentaires comme l'anorexie.

"Les algorithmes de YouTube ont appris que les vidéos qui suscitent la peur et la dépression chez le spectateur maintiennent les utilisateurs devant leur ordinateur Un client dépressif est donc un client fidèle de YouTube."

La surveillance des employés chez Amazon :

Amazon utilise des algorithmes pour surveiller en temps réel l'activité de ses employés dans les entrepôts, mesurant leur productivité et identifiant les "temps d'inactivité".

Cela conduit à une pression constante et une déshumanisation du travail.

"Les algorithmes calculent pour chaque employé s’il fait perdre de l’argent à Amazon."

Le licenciement de Timnit Gebru chez Google :

Le cas de Timnit Gebru, scientifique spécialisée dans l'éthique des algorithmes, renvoyée de Google après avoir co-rédigé un article critique sur les biais dans les modèles de langage, illustre la difficulté de soulever des questions éthiques au sein des grandes entreprises de la tech et la centralisation du pouvoir.

"L’un des sujets de notre article porté sur les données d’entraînement de l’intelligence artificielle

Lorsque les modèles de langage sont entraînés à partir de données provenant d’Internet les gens pensent qu’il y en a beaucoup et qu’il y aura différents points de vue

Mais en fait Internet n’a pas beaucoup de points de vue différents Certaines voix sont supprimées d’autres sont mises en avant

Par exemple des femmes sont harcelées des personnes persécutées Donc si on se contente d’entraîner l’intelligence artificiel avec cela on obtient un point de vue qui est très raciste sexiste et hostile aux handicapés et bien d’autres choses encore."

Le scandale des allocations familiales aux Pays-Bas : Ce cas majeur a révélé qu'un algorithme utilisé par l'administration fiscale pour détecter la fraude a identifié à tort des dizaines de milliers de familles, souvent d'origine étrangère ou néerlandaise avec une double nationalité, comme fraudeurs potentiels.

Cela a eu des conséquences désastreuses pour ces familles (dettes, saisies, séparations d'enfants).

L'opacité de l'algorithme et la destruction de dossiers sont soulignées.

"Il est possible que les autorités fiscales aient intégré la nationalité comme élément indicateur d’une fraude dans l’algorithme Ainsi l’algorithme à identifier tout citoyen n’ayant pas la nationalité néerlandaise comme fraudeur potentiel ainsi que les néerlandais ayant une double nationalité."

Des dessins et emails racistes trouvés dans les documents de fonctionnaires soulignent les préjugés humains qui peuvent influencer l'utilisation des algorithmes.

La prévention policière basée sur les algorithmes dans les écoles :

L'utilisation d'algorithmes comme Dirias pour identifier de potentiels auteurs de violences dans les écoles, basé sur des comportements "suspects", est critiquée. Ces systèmes tendent à surestimer le risque et peuvent mener à des interrogatoires policiers d'enfants qui n'ont commis aucun délit, basés sur de simples soupçons.

"Des algorithmes cherchent à empêcher les crimes avant qu’il ne soient commis."

La loi antiterroriste suisse de 2021 autorise des assignations à résidence basées sur de simples soupçons, sans preuves de délit, et le fichage des personnes "dangereuses" souvent à leur insu.

La centralisation du pouvoir et les inégalités numériques :

Le documentaire met en garde contre la concentration du pouvoir entre les mains de quelques grandes entreprises technologiques et l'augmentation des inégalités numériques, où les personnes vulnérables sont les premières à subir les conséquences négatives des technologies non matures.

"Partout dans le monde nous constatons que l’intelligence artificielle est d’abord conçue pour des populations vulnérables qui n’ont pas les moyens de se défendre si elles estiment avoir été accusé à tort par exemple ou si on leur a attribué un score de risque qui ne correspond pas à la façon dont elles pensent devoir être traitées On ose imposer des technologies non matures à des populations vraiment vulnérables."

Les tentatives de régulation et les défis du lobbying :

Les efforts de l'Union européenne pour réguler les entreprises de la tech par le biais de lois comme le Digital Markets Act et le Digital Services Act sont présentés.

Cependant, l'intense lobbying des entreprises de la tech, qui dépensent des sommes considérables pour influencer la législation, pose un défi majeur.

"En tant que présidente en charge des technologies numériques Vestagger a présenté en avril 2021 un projet de loi visant à réguler l’intelligence artificielle

Le projet répartait les systèmes algorithmiques en quatre classes de risque." Les entreprises financent également des recherches scientifiques pour les mettre à leur service.

La nécessité de la responsabilité et du consentement : Le film souligne que la responsabilité de l'utilisation des algorithmes incombe aux humains qui les développent et les utilisent.

L'idée d'un "modèle technologique consensuel" est proposée, où les utilisateurs donneraient leur consentement concernant leurs données et leurs interactions avec la technologie.

"Il faut s’interroger sur la pertinence de jeux de données créé par des humains d’une grande diversité culturelle et travaillant dans des conditions indignes."

"L’intelligence artificielle n’est jamais purement technique Elle est aussi sociale politique culturel Elle est aussi en lien avec l’histoire Et qui étudie la société qui étudie la politique ou l’histoire ce ne sont pas des ingénieurs Il faut impliquer davantage de personnes issues d’autres disciplines."

En résumé, le documentaire "Algorithmes - Vers un monde manipulé" dresse un tableau critique de l'impact croissant des algorithmes, mettant en lumière les risques de discrimination, de surveillance, d'exploitation et de manipulation, souvent au détriment des populations les plus vulnérables.

Il souligne l'urgence d'une meilleure régulation, d'une plus grande transparence et d'une approche plus éthique et inclusive dans le développement et l'utilisation de l'intelligence artificielle.

Note de Synthèse : Audition de MM. Serge Abitbol et Tancrède Dewe par la Commission d'Enquête sur TikTok

Contexte de l'Audition : L'audition a pour objectif d'éclairer la commission d'enquête sur les effets psychologiques de TikTok sur les mineurs. Les intervenants sont les co-auteurs du livre "Le temps des algorithmes".

Présentation des Intervenants :

• Serge Abitbol : Sans compte TikTok, ayant présidé une commission sur les réseaux sociaux ("mission Facebook") en 2019 (rapport préfigurant certains aspects du DSA), co-auteur de "Nous sommes les réseaux sociaux" (2022). Déclare n'avoir aucun intérêt public ou privé de nature à influencer ses déclarations.
• Tancrède Dewe : Sans compte TikTok ni Facebook, ayant un site web personnel qu'il administre. Déclare n'avoir aucune action TikTok. Met en question la formulation restreinte de la question de la commission, suggérant qu'il s'agit plus largement des effets des plateformes de diffusion de vidéos et du "web symétrique" ou "web 2.0".
• Principaux Thèmes et Idées Clés :
• Nature et Algorithmes de TikTok :
• TikTok est basé sur le partage de vidéos courtes, de plus en plus utilisées pour l'information et comme moteur de recherche, particulièrement par les jeunes.
• TikTok utilise principalement des algorithmes de recommandation (pour proposer du contenu aux utilisateurs) et de modération (pour bloquer certains contenus). Il existe aussi des algorithmes pour la publicité.
• L'algorithme de recommandation de TikTok est réputé pour son efficacité à cerner les goûts des utilisateurs en analysant leur comportement (visionnage, likes, recherches, etc.). Cette compétence est vue comme un avantage stratégique majeur pour l'entreprise.
• TikTok dans le Paysage Numérique et Géopolitique :
• TikTok est un réseau social globalement classique qui imite les modèles américains (Facebook, Instagram).
• Sa principale particularité est de ne pas être américain, ce qui le place au centre d'un conflit commercial (avec les plateformes US) et géopolitique.
• Pour les États-Unis, TikTok représente la perte d'un monopole critique dans le secteur des réseaux sociaux.
• Pour les Européens, la question est le contrôle des données personnelles par un pays (Chine) potentiellement non ami, d'autant plus que les lois chinoises (comme le Cloud Act américain) permettent l'accès du gouvernement à ces données.
• Il est souligné que les données européennes des réseaux sociaux américains (Meta, Google) sont également accessibles par le gouvernement américain via le Cloud Act.
• Citation (Serge Abitbol) : "pour les Européens la question c'est de voir toutes ces masses de données personnelles dans un réseau social on met plein de données personnelles... sous le contrôle d'un pays qui n'est pas forcément amis".
• D'un point de vue européen, avoir des alternatives aux réseaux américains pourrait ne pas être une mauvaise chose pour la souveraineté numérique, bien que les réseaux sociaux ne soient pas considérés comme aussi stratégiques que les OS, le cloud ou l'IA.
• Le marché chinois est également très fermé aux entreprises américaines (Google, Facebook).
• TikTok et les Jeunes :
• TikTok est le réseau social le plus populaire chez les enfants et jeunes adolescents.
• Il est devenu un moyen d'information prioritaire et un moteur de recherche pour cette tranche d'âge.
• Sa popularité auprès des enfants confère une "énorme responsabilité" à la plateforme, car elle influence leur formation identitaire et leur caractère.
• Il existe des "effets négatifs qu'on mesure mal" sur la psychologie des jeunes, nécessitant des études plus poussées. Les intervenants ne sont pas spécialistes de ces effets mais soulignent la nécessité d'auditionner des psychologues et psychiatres.
• Les plateformes sociales ne sont pas naturellement enclines à révéler leurs problèmes internes (référence à l'affaire Frances Haugen / Facebook Files).
• Fonctionnement des Algorithmes de Recommandation et Conséquences :
• Les algorithmes de recommandation sélectionnent les contenus présentés à l'utilisateur parmi des millions, jouant un rôle éditorial crucial.
• Ces algorithmes visent à plaire à l'utilisateur pour le fidéliser et monétiser son attention. Ils privilégient les informations récentes, liées au cercle d'amis, générant des réactions, ou intéressant l'utilisateur.
• Les critères exacts sont un "secret industriel" et sont "extrêmement instables", pouvant changer fréquemment.
• Bien que les biais soient initialement "à votre bénéfice", ils finissent par devenir des "choix éditoriaux commerciaux voire politiques de la plateforme".
• Conséquence majeure : L'effet de bulle, qui enferme l'utilisateur dans ses préférences et limite l'ouverture à d'autres perspectives.
• Problème de perception : Contrairement à la consommation d'un journal politique dont on sait qu'il est biaisé, l'utilisateur a l'impression que le contenu présenté par un réseau social est "universel", alors qu'il est fortement personnalisé et biaisé selon ses propres goûts et comportements sur la plateforme.
• Exemple : Une légère curiosité pour la théorie de la Terre plate peut entraîner une inondation de vidéos platistes, renforçant l'erreur sans que l'utilisateur en ait conscience.
• Le "Web Symétrique" ou "Web 2.0" et ses Implications :
• Le "web symétrique" (incluant réseaux sociaux, microblogage, plateformes vidéo) a aboli la dissymétrie émetteur/récepteur du "web 1.0". Auparavant, seuls les "savants ou puissants" (politiques, enseignants, clergé) pouvaient s'adresser à une foule. Désormais, "tout le monde peut parler et tout le monde peut entendre ce que tout le monde dit, et de plus, n'importe quand".
• Ce changement radical a des conséquences majeures :
• Partage de connaissance sans précédent : Exemple de Wikipédia, 100 fois plus grande que les encyclopédies traditionnelles.
• Bouleversement des institutions politiques : Difficulté de concevoir une démocratie représentative dans un monde où chacun peut s'exprimer directement. Le rôle du représentant politique est transformé.
• Effets secondaires négatifs / Appels à une réflexion éthique et à un contrôle :Changement de statut de l'injure : L'injure ou l'accusation sans preuve n'est plus limitée à un cercle restreint (ex: un bar) mais peut atteindre le monde entier. Certains théorisent l'inutilité de l'action judiciaire, la sanction venant du "peuple".
• Absence de contrôle des messages passés : Une fois un contenu publié (ex: une vidéo d'adolescence), il est presque impossible de le supprimer définitivement car il peut être copié et rediffusé (exemple de la vidéo sur le Nutella).
• Risque de logorrhée : La facilité de publication encourage la production massive de contenu, souvent de faible qualité (comparaison avec Racine).
• Tendance à parler de soi : Quand on n'a rien d'autre à dire, la facilité est de raconter sa propre vie, ce qui est souvent inintéressant. Cela reflète un mode d'expression centré sur la première personne.
• Risque de captation de données personnelles : Contrairement au premier web (géré par le W3C), le web symétrique est géré par des entreprises privées dont le modèle économique repose sur l'exploitation des données personnelles.
• Les utilisateurs partagent de nombreuses données sans s'en rendre compte (nom, comportement, localisation, connexions, etc.).
• Même des informations apparemment anecdotiques (redoubler sa terminale, avoir des angines à répétition, visiter un lieu religieux, lire un auteur spécifique) sont statistiquement très informatives et peuvent révéler la position politique, les croyances, la sexualité, etc., avec une très forte probabilité, surtout en les croisant.
• Citation (Serge Abitbol) : "des études... montrent qu'avec une énorme probabilité mais pratiquement 100 % on arrive à des gens qui sont très actifs on arrive à détecter leur position politique leurs croyances religieuses leur sexualité et cetera on on arrive à des choses très très fines en croisant toutes les informations".
• Ces données sont très utiles et achetées par les employeurs, vendeurs, églises, partis politiques, etc.
• Alternative possible : Un modèle payant (quelques euros par mois) pourrait générer le même profit sans revendre les données personnelles.
• Manipulation Politique et Contrôle de Contenu :
• TikTok a dans le passé bloqué des contenus désapprouvés par les autorités chinoises (ex: soutien aux Ouïghours), bien qu'ils aient fait marche arrière sous la pression. Il est probable qu'ils limitent au minimum la propagation de tels contenus, ce qui est une forme d'éditorialisation.
• ByteDance (maison mère de TikTok) a développé en Chine un système de notation sociale, non proposé en Europe/US car interdit (ex: par l'AI Act), mais qui montre la nature de l'entreprise.
• Distinction des Termes : Algorithme, Machine, Humain :
• Il est important de distinguer "algorithme" (méthode de calcul, suite finie de règles) de "machine" ou "ordinateur". Les algorithmes sont conçus par des humains et existent depuis longtemps. Les ordinateurs exécutent ces algorithmes.
• La confusion entre algorithme et machine peut donner l'impression fausse que les machines sont totalement autonomes.
• Les humains interviennent dans les algorithmes : en les programmant, en les modifiant (ils sont instables et mis à jour en permanence), et parfois en validant les décisions (ex: fermeture de compte).
• Citation (M. Dewe) : "Je comprends pas du tout cette opposition je comprends pas du tout cette opposition entre humain d'un côté et algorithme de l'autre s'il y a humain d'un côté ce qu'il y a de l'autre côté c'est machine c'est ordinateur".
• Cependant, face à l'énorme volume de contenu (ex: million de vidéos par jour sur TikTok), il est impossible de se passer des ordinateurs pour des tâches comme la modération.
• Régulation et DSA :
• Les intervenants saluent l'existence du Digital Services Act (DSA) comme une étape positive.
• Préoccupation majeure : L'application et le contrôle du DSA. Il est douté que la Commission européenne seule à Bruxelles puisse y parvenir efficacement.
• Recommandation : Une intervention plus directe des États membres est nécessaire, en particulier des "pays de destination" où les effets sont le plus ressentis, plutôt que de concentrer la responsabilité sur l'"état d'origine" (souvent l'Irlande).
• La régulation doit se concentrer sur l'obligation pour les plateformes d'avoir des "comportements responsables". Le DSA est une première étape.
• Alternatives au Modèle Actuel des Réseaux Sociaux :
• Il est erroné de croire que le modèle dominant (Facebook, Instagram, TikTok) est la seule façon d'avoir des réseaux sociaux.
• Ce modèle impose un silo où l'utilisateur est passif, n'a aucun choix sur la modération ou la recommandation, et est traité comme une "marchandise".
• Idée d'amélioration : Redonner aux utilisateurs le contrôle de leur destin, leur permettre d'avoir des choix en matière de modération et de recommandation.
• Problème de concentration et d'interopérabilité : Le modèle actuel crée d'énormes concentrations de pouvoir et empêche l'interopérabilité (on doit être sur la même plateforme pour communiquer).
• Solutions techniques existantes : Des technologies comme ActivityPub permettent l'échange d'informations entre réseaux sociaux. Le législateur pourrait encourager leur adoption.
• Méthodologie des Études sur les Effets Psychologiques :
• L'adjectif "addictif" doit être employé avec rigueur, sur la base de travaux scientifiques solides.
• Il faut se méfier des "études pseudoscientifiques" ou "fake news" qui présentent des biais idéologiques et peuvent être méthodologiquement erronées (exemple de l'étude retirée liant écrans et autisme). Il faut se concentrer sur des études qui démontrent réellement les difficultés psychologiques.
• Conclusion Provisoire : L'audition met en lumière la complexité de TikTok en tant que plateforme numérique au carrefour d'enjeux technologiques (algorithmes sophistiqués et instables), sociaux (popularité chez les jeunes, effets potentiels sur la psychologie et l'identité), économiques (modèle basé sur la captation de données) et géopolitiques (conflit US/Chine, souveraineté européenne). Les intervenants soulignent la nécessité d'une régulation efficace, bien que complexe à mettre en œuvre, et appellent à une réflexion sur des modèles de réseaux sociaux alternatifs, plus respectueux des utilisateurs et moins concentrés. Ils mettent également en garde contre l'emploi imprécis des termes techniques et la nécessité d'études scientifiques rigoureuses pour évaluer les effets psychologiques. La part humaine dans la conception et la modification des algorithmes est réaffirmée face à la perception d'une autonomie totale des machines.

Appréhender le côté "machine" de l'outil n'est pas toujours facile pour les enfants qui ont tendance à voir les robots comme des amis au même titre qu'un camarade humain.

pas tant a posteriori que récursif ou itératif : norme-adopte-norme