Document de Synthèse : Le « Teaching and Learning Toolkit » de l'EEF – Décodage d'une Plateforme d'Épreuves Scientifiques pour l'Éducation
Résumé Exécutif
Ce document de synthèse analyse les interventions et les données présentées lors du séminaire en ligne de l'OCDE (projet Evidence Web for Education), consacré au Teaching and Learning Toolkit développé par l'Education Endowment Foundation (EEF), le centre britannique « What Works » pour l'éducation en Angleterre.
L'accès à la recherche en éducation est aujourd'hui freiné non par un manque de données, mais par des barrières de lisibilité, des coûts d'accès (paywalls) et un survolume d'études menant à une sélection biaisée des données (« cherry-picking »).
Pour y répondre, l'EEF a structuré un outil de synthèse systématique continue appuyé sur plus de 5 000 études réparties en 30 thématiques.
Synthèse des Chiffres et Faits Clés
| Indicateur | Valeur / Impact | | --- | --- | | Adoption par les chefs d'établissement en Angleterre | 70 % l'utilisent pour guider leurs décisions | | Mention dans les rapports d'allocation financière (Pupil Premium) | Présent dans environ 80 % des déclarations d'investissement | | Volume de preuves synthétisées | Plus de 5 000 études issues de plus de 100 pays | | Périmètre d'âge des apprenants | Actuellement de 2 à 18 ans (extension prévue de 0 à 18 ans) | | Réseau d'écoles de recherche (Research Schools) | 32 écoles financées en Angleterre pour la mobilisation du réseau | | Versions internationales et traductions | Environ 10 versions contextualisées (Pays-Bas, Flandre, Espagne, Amérique Latine, Pologne, Pays de Galles, etc.) |
1. Le Diagnostic : Surmonter les Obstacles à l'Usage de la Recherche
Selon les travaux de l'OCDE et les analyses présentées par Jonathan Kay (EEF), le monde éducatif dispose aujourd'hui d'un volume de données scientifiques sans précédent.
Néanmoins, leur transfert vers la décision politique et la pratique pédagogique se heurte à des obstacles majeurs :
-
Barrières financières et linguistiques : Contenus verrouillés derrière des paywalls académiques et rédigés dans un jargon complexe.
-
Dispersion des sources : Absence d'un point d'accès centralisé obligeant à consulter de multiples plateformes.
-
Surcharges d'informations et risques de cherry-picking : Lorsqu'il existe plus de 150 études sur un même sujet (comme la rétroaction ou « feedback »), les décideurs risquent de ne retenir que l'étude unique qui confirme leur biais initial.
L'analogie tirée du secteur de la santé souligne qu'il est facile de trouver des études contradictoires (ex. les effets du vin rouge sur le cancer) et d'en extraire uniquement ce qui arrange l'utilisateur.
[Masse d'études scientifiques dispersées (>5000)]
│
▼
[Synthèse Systématique Vivante de l'EEF]
│
▼
[Teaching and Learning Toolkit : 30 Thématiques]
│
▼
[Décisions Pédagogiques & Budgétaires Clarifiées]
2. Architecture et Méthodologie du EEF Toolkit
Le Toolkit fonctionne comme une revue systématique vivante (living systematic review), caractérisée par la transparence, la pré-spécification des critères et une rigueur méthodologique stricte.
Critères d'Inclusion des Études
Pour être intégrée dans le Toolkit, une étude doit respecter des normes précises :
-
Cible : Enfants et élèves âgés de 2 à 18 ans (extension en cours vers la tranche 0–18 ans pour inclure la petite enfance).
-
Cadre : Environnement éducatif réel (exclusion des expérimentations artificielles en laboratoire).
-
Rigueur quantitative : Présence d'un groupe de comparaison (situation contrefactuelle) et mesure quantitative de l'impact sur un résultat cognitif.
(Les études qualitatives sont reconnues comme essentielles pour comprendre l'implémentation, mais l'analyse statistique s'appuie sur les données quantitatives pour calculer un gain de progression en mois).
-
Périmètre géographique : Ouverture aux données mondiales (études issues de plus de 100 pays).
-
Rôle de l'IA : L'intelligence artificielle est utilisée pour appuyer la recherche documentaire et le filtrage initial des critères d'inclusion.
Toutes les étapes de synthèse, de méta-analyse et de rédaction demeurent entièrement prises en charge par des chercheurs humains.
Métriques Clés d'Évaluation
Chaque approche pédagogique figurant sur la page d'accueil du Toolkit est évaluée selon trois indicateurs :
-
Coût : Évaluation du niveau d'investissement financier requis.
-
Sécurité des preuves (Padlock rating / Nombre de cadenas) : Mesure fondée sur la récence des données, la méthodologie, la représentativité en conditions réelles (par opposition aux études fortement pilotées par les chercheurs), la consistance des résultats (homogénéité vs hétérogénéité) et l'indépendance des évaluations.
Par exemple, une approche perd un cadenas si une part importante des études sous-jacentes n'a pas fait l'objet d'une évaluation indépendante, ce qui peut gonfler artificiellement la taille de l'effet.
- Impact moyen : Traduit en mois de progrès académique supplémentaires pour les élèves sur une année scolaire.
Structure d'un Volet Thématique (Strand)
En cliquant sur une thématique (ex. les interventions sur le langage oral / oral language interventions), l'utilisateur accède à un parcours d'information structuré :
-
Définition explicite : Description concrète de la pratique en classe (ex. lecture à voix haute ciblée, discussions autour de livres), détaillant l'action de l'adulte et celle des élèves.
-
Constats clés (Key findings) : Synthèse issue de la méta-analyse mettant en avant les points d'attention immédiats.
-
Efficacité et analyse détaillée (« Behind the Average ») : Décomposition de l'impact moyen selon l'âge/cycle, le vecteur de livraison (technologie numérique, enseignants, assistants d'éducation) et la géographie.
-
Lutte contre les inégalités (Disadvantage gap) : Analyse spécifique de l'impact sur les élèves issus de milieux socio-économiquement défavorisés, cœur de mission de l'EEF.
-
Recommandations d'implémentation : Recommandations pratiques et liens vers d'autres guides (ex. le Guide d'implémentation de l'EEF).
-
Transparence des coûts et limites : Raisons de la perte éventuelle de cadenas de sécurité et liste de programmes payants évalués (ex. NELI - Nuffield Early Language Intervention).
-
Annexes techniques : Accès aux graphiques en forêt (forest plots), aux intervalles de confiance, aux tailles d'effet, aux pondérations et aux résumés d'études originelles (avec liens directs vers la littérature source).
3. Étude de Cas Pratique : Implémentation au Niveau de l'Établissement
Claire Williams (Directrice adjointe à la Alexandra Park Primary School et Directrice de la Alexandra Park Research School) a illustré l'utilisation du Toolkit comme levier de transformation pédagogique à la suite de la crise du COVID-19.
Processus d'Amélioration de l'École (School Improvement Process)
[1. Identification du problème local]
└─ Déficit de communication/langage chez les jeunes enfants (3-5 ans)
│
▼
[2. Consultation du EEF Toolkit]
└─ Analyse du volet « Langage Oral » (Oral Language Interventions)
│
▼
[3. Redéfinition de la priorité pédagogique]
└─ Passage de "Parler plus" à "Améliorer la qualité de la parole structurée"
│
▼
[4. Conception du Plan de Formation Professionnelle]
└─ Déclinaison sur la lecture interactive et les interactions ciblées
│
▼
[5. Changement de pratique & Évaluation en classe]
└─ Observation des interactions adultes/élèves et mesure des progrès
│
▼
[6. Essaimage Réseau]
└─ Déploiement du programme auprès de plus de 50 écoles de la région
Enseignements de l'Expérience d'Alexandra Park :
-
Raffinage de la priorité : Au lieu d'injonctions vagues sur le dialogue en classe, les données du Toolkit ont poussé l'équipe de direction à se concentrer sur la qualité des interactions structurées et leur lien direct avec le programme d'apprentissage.
-
Utilisation combinée des ressources : L'école a couplé les données théoriques du volet avec des programmes évalués sur le terrain comme NELI (Nuffield Early Language Intervention).
-
Mise à l'échelle régionale : La réussite interne a permis à la Research School de concevoir un programme de développement professionnel destiné à plus de 50 écoles partenaires accueillant une forte proportion d'élèves défavorisés.
-
Résultats mesurés : Hausse des niveaux d'écoute, d'attention et de langage chez les enfants de 5 ans (fin de classe de Reception), associée à une montée en compétences de la littératie scientifique chez les enseignants.
4. Transferabilité Internationale et Adaptation Contextuelle
Une question centrale soulevée lors du séminaire concerne la capacité à utiliser un outil conçu pour le système éducatif anglais dans d'autres contextes nationaux.
```
[Preuves Scientifiques Globales (>100 pays)]
│
▼
[Analyse de Sensibilité Quantitativ]
(Constance remarquable des tailles d'effet)
│
▼
[Contextualisation Régionale]
┌─────────────────────────┴─────────────────────────┐ │ │ ▼ ▼ [Traductions Linguistiques] [Adaptations Thématiques] (ex. Espagnol, Polonais, Néerlandais) (ex. Retrait du thème de l'uniforme scolaire si non pertinent) ```
Facteurs de Transferabilité
- Homogénéité des impacts quantitatifs : Les analyses de sensibilité de l'EEF démontrent que les effets moyens enregistrés aux États-Unis (qui concentrent une grande partie des études) sont très proches de la moyenne mondiale.
La théorie du changement d'une intervention (ex. la rétroaction entre un enseignant et un élève) reste similaire à travers les cultures.
-
Nuances d'implémentation : Si le principe pédagogique sous-jacent est transférable, des modérateurs structurels locaux (taille des classes, niveau de formation initiale des enseignants, temps de concertation) influencent le succès de la mise en œuvre.
-
Au-delà de la simple traduction : Il existe une dizaine de versions du Toolkit à travers le monde (ex. Espagne, Amérique latine via SUM, Flandre, Pays-Bas, Pologne, Pays de Galles).
Ces versions ne se contentent pas de traduire le texte : elles adaptent les thématiques aux débats locaux (ex. la question de l'uniforme scolaire est supprimée dans les pays où elle ne constitue pas un sujet de politique éducative).
5. Stratégies de Mobilisation et Évaluation de l'Usage
Un constat partagé par l'EEF et l'OCDE est que l'accès passif à un site web ne suffit pas à faire évoluer les pratiques en classe.
Le Toolkit s'inscrit dans un écosystème global de mobilisation.
Dispositifs de Mobilisation de l'EEF
-
Génération de preuves : Financement d'expérimentations pour combler les lacunes de la recherche.
-
Synthèse : Publication du Toolkit et des rapports de guidage (Guidance Reports).
-
Mobilisation de terrain : Animation d'un réseau national de 32 écoles de recherche (Research Schools) chargées de faire la démonstration pratique des méthodes, d'organiser des formations entre pairs et d'accompagner la mise en œuvre.
Méthodes d'Évaluation de l'Utilisation de la Plateforme
L'EEF combine plusieurs outils pour mesurer la pénétration et la qualité d'utilisation du Toolkit :
-
Analytique Web : Mesure de la fréquentation et des parcours de consultation.
-
Sondages indépendants : Enquêtes auprès des chefs d'établissement (établissant le taux d'usage à 70 %).
-
Échantillonnage des déclarations de dépenses (Pupil Premium) : Analyse d'échantillons aléatoires des rapports publics d'allocation des fonds pour les élèves défavorisés.
Le Toolkit y est cité dans environ 80 % des cas comme justification des investissements stratégiques.
- Recherche sur l'usage de la recherche : Investissements financiers de l'EEF dans des projets de recherche visant à modéliser et comprendre finement les parcours de décision et de changement de comportement chez les enseignants.
Citations Clés
Jonathan Kay (EEF) : _« En éducation, lorsqu'il existe 50 études sur un sujet, le risque est de basculer vers un mauvais usage de la preuve [...] Il est très facile de trouver la seule étude qui soutient la décision que l'on souhaite prendre, ou celle qui contredit la décision que l'on ne veut pas prendre.
Ce que vise le Toolkit, c'est de résoudre ce problème en adoptant une approche de synthèse. »_
Jonathan Kay (EEF) : _« L'accès à la connaissance est une condition nécessaire mais non suffisante pour permettre le changement.
C'est en travaillant directement avec la pratique et en diffusant ce changement par la démonstration, la formation d'école à école et d'autres leviers que nous pouvons obtenir un usage de haute qualité. »_
Claire Williams (Alexandra Park Research School) : _« Le Toolkit nous a vraiment poussés à réfléchir plus attentivement à la fonction de la parole en classe, et au fait que toutes les formes de dialogue ne se valent pas.
Les aspects les plus prometteurs viennent d'interactions structurées, intentionnelles et directement reliées aux apprentissages du programme. »_