Le blog d'éconoclaste
On dit maljournalisme, c'est ça ?
J'aime pas trop le terme. Mais là, honnêtement, je vois pas quoi dire d'autre.
Une dépêche nous explique qu'une étude de Bruno Suchaut, de l'IREDU, conclue que le bac est une loterie, tant les écarts de notation sont grands pour une copie soumise à plusieurs correcteurs.
Il y a quelques années, quand je corrigeais encore cette fumisterie cet examen qui signe le passage à l'âge adulte et émeut le grands-mères assure quelques euros de plus aux heureux lauréats, l'inspecteur nous explique un jour que suite à des tests effectués en SES montrant des écarts de notes aberrants pour une même copie corrigée, on souhaite s'assurer qu'il n'en va pas de même à l'épreuve de gestion du bac STT. On nous donne donc des photocopies de 4 copies test, non encore corrigées pour l'examen et on nous demande de les noter. Résultat, au maximum, deux ou trois points d'écart. Ca peut paraître conséquent. Et ça l'est. Mais c'était faible, en réalité. Aucune harmonisation n'avait eu lieu (c'est-à-dire un commentaire du barème question par question pour s'entendre ce qui vaut un point là ou zéro, ou 0,5). Nous l'avions justement réalisée après avoir corrigé les copies, notamment sur leur base. Et bon, une photocopie de copie, ben, j'ai beau être fair play sur ce genre d'expériences, je la corrige pas pareil... Une fois l'harmonisation faite, j'avais pour ma part vu ma note corrigée se rapprocher de la moyenne des autres sur la même copie. C'était le cas de la plupart des collègues éloignés de la moyenne. Si je me souviens bien, sur 4 copies, avant l'harmonisation, j'avais un écart moyen à la moyenne d'un point environ et très important sur une seule copie, en raison d'une seule question où j'avais été trop dur par rapport aux réponses réellement attendues. Très heureux, l'inspecteur est reparti en considérant que tout allait bien. Et, de fait, je crois que ça allait assez bien.
Si l'on suit la dépêche citée, le bac serait une loterie. Fort de mon expérience, je vais donc un peu perplexe sur le site de l'IREDU. Et je lis le début de l'étude. Trop facile. Page 2, je lis :
"Après un bref rappel des conclusions des travaux sur la notation des élèves, ce texte rendra compte d’une expérimentation menée dans 2 académies sur des copies de baccalauréat en sciences économiques et sociales (S.E.S.) soumises à la correction d’un large échantillon de professeurs."
Je cherche toujours la mention de ce petit détail dans la dépêche : la supposée loterie porte sur une matière dans une filière. Et ce n'est pas nécessairement la plus simple à tester. Bref, rassurez vous, la loterie, si elle existe réellement, n'est pas généralisée.
Pour le reste, je n'ai que parcouru quelques pages du document. Je me garderai bien de porter un jugement sur l'étude. Quoi qu'il en soit, avant de tirer des conclusions générales, on ferait bien de regarder du côté d'autres matières. Toute seule, celle-ci ne veut quasiment rien dire, si ce n'est qu'il y a là un sujet intéressant et visiblement récurrent en SES (mais j'ai cru comprendre que d'autres matières n'étaient pas épargnées, du fait de l'étrange conception de l'harmonisation des critères de notation).
Je ne trouve pas choquant qu’il y ait de grosses différences sur certaines copies de bac suivant le correcteur. Attention, je ne dis pas que cela est normal, mais je ne pense pas que cela soit vraiment préjudiciable. Pour avoir corriger de nombreuses copies, la “philosophie” du bac est davantage de sanctionner les élèves qui n’ont vraiment rien fait de l’année et qui n’ont absolument pas le niveau d’une classe de terminale. Les copies de ces élèves se repèrent très vite et sont santionnées par de mauvaises notes. Après disons que les écarts sont quand même souvent en faveur des élèves, et c’est vrai que les correcteurs ont pour consigne de vite récompenser la copie dès qu’il y a quelque chose qui ressemble à une bonne réponse…Ce qui est souvent injuste aux yeux de certains profs, 2 candidats, 1 qui a fait 2 pages de calculs pour démontrer un résultat rigoureusement aura la même évaluation qu’un petit malin qui sera parti du résultat et aura trouvé 2 calculs plus ou moins foireux pour faire une démo en 2 min. Certains correcteurs n’accepteront pas de récompenser le malin et d’autres considèreront que pour être malin il faut avoir compris un minimum le cours et que c’est l’objectif du bac (du moins annoncé par les commissions d’harmonisation) …
Et, c’est vrai que de plus en plus d’élèves en sont conscients et commencent à protester en criant injustice dès qu’ils ont écrit un semblant de réponse si ils ne sont pas récompensés.
Dijon, le 13 mars 2008
Alain Debrabant
I.P.R. de Sciences Economiques et Sociales
Académie de Dijon
Françoise Paindavoine-Toulot
Professeur de Sciences économiques et sociales
Lycée Hippolyte Fontaine
21000 Dijon
Pascal Parmantier
Professeur de Sciences économiques et sociales
Lycée Pontus de Tyard
71100 Chalon sur Saône
MISE AU POINT SUITE A L’ARTICLE DE BRUNO SUCHAUT :
La loterie des notes au bac
Un réexamen de l’arbitraire de la notation des élèves
Bruno Suchaut
Irédu-CNRS et Université de Bourgogne
Mars 2008
Un chercheur malhonnête en mal de sensationnalisme
Le Bac n’est pas une loterie
Les données fournies par Bruno Suchaut dans son article sont des données qu’il s’est appropriées mais il n’a en aucun cas construit le protocole scientifique de son article.
Revenons à la réalité et au contexte dans lequel ces données lui sont parvenues.
En juin 2005 Alain Debrabant : IPR de l’Académie de Dijon a commandé à Françoise Paindavoine-Toulot et à Pascal Parmantier l’animation d’un stage concernant la problématique de l’évaluation au bac afin d’harmoniser nos pratiques (construction d’une grille de correction commune et socialisation à l’évaluation).
Les deux enseignants en SES ont dès le mois de septembre débuté une réflexion sur l’organisation de ce stage.
Afin de préparer les collègues à la problématique de l’évaluation nous leur avons fait parvenir dès le mois d’octobre 3 copies de bac ( notées respectivement : copie 1 : 10 copie 2 : 8 et copie 3 : 14)
Les collègues devaient corriger et nous renvoyer les notes (ou une fourchette de notes) et des appréciations beaucoup plus complètes que celles mises sur les copies de bac.
Nous avons consigné toutes les notes dans un tableau et résumé (le chercheur n’a pas eu accès aux appréciations in extenso) toutes les appréciations dans un autre (14 pages en format word) ; ce qui nous a demandé un travail très important.
Début janvier 2006 nous avons fait parvenir le tableau récapitulatif des notes à Bruno Suchaut pour qu’il puisse en faire un traitement statistique (moyenne, note modale, écart-type, laxisme – sévérité des correcteurs…) et pour qu’il intervienne le mardi 24 janvier 2006 à l’IUFM.
Son intervention, de qualité, a duré une heure, il nous a présenté ses conclusions sur les notes et surtout a remis dans un contexte historique et sociologique la problématique de l’évaluation au bac. En revanche, nous avons disséqué les appréciations puisqu’il ne les possédait pas in extenso.
En septembre 2007 , Alain Debrabant souhaitant continuer la réflexion de l’évaluation au bac dans l’académie de Besançon a proposé aux collègues de Besançon de se mettre en contact avec Françoise Paindavoine – Toulot, pour bénéficier de tous les documents du stage de janvier 2006 et elle a proposé aux collègues de contacter le chercheur.
Nous regrettons :
M.Suchaut assimile copie de bac et notation au bac. Les notes qu’il a utilisées pour sa démonstration ne sont pas des notes de bac qui auraient été données à Dijon. Le stage en question ne visait qu’à corriger 3 copies de bac (au lieu de 50 à 70 en juin), en janvier 2006 (donc sans enjeu pour les élèves concernés qui avaient passé leur bac en juin 2005), avec des collègues dont certains étaient peu expérimentés. L’objectif final était justement de limiter les écarts de note pour la session suivante. Ce stage a d’ailleurs débouché sur des améliorations de la grille de notation habituellement utilisée dans l’académie.
Il n’a pas pris la peine de se renseigner sur les procédures en vigueur au moment de la correction du bac. Une commission d’entente a d’abord lieu pour définir des critères communs de correction. Une commission d’harmonisation se réunit ensuite (procédure internet depuis la session 2007) en milieu de correction pour éviter les écarts manifestes entre correcteurs. Elle est l’occasion de relire des copies en commun et d’éventuelles rectifications de notes. Dans ces conditions, on ne peut pas et on ne doit pas tirer de conclusion définitive sur le déroulement et les résultats de l’examen à partir d’une expérience réalisée durant un stage.
Enfin, M.Suchaut a utilisé les résultats de notre travail sans jamais en avoir demandé l’autorisation et à des fins qui n’ont rien à voir avec l’objectif de notre stage. Il se trouve que le document en question (tableau des notes des 34 correcteurs de l’académie 1 selon l’article), établi par nos soins, était à usage interne et n’a même pas été diffusé à tous les professeurs de SES.
Nous ne sommes pas des néophytes en matière de sociologie scolaire
Nous avons lu les travaux sérieux d’E.Chatel, de P.Merle et bien d’autres (dont des études fort intéressantes de l’IREDU) donc nous ne pouvons accepter la désinvolture de M.Suchaut. De tels travaux sont de nature à discréditer une discipline de l’enseignement secondaire mais également la recherche universitaire Nous sommes interpellés et nous interrogeons quant à la valeur de cet article de recherche prenant les atours d’un article à sensation
Nous ne prétendons pas arriver à une notation parfaite (la « vraie » note) le jour du bac mais nous sommes trop sensibles aux enjeux de cette notation pour les élèves et leurs familles pour ne pas travailler à l’amélioration de notre évaluation.
Au cours des échanges courriels, tout au long de cette période nous n’avons pas eu d’informations sur les intentions du chercheur de publier un article à partir de nos données et du travail que nous avons effectué (et qui avait demandé un travail très important)
Mise au point
Bruno Suchaut n’a absolument pas participé à la construction du protocole des 3 stages.
Bruno Suchaut par ses méthodes décrédibilise la recherche en sociologie et l'IREDU qui n'ont rien à voir avec de telles méthodes:
Il prend une information
Il manipule cette information
Il analyse cette information à des fins incertaines
Il s’est approprié le travail d’autrui pour tirer des conclusions expéditives stigmatisant une profession et fragilisant une institution majeure du système éducatif.
Le déroulement exact de l'avant stage
M. Suchaut n'a pas collecté les 3 copies de bac, n'a pas écrit aux collegues participants au stage afin qu'ils corrigent les copies, n'a pas la liste des collègues et c'est par le canal de notre hiérarchie que les copies sont parvenues aux collègues, il n'a pas collecté et depouillé toutes les notes et appréciations.
Il n'a pas participé à l'organisation du stage et à l'originalité de sa conception.
Il est intervenu une heure ( 1/4h compte rendu sur les notes et syntheses d'appréciation fournies par nos soins avant le stage) et 3/4 d'heure sur la mise en perspective de l'évaluation ( historique...)
Il ne nous a jamais demandé l'autorisation de travailler, à son échelle, sur les données collectées par nous mêmes.
L'objectif de nos stages est d'ameliorer entre nous notre socialisation à l'evaluation ( et nous y parvenons). Notre exercice était sorti du contexte réel du bac.
Nous regrettons cette imposture intellectuelle, nous regrettons que notre travail ait pu être repris à des fins incertaines et qui n'engage que ce "chercheur".
La méthode est choquante.
C’est à partir de telles campagnes médiatiques de désinformations que le peuple perd son temps à discuter de choses qui ne le méritaient pas en fait.
Nous avons tous perdu du temps pour vérifier cette étude qui s’avère donc être une huitre creuse, si on en croit le document précédent.
La désinformation et l’incompétence ont encore de beaux jours devant eux.
Il restera encore pas mal de monde pendant pas mal de temps à retenir que cette étude montrait effectivement que la note du bac était une lotterie…
La rumeur restera malgré les faits.