Chi verifica le verifiche?

L'esperto

È uno di cui vi fidate. Ogni volta che trovate il suo nome, leggete fino in fondo, non cambiate canale. È uno di quelli che ne capiscono. Soprattutto, è uno di quelli che sanno citare i dati, che non sparano sentenze a capocchia. L'esperto è affidabile.
Finché un giorno, per caso, l'esperto si mette a parlare di qualcosa che conoscete anche voi. Anche se voi della vita non conoscete molto, pure c'è sempre qualcosa di cui la vita finisce per rendervi esperti, a volte vostro malgrado. Ed ecco che questa persona, che stimate tantissimo, di cui non vi perdete un intervento, per la prima volta vi sembra un po' fuori tono. Distratto, quasi superficiale. Magari è una coincidenza. O è solo la prima volta che ve ne accorgete? Potete fidarvi ancora di lui?

Domenica sulla Repubblica Tito Boeri ha pubblicato un lungo intervento sulla prova Invalsi, che qui viene ricopiato pari pari, con tutte le obiezioni che mi sono venute in mente a una prima, una seconda, una terza lettura. Quello che segue è dunque un pezzo molto lungo, che parla di una cosa un po' specifica, smettete pure di leggere quando vi va.

Il costo della rivolta contro i test Invalsi
Solo a settembre sapremo quali sono le conseguenze della "rivolta" contro i test Invalsi nelle scuole superiori, quanti esami sono stati consegnati in bianco, quanti studenti hanno disertato le prove.
Sapremo anche quanti docenti hanno permesso che i loro studenti copiassero gli uni dagli altri, rendendo il test di apprendimento del tutto inutile. Ma è tempo già ora di organizzare la rivolta di coloro che pagheranno il costo di queste "agitazioni": i docenti, a partire da chi si è visto invalidare il test sulla propria materia da un collega che magari non li ha neanche informati della sua intenzione di boicottare l'esame, gli studenti e le loro famiglie.

Solo a settembre sapremo... sicuri? Questo è uno di quei problemi statistici che non ho mai capito. Se i dati sono stati raccolti male, come faremo a sapere che i dati sono stati raccolti male? Dai dati? Ma sono stati raccolti male. Oddio, laddove un'intera classe abbia messo le stesse crocette sugli stessi pallini, non sarà difficile immaginare un boicottaggio. Ma dove hanno messo i pallini a caso, con in media il 25% di possibilità di azzeccare comunque il quesito? E dove l'insegnante in sede di spoglio dopo aver compilato diligentemente una quindicina di tabulati, ha sbroccato e ha messo a caso l'altra quindicina? A settembre lo sapremo? Ce ne accorgeremo? Mah.

La rivolta contro l´invalidazione degli Invalsi dovrebbe andare ben al di là della difesa di queste prove. Come tutti i test, anche gli Invalsi sono perfettibili [...]

Ecco, i test sono perfettibili. Tre anni che sento dire questa cosa: tante grazie, siamo tutti perfettibili. La Venere di Milo è perfettibile. Don Seppia è perfettibile. La prova Invalsi è senz'altro nell'insieme delle cose perfettibili, ma dopo tre anni che viene svolta, e pubblicata, sarebbe anche ora di cominciare a porci il problema: come possiamo renderla un po' più perfetta di così? Quand'è che cominciamo a discutere nel merito dei quesiti che vengono posti, delle risposte che vengono imposte? Ne vogliamo parlare? O vogliamo continuare ad accettare in blocco la prova così com'è, con la scusa che è perfettibile?

[...] a partire dalle modalità con cui vengono svolte e valutate le prove. Ci devono essere ispettori che controllino che agli studenti non venga permesso di copiare e i risultati devono essere valutati da docenti diversi da quelli degli allievi che hanno sostenuto la prova, che hanno tutti gli incentivi a far fare bella figura ai propri studenti.

Gli ispettori. In tutte le classi. Professor Boeri, ha fatto il calcolo di quanti ispettori servirebbero? Quante classi elementari fanno il test (e lo devono fare tutte nello stesso orario)? Quante prime e terze medie? Quante classi superiori? Dove li troviamo tutti questi ispettori, e come li paghiamo? Ma soprattutto, una volta assoldate queste decine di migliaia di ispettori (probabilmente dai bassifondi delle graduatorie) chi è che si assicura della loro correttezza e professionalità? Bisognerà mandare ispettori degli ispettori a ispezionare gli ispettori... oppure si fa una prova a campione. Ecco, se si fa una prova a campione (ad es. una classe per istituto) ha senso mandare gli ispettori. Ma se davvero volete somministrare un test a livello nazionale, non avete scelta: l'unica rete di funzionari presente sul territorio è la classe docente. Siamo noi. Se volete fare la prova Invalsi, dovete convincerci. Pagandoci, per esempio. Oppure motivandoci in qualche altro modo. Finora avete provato con le minacce. A settembre vedrete se ha funzionato. Forse.

Bisognerebbe, al contempo, raccogliere informazioni sugli studenti assenti alle prove in modo tale da dissuadere gli istituti dall'incoraggiare assenze selettive degli studenti con le performance peggiori.

Sì. Ha un senso. Un po' poliziesco, ma posso capire. Non ci avevo ancora pensato, Boeri sì (a questo servono gli esperti): quando il sistema andrà a regime, le scuole cominceranno a competere furiosamente tra loro, ed evitare che gli studenti peggiori partecipino alla prova nazionale sarà per molte una questione di vita e di morte. Non resta che imporre un apparato poliziesco..

A questo punto i risultati dei test potrebbero essere resi pubblici, scuola per scuola senza timore di fornire segnali fuorvianti alle famiglie. Che devono comunque chiedere alle scuole informazioni aggiuntive rispetto ai test. Ad esempio, nell'era di Internet ogni docente dovrebbe affiggere sulla pagina web della scuola una nota in cui descrive a grandi linee come intende organizzare il programma di insegnamento e illustrare i propri metodi didattici e criteri di valutazione.

Ma per carità, sono d'accordo. Nell'era di Internet, invece di stampare il programma su una fotocopia e allungarlo al genitore (che lo smaltirà nel primo cestino di carta straccia sulla strada di casa), si può sbattere tutto questo materiale on line, con un bel risparmio di foreste. Però non è che prima dell'“era di internet” i programmi degli insegnanti fossero un segreto di Stato, eh. C'è da dire che un insegnante che sa “descrivere a grandi linee” il suo programma e i suoi metodi didattici su una pagina web (o su una fotocopia) non è necessariamente un bravo insegnante, e se ne rendono conto subito tutti: genitori, studenti, colleghi, il prof stesso. La differenza tra saper insegnare e saperla raccontare, a scuola, è enorme. All'università le cose vanno già diversamente. Così l'idea che un genitore possa scegliere una scuola sulla base della paginetta di presentazione dell'insegnante, ecco, è come dire... un po' accademica.

Il nostro sistema scolastico permette alle famiglie, soprattutto nelle grandi città, di scegliere la scuola a cui iscrivere i propri figli. Ci sono vincoli in questa scelta, ma molto meno che in altri paesi, dove l'iscrizione è dettata unicamente dalla residenza.

Altri Paesi. Quali? Perché? In questi non meglio precisati Paesi l'iscrizione è vincolata “unicamente dalla residenza”. In Italia da cosa altro è vincolata?

Questa maggiore possibilità di scelta dovrebbe fondarsi su informazioni adeguate sul valore aggiunto offerto dai diversi istituti alla formazione di chi si prepara per il mondo del lavoro. Invece paradossalmente in Italia ci sono meno informazioni che altrove sui contenuti formativi dei programmi didattici, sugli sbocchi professionali e sull'accesso all'università dei diplomati nei diversi istituti.

Anch'io sono convinto che “altrove” le cose vadano meglio, però non sarebbe male sapere dov'è questo “altrove”, e cosa fanno loro di meglio rispetto alle brochures informative e ai POF dei nostri istituti che, ne sono sicuro, sono perfettibili. Ma qual è il punto? I POF sono poco visibili? (Nell'“era di internet” di solito sono la prima cosa che una scuola mette on line). Stanno diventando tutti uguali? Per forza: sono il settore in cui vanno a incidere i tagli. Una scuola che metteva nel POF la madrelingua, se non ha più soldi per pagarla deve toglierla dal POF; la scuola che teneva aperti tutti i pomeriggi per corsi di potenziamento, ai primi tagli ha dovuto togliere i corsi dal POF. E così via.

A cosa si deve questo paradosso? 

Ai tagli, per esempio.

Ci sono sicuramente barriere di natura ideologica ad ogni tipo di valutazione svolta dall'esterno. C'è poco da argomentare contro i pregiudizi. 

No, l'ideologia no. Sul serio. Non c'è nulla di meno ideologico della resistenza alle prove invalsi. Gli insegnanti non vogliono essere precettati per svolgere un censimento sulle conoscenze dei loro alunni che avrà ripercussioni sul loro reddito e sulla reputazione dell'istituto dove lavorano, e l'ideologia in tutto questo c'entra poco o nulla. Il boicottaggio non l'ha promosso il sindacato trotzkista (ma neanche la Cgil), il boicottaggio lo ha fatto l'insegnante del quartiere svantaggiato che ha paura che lo giudichino inferiore a uno omologo del quartiere non svantaggiato perché è in ritardo col programma (chiamalo fesso).

Bene ricordare un vecchio adagio popolare: "se non ti poni il problema di misurare una cosa, significa che quella cosa per te non ha alcun valore". Chi non vuole misurare la qualità dell'istruzione, non assegna alcuna importanza alla scuola.

Io quell'adagio popolare, giuro, non l'ho mai sentito (in compenso potrei incartare chili di baci perugina con proverbi del tipo: il sapere non si pesa, la cultura non si misura, l'essenziale è invisibile agli occhi eccetera eccetera. Ma lasciam perdere).

C´è poi il rifiuto dei test standardizzati. Molti docenti ritengono che solo loro siano in grado di definire parametri di valutazione adeguati, che tengano conto della specificità del loro programma di insegnamento. La ragione ultima, talvolta inconsapevole, di queste obiezioni è che chi viene valutato vorrebbe sempre costruirsi il proprio test. Quelli standardizzati servono proprio ad evitare che i docenti scelgano di adottare criteri di valutazione favorevoli ai propri studenti, dunque a se stessi. E permettono di svolgere comparazioni del livello di apprendimento prima e dopo l'operato di un docente, oltre che fra classi e scuole diverse.

Non fa una piega. Il problema è che per permettere tutte queste comparazioni i test invalsi devono essere fatti bene. Ma sono fatti bene?

Ci sono poi i timori di alcuni docenti che la valutazione possa ritorcersi contro di loro. Nel caso dei bravi docenti sono paure del tutto infondate:

Beh, ma questa è buona. Siate bravi e nessuno vi farà male. Ma noi temiamo, appunto, di non essere bravi. Perché misuriamo ogni volta la distanza tra la nostra preparazione e il risultato di una prova che non dipende nemmeno dal programma che stiamo svolgendo. C'è un migliaio di modi diversi di essere bravi insegnanti di italiano, ma se la prova invalsi fa una domanda sulla subordinata consecutiva, l'unico insegnante che sarà ritenuto “bravo” è quello che ha perso due settimane di tempo a far entrare nella testa del singolo ragazzo il concetto di subordinata consecutiva. Gli altri magari sono bravi a fare altre cose, ma non è vero che non hanno nulla da temere. Hanno da temere la proposizione subordinata consecutiva, per esempio. Cominciano a sognarsela di notte.

i miglioramenti compiuti dagli studenti nelle loro materie vengono ben monitorati da questi test che, non a caso, sono in genere molto coerenti fra di loro.

Lo trovo discutibile (almeno per le prove che ho somministrato io), e magari un'altra volta lo discuterò. Prendo atto che per Boeri le prove Invalsi sono in generale fatte bene.

Non è neanche vero che le prove distolgano le scuole dal perseguimento dei programmi didattici inducendole a preparare gli studenti per i test, anziché perseguire i programmi didattici. Le conoscenze che i test intendono valutare sono parte integrante degli standard minimi educativi.

La proposizione consecutiva? In terza media? E non me la sono mica inventata io, c'era nel test di tre anni fa. Cioè, terza media di scuola dell'obbligo, un alunno su quattro non è di origine italiana, e secondo voi lo “standard minimo” è che sappiano cos'è una proposizione consecutiva? Ma voi lo sapete cos'è una proposizione consecutiva? La sapreste riconoscere a colpo sicuro in un testo scritto? E soprattutto, ditemi, vi serve così tanto nella vita di ogni giorno? Vi è indispensabile nel lavoro che fate, nell'andare a far la spesa o nel discutere coi vostri vicini? La proposizione consecutiva? Lo standard minimo? E se io invece di insegnarla mi concentro, per dire, sul complemento oggetto, è perché sono un cattivo insegnante, e la mia scuola una cattiva scuola?

E non è affatto detto che il cosiddetto "teaching to the test", insegnamento finalizzato a una migliore performance nel test, sia efficace.

Questo è interessante. Da quando le prove Invalsi sono arrivate a scuola, un sacco di insegnanti ha cominciato a usare le ore di lezione per allenare i ragazzi a riuscire nei test, e gli esperti storcono il naso: quella non è vera scuola. Sì, ma se l'obiettivo diventa riuscire nel test, meglio allenarsi, no? No, non è detto che sia meglio. Sì, ma chi è che non lo dice? Ci sono degli studi in materia, dei dati statistici? Perché professore, finché non mi fa vedere dei numeri, io continuo a far fare ai miei ragazzi dei test a nastro, nella speranza che becchino più o meno le stesse risposte della prova finale: ne va della mia reputazione e del mio salario, mica mi posso fidare dei suoi “Non è detto”.

Ma forse gli ostacoli più forti al miglioramento delle informazioni sulla qualità del nostro sistema scolastico vengono dalla politica. Senza questi dati non è possibile valutare le tante piccole modifiche, più di facciata che di sostanza, apportate da ministri che vogliono solo apporre una bandierina, mostrare di avere fatto una "riforma" che immancabilmente porta il loro nome. 

Ecco, sarei anche d'accordo. Secondo me il primo ad aver boicottato l'Invalsi è stato il Ministero stesso.

La mancanza di valutazione rafforza la discrezionalità della politica. Può fare tutti i cambiamenti che vuole, magari definendoli sperimentali. Tanto poi non ci sarà nessuno in grado di valutarne gli effetti. I test standardizzati permettono di valutare queste pseudo-riforme. Ad esempio, uno studio condotto da Erich Battistin, Ilaria Covizzi e Antonio Schizzerotto dell'Irvapp di Trento e basato proprio sui test Invalsi ha dimostrato che il ripristino dei cosiddetti esami a settembre (al posto del recupero dei debiti formativi in corso d'anno) ha accentuato le differenze quanto a conoscenze linguistiche tra studenti liceali e studenti di scuole tecnico-professionali, peggiorando la qualità dell'istruzione soprattutto per chi viene da famiglie con redditi più bassi. 

Ecco, finalmente una fonte, un rimando a una ricerca sul campo. Sono contento. Ma sono anche un po' perplesso. Non ho potuto ovviamente leggere la ricerca di Battistin Covizzi e Schizzerotto, ma non dubito che si tratti di un lavoro valido. Non capisco però come possa essere basata “proprio sui test Invalsi”, visto che i test delle superiori li abbiamo fatti per la prima volta quest'anno, per la precisione due giovedì fa, e, come diceva lo stesso Boeri, fino a settembre non conosceremo i risultati. Se Battistin e compagni hanno adoperato dei dati su studenti liceali e studenti di scuole tecnico-professionali, non erano quelli delle prove nazionali Invalsi. Oppure si sono basati sulle prove che gli stessi ragazzi avevano svolto alle medie due anni prima?

Sia come sia, il risultato non è questa straordinaria sorpresa. I crediti scolastici si recuperano a scuola aperta. L'esame di settembre si prepara a scuola chiusa. Chi è che riesce a studiare meglio con la scuola chiusa, Pierino Reddito-Medio-Alto o Gianni Reddito-medio-basso? E per scoprirlo bisognava sul serio impartire un test a tutti gli studenti italiani? Non dico che sia sbagliato, ma era necessario?

Chi oggi rifiuta le valutazioni in nome dell'egualitarismo dovrebbe riflettere su questo risultato. Senza le informazioni offerte dai test standardizzati la battaglia contro la scuola di classe rischia di avere le armi spuntate.

Io non sono in linea di massima contro la prova nazionale. Ma non ditemi che è l'unico modo per ottenere dati scientifici. Altrimenti l'Istat ci farebbe un censimento una volta all'anno. Si fanno ricerche di mercato a livello nazionale su campioni statistici di decine di migliaia di individui; possibile che a scuola non bastino?