La scuola della misurazione - Enrico Rogora

 

Ascolto spesso ministri, funzionari, professori universitari ed esperti di ogni genere ripetere che “tutto è misurabile”, ma non avevo mai sentito pronunciare questa frase da una persona veramente competente prima di leggere, sul portale del Sistema nazionale di valutazione, che la frase “Misura ciò che è misurabile, ciò che non è misurabile rendilo tale” è attribuita nientemeno che a Galileo Galilei. Sono rimasto perplesso e ho subito cercato l’opera in cui l’avrebbe scritta per capirne il contesto. Infatti, credo che la pretesa di poter tutto misurare sia una grave illusione che si basa, a mio avviso, sull’errata interpretazione di cosa sia una misura e sulla (spesso fraudolenta) ambiguità nell’identificare ciò che si cerca di misurare con quello che si vorrebbe misurare. Cercando sul motore di ricerca di Google ho trovato un migliaio di siti italiani che attribuiscono la stessa frase a Galilei e su Wikiquote una nota che rimanda alla fonte.

O meglio, la nota dice:

Citato in AA.VV., Il libro della scienza, traduzione di Martina Dominici e Olga
Amagliani, Gribaudo, 2018, p. 43.

Non si tratta quindi di una vera citazione, ma solo di un rinvio. Visto che la cosa mi incuriosisce sempre più, cerco l’edizione originale del libro, che sembra essere piuttosto popolare e molto ben recensito, e leggo: Count what is countable, measure what is measurable, and what is not measurable, make it measurable. (Galileo Galilei). Il rimando di Wikiquote è quindi a una citazione senza fonte, cosa che non dovrebbe mai succedere, ma che mi dà l’occasione di inserire la traduzione inglese della frase per “internazionalizzare” la ricerca su Google che avevo fatto precedentemente sui soli siti italiani, e trovo più di 90 milioni di siti che attribuiscono la frase a Galileo: nei siti di aforismi, in articoli scientifici, nel frontespizio di tesi di dottorato (in economia e psicologia), ecc. ecc., ma sempre senza citazione. Ormai è chiaro che qualcosa non torna, e con un minimo di ostinazione trovo finalmente un articolo interessante (A. Kleinert, Der messende
Luchs, “N.T.M.” 17, 2009, dove leggo:

Sebbene Galileo venga citato per queste parole in un gran numero di pubblicazioni, l’autenticità della frase è estremamente dubbia perché nessuno ha
mai dato un riferimento preciso su dove trovarla nelle sue opere. (…) nonostante la
sua crescente popolarità, riferirsi a questa frase come a una citazione di Galileo è
un esempio lampante di sciatteria accademica.

 

Tutto è misurabile?

Affermare che tutto è misurabile è funzionale al disegno di sottrarre al confronto democratico decisioni politiche strategiche nel nome dell’oggettività scientifica. Per esempio, quelle relative alla suddivisione dei finanziamenti di un processo. L’idea per guidare la scelta della suddivisione, che appare sacrosanta, è quella di “migliorare la qualità del processo”. Ma cosa si intende per qualità? Per evitare il confronto su cosa si debba intendere per qualità, si millanta il possesso di uno strumento di misurazione scientificamente certificato, si impone come criterio di divisione un meccanismo premiale ancorato al superamento di obiettivi minimi misurabili “oggettivamente”, si silenziano le voci critiche con l’argomento di non voler accettare un confronto trasparente con i dati inconfutabili che indicano senza ambiguità la direzione del miglioramento. Dopo aver messo a nudo nella premessa la frode relativa alle nobili origini dell’ipotesi che “tutto sia misurabile”, vorrei condividere alcune riflessioni sulle conseguenze di assumere la misurazione dei processi come guida per il loro miglioramento nel caso particolarmente delicato della scuola: in questo campo è stata elaborata una teoria scientifica particolarmente raffinata di misurazione psicometrica, che sembra collegarsi in maniera molto naturale con la tradizione della valutazione scolastica e quindi trova terreno particolarmente fertile per attecchire, non tanto nel corpo docente ma soprattutto in chi si occupa del governo dei processi scolastici. Il voto, si sente dire (P. C. Rivoltella,Valutare le competenze, “Docete”, 15, 2019), è una misurazione imperfetta perché è soggettiva. E quindi una misurazione oggettiva è una valutazione migliore. Peccato che i numeri non siano misure, se non in casi molto particolari (E. Rogora, Valutare e scegliere, il ruolo della matematica, “Lettera matematica” 87, 2013), e quindi il voto non può essere una misurazione imperfetta, per il semplice fatto che non è (e non deve essere, dal mio punto di vista) una misurazione. Inoltre, una misurazione oggettiva può offrire uno strumento per una valutazione migliore, ma non è una valutazione migliore, come cercherò di argomentare più avanti.

Le competenze si misurano meglio delle conoscenze

Si è spesso parlato della scuola delle conoscenze in contrapposizione a quella delle competenze. Il dibattito sembra un po’ fuori moda, ma credo che sia utile ritornare su queste due visioni di scuola cercando di illuminare le differenze dal punto di vista della teoria della misura psicometrica: in sintesi, le competenze si misurano meglio delle conoscenze. Perché si misurano meglio e perché questo dovrebbe essere un valore aggiunto a favore della scuola delle competenze?
La psicometria, cioè la scienza che fornisce le basi teoriche per misurare in psicologia, in pedagogia, nell’economia aziendale ecc. intende spesso per “misura” qualcosa di diverso da una misura fisica, come l’altezza, il peso ecc. Più che di misurazioni si tratta di scale, che non godono di molte delle proprietà delle misure pur avendo la loro utilità senza tuttavia averne l’oggettività (G. Rasch, Probabilistic models for some intelligence and attainment tests, The University of Chicago Press, 1980). Di queste non misure spacciate per misure oggettive con la stessa disinvoltura con cui viene attribuita la frase di cui abbiamo trattato nella premessa, non parlerò in questa sede, limitandomi a considerare il caso in cui una misura degna di essere considerata e criticata esiste, la misura di Rasch.
Lo statistico danese Georg Rasch ha elaborato una teoria psicometrica che fissa rigidi criteri per la misurabilità di un carattere psicometrico (per esempio, la capacità di risolvere determinati problemi matematici). Lo stesso Rasch ha dimostrato che, in ipotesi molto generali, quella da lui proposta è l’unica forma che può assumere una misura psicometrica che gode delle principali proprietà di cui gode una misura fisica (salvo quella di un adeguato controllo dell’errore, sulla cui importanza cruciale non voglio però entrare in questa occasione). La teoria di Rasch è la teoria che fornisce il quadro di riferimento internazionale su cui si basano le rilevazioni dei livelli di apprendimento dell’OCSE-PISA e dell’INVALSI. Solo misurazioni psicometriche effettuate impiegando questo modello meritano l’appellativo di misurazioni. Riferendosi alle rilevazioni psicometriche che non usano il modello di Rasch, con il termine si compie un abuso di linguaggio. Quando uso il termine “misura psicometrica” mi riferisco esclusivamente alla misura di Rasch. Per brevità mi riferirò ad essa anche con il solo termine “misura”, pur essendo a mio avviso inappropriato per i limiti sul controllo dell’errore che la misura di Rasch presenta rispetto alle misure fisiche.

Torniamo alla domanda posta nel titolo del paragrafo. Perché un insieme di competenze possono essere più facilmente strutturate in maniera da definire un carattere psicometrico misurabile rispetto ad un insieme di conoscenze? La ragione sta nel modo in cui si definisce un carattere psicometrico misurabile secondo Rasch: semplicemente come un insieme coerente di item. Un item è un compito (task) che può essere superato o non superato da un agente (person) in maniera che l’esito del superamento sia determinabile in modo certo. Il prototipo di un item (ma se ne possono avere di tante forme diverse) è una domanda a risposta multipla con una sola risposta corretta. L’interazione item/persona avviene attraverso la selezione di una ed una sola opzione da un insieme finito di opzioni possibili, secondo una procedura chiaramente specificata, qual è, per esempio, l’apposizione di una crocetta su un modulo opportunamente costruito. La selezione dell’opzione corretta certifica il superamento del compito proposto nell’item ovvero corrisponde a un esito positivo. La mancata selezione dell’opzione corretta, sia per la scelta di una diversa opzione, sia per l’omissione di tale scelta, sia per un errore nella procedura di selezione (indicazioni di più opzioni, opzione indicata in maniera ambigua o non conforme, ecc) corrisponde ad un esito
negativo. Un insieme di competenze misurabili è semplicemente una parafrasi che descrive
una collezione di item coerenti.
Chi considera fondamentale la possibilità di certificare in modo oggettivo il raggiungimento di determinati obiettivi didattici comprende molto bene  ’importanza di insistere sulle competenze invece che sulle conoscenze.

Esse, e non le conoscenze, si possono aggregare, esercitando un controllo severo e molto dispendioso sulla loro coerenza, in costrutti psicometrici misurabili. Una scuola che pone la misurazione dei processi di apprendimento tra i suoi obiettivi principali deve essere necessariamente una scuola delle competenze. Poiché non vale l’affermazione opposta, la chiamerò scuola della misurazione. Quindi, la scuola della misurazione deve essere fondata sulle competenze proprio perché “non tutto è misurabile”.

La scuola della misurazione è flessibile?

È lecito porsi alcune domande. Cosa dobbiamo sacrificare all’altare della misurabilità, oltre alla centralità delle conoscenze rispetto alle competenze? Secondo la teoria di Rasch, che fornisce il quadro teorico all’interno del quale si possono giustificare affermazioni come “Le prove sono costruite nel rispetto di criteri metodologici e psicometrici riconosciuti dalla comunità scientifica internazionale”, uno strumento di misura psicometrico deve essere rigido. Un insieme di competenze che possono essere misurate con un certo strumento
devono restare sempre le stesse perché non si possono aggiungere item che non sono coerenti con quelli usati gli anni precedenti se si vuole usare lo stesso strumento per misurare in anni diversi e confrontare i risultati di anno in anno. La scuola della misurazione è una scuola che si impoverisce, che non può aggiornare le competenze che fornisce, se non a condizione di rinunciare a misurarle o di impiegare ingenti risorse per forgiare ogni volta un nuovo strumento (ed aggiungere un nuovo segmento alle rilevazioni nazionali, da sommare ai precedenti). La scuola della misurazione è condannata ad essere una scuola dei “saperi minimi”.

La scuola della misurazione è inclusiva?

Per l’INVALSI, che è strumento fondamentale della scuola della misurabilità, le rilevazioni nazionali sono strumenti di inclusione perché garantiscono a tutti uno strumento oggettivo di autovalutazione e di confronto con gli altri. La teoria in base alla quale l’istituto costruisce le rilevazioni nazionali prevede però, per calibrare correttamente lo strumento di valutazione, di eliminare i dati raccolti dagli studenti che forniscono risultati non conformi, che sono in possesso cioè di abilità o competenze particolari che permettano di riuscire particolarmente bene o particolarmente male in alcuni item, rispetto alle abilità mostrate nella risoluzione di altri. Le rilevazioni nazionali dell’INVALSI permettono di mettere in evidenza queste popolazioni, ma il controllo della qualità della misurazione richiede esplicitamente di non tener conto delle loro specificità nella preparazione delle prove.

La scuola della misurazione migliora la valutazione?

La disponibilità di buoni strumenti di misura, si dice, è condizione necessaria per una valutazione oggettiva, quindi per una valutazione migliore, sottratta alla aleatorietà delle antipatie e simpatie del valutatore. A livello di valutazione di sistema, la pretesa di valutare in modo oggettivo viene sostenuta per rendere ineluttabili le scelte che conseguono una valutazione. Ma sottrarsi alla responsabilità delle scelte, cioè praticare una valutazione di sistema non responsabile, o irresponsabile, è un atto autoritario che si vuole giustificare in nome dell’oggettività scientifica e non è un processo democratico per giungere a scelte condivise. Io credo nella fondamentale importanza della rilevazione di buoni dati statistici come strumento per aiutare una valutazione responsabile, ma credo anche che il valore aggiunto di una buona misurazione non sia scontato e debba essere valutato tenendo presente alcune controindicazioni tra cui il rischio di concentrare gli sforzi sul miglioramento dei risultati delle misurazioni quando queste tendono ad essere un effetto collaterale di un insieme complesso di cause più importanti e determinanti. Per esempio, le misurazioni OCSE-PISA dei processi di apprendimento hanno fornito un’immagine della scuola finlandese che ha confuso piuttosto che facilitato la comprensione di quel sistema educativo. Inoltre, il peso che si assegna alle graduatorie ottenute con queste misurazioni psicometriche sopravvaluta sistematicamente la significatività delle posizioni nel ranking: non solo per la persistente cattiva abitudine a non dare, insieme ai valori stimati delle misure, anche quelli degli intervalli di fiducia di questi valori; ma anche per il fatto che il valore calcolato di questi intervalli si riferisce all’ipotesi che i dati siano stati prodotti secondo il modello di Rasch, mentre questo modello spiega solo una parte
della variabilità dei dati osservati e di conseguenza sottostima l’ampiezza degli
intervalli di fiducia. A livello di valutazione del singolo, ritengo invece semplicemente sbagliata l’ipotesi che una valutazione oggettiva sia la strada per migliorare il processo di valutazione.
Credo che il nostro sistema di formazione degli insegnanti abbia un’enorme carenza
riguardo la formazione alla valutazione. Credo che, tra gli investimenti più produttivi per migliorare la qualità (non misurabile ma facilmente percepibile) del nostro sistema educativo, vi sarebbero le risorse che si volessero destinare, da un lato, ad una formazione della professionalità del futuro insegnante e dell’insegnante in servizio che dedichi alla valutazione uno spazio maggiore e, dall’altro lato, ad un riconoscimento salariale dell’impegno richiesto per fornire una valutazione formativa responsabile (e non oggettiva).

La scuola della misurazione educa al confronto?

Una scuola che fa uso delle misurazioni come elemento di valutazione introduce un elemento che perturba in modo significativo il rapporto tra studenti e insegnanti. La mia opinione è che rischi fortemente di depotenziare l’aspetto essenziale di partecipazione dell’insegnante al processo educativo e di rendere più formale e meno partecipato il confronto necessario alla valutazione del processo educativo del singolo studente.

Conclusione

Una misurazione esterna di fondamentali competenze minime degli studenti italiani può avere enorme importanza come elemento di conoscenza in un processo di valutazione responsabile di sistema, pur offrendo un quadro della scuola molto parziale (misura solo il poco che è misurabile) e distorto (la significatività delle graduatorie e assai inferiore all’impressione che danno). Tali misurazioni tuttavia perturbano fortemente l’oggetto che viene misurato, che tende ad organizzarsi per migliorare il risultato della misurazione. Nella peggiore delle ipotesi, la scuola tende a mettersi in punta di piedi per sembrare più alta, vanificando completamente il senso della misurazione. Nella “migliore” delle ipotesi, tende a modificarsi secondo la direzione indicata dal massimo aumento della misura (spesso non statisticamente significativo) e non a seguito del confronto politico e democratico sull’opportunità di tali modifiche.

 

---

Questo articolo è stato pubblicato dalla rivista “Gli asini” (n. 108/2023) e poi raccolto nell’ebook Tecniche e miti. Le trappole dell’intelligenza artificiale.

 

da qui