La Cina è il numero 1 su PISA, ma ecco perché i suoi punteggi dei test sono difficili da credere

La Cina è il numero 1 su PISA, ma ecco perché i suoi punteggi dei test sono difficili da credere

La Cina continentale è stata la grande vincitrice nei punteggi appena pubblicati sul Programma per la valutazione internazionale degli studenti, che mette alla prova studenti di 15 anni in dozzine di paesi in matematica, lettura e scienze ogni tre anni. Con 600.000 studenti provenienti da 79 paesi e sistemi scolastici che hanno sostenuto l'esame nel 2018, quattro province della Cina – che per PISA costituisce la Cina continentale – sono state classificate collettivamente al primo posto in tutte e tre le materie.

Ma ci sono buone ragioni per guardare i punteggi della Cina continentale con scetticismo, e questo è l'argomento di questo post di Tom Loveless, un esperto di risultati degli studenti, test, politica dell'istruzione e riforma della scuola primaria e secondaria.

Ex insegnante di prima media e professore di politica ad Harvard, Loveless era un ricercatore senior in studi di governance e direttore del Brown Center on Education Policy presso la Brookings Institution, un'organizzazione no-profit con sede a Washington. Ha scritto 16 volumi di 'The Brown Center Report on American Education', un rapporto annuale che analizza importanti tendenze nel campo dell'istruzione.

La storia della pubblicità continua sotto la pubblicità

Questa non è la prima volta che Loveless commenta i punteggi PISA dalla Cina. Nel 2013, ho scritto un post mettendo in discussione la classifica n. 1 di Shanghai nel PISA 2012. In quella somministrazione di test, gli studenti statunitensi non hanno ottenuto risultati migliori della media tra 65 paesi e sistemi educativi (come al solito).

Quando i punteggi del 2012 sono stati pubblicati alla fine del 2013, l'Organizzazione per la cooperazione e lo sviluppo economico, che sponsorizza PISA, ha affermato che le scuole utilizzate nel campione di Shanghai rappresentano la popolazione di 15 anni della città. Loveless, poi alla Brookings Institution, e alcuni esperti cinesi hanno affermato che i bambini migranti venivano regolarmente esclusi dalle scuole a Shanghai, che è più ricca del resto della Cina. L'OCSE ha tenuto fede ai risultati.

Per inciso, nei risultati PISA 2018, Singapore era seconda in tutte e tre le materie. Gli studenti statunitensi si sono classificati all'ottavo posto in lettura, all'undicesimo in scienze e al trentesimo in matematica, con punteggi che non sono cambiati in modo significativo dall'inizio di PISA alcuni decenni fa.

La storia della pubblicità continua sotto la pubblicità

Di Tom Loveless

Sono usciti i risultati PISA 2018. In generale, i paesi hanno ottenuto un punteggio all'interno di un intervallo previsto dati i loro record passati. Tranne uno. I punteggi sono sorprendenti per B-S-J-Z, acronimo delle quattro province cinesi che hanno partecipato: Pechino, Shanghai, Jiangsu e Zhejiang. Su 77 sistemi internazionali, B-S-J-Z ha ottenuto il punteggio n. 1 in tutte e tre le materie: lettura, matematica e scienze.

Le quattro province cinesi che prendono PISA sono cambiate dal 2015 al 2018, con lo Zhejiang che ha preso il posto del Guangdong. I punteggi del gruppo 2018 sono notevolmente più alti di quelli del gruppo 2015 (che si chiama appropriatamente B-S-J-G). In effetti, le differenze sono così grandi che sono destinate a sollevare le sopracciglia.

La storia continua sotto la pubblicità

I punteggi di B-S-J-Z sono 61 punti in più sulla scala (494 contro 555) in lettura, 60 punti in più (531 contro 591) in matematica e ben 72 punti in più (518 contro 590) in scienze. Quanto sono rare le differenze come queste? Per rispondere a questa domanda, ho esaminato i dati PISA dal 2006 al 2015.

Per ogni intervallo di prova di tre anni ho calcolato le variazioni per ogni paese sui tre test PISA e le ho convertite in valori assoluti. Ciò ha prodotto 497 osservazioni, con una media di 9,5 punti e una deviazione standard di 8,6.

Quindi la variazione tipica nei punteggi di una nazione è di circa 10 punti. Le differenze tra i partecipanti cinesi del 2015 e del 2018 sono almeno sei volte superiori. Le differenze sono anche almeno sette volte la deviazione standard di tutte le variazioni di intervallo. Altamente insolito.

La storia continua sotto la pubblicità

Un'ipotesi ragionevole è che il cambiamento delle province partecipanti a PISA, anche se solo una su quattro, abbia influito sui punteggi dei test. In effetti, quando ho originariamente composto un thread per Twitter su questo argomento, ho trascurato il cambiamento e ho trattato le differenze di punteggio 2015-2018 come se le province partecipanti fossero le stesse. Mi scuso per l'errore. Il mio errore sottolinea, tuttavia, il problema più ampio: che i punteggi PISA dalla Cina dovrebbero essere visti con scetticismo.

Perché il Guangdong, la provincia più popolosa della Cina, è stata eliminata dalla partecipazione e ha aggiunto Zhejiang? È solo una coincidenza che i punteggi siano aumentati dopo il cambiamento?

I precedenti punteggi PISA delle province cinesi sono stati messi in discussione (da me e da altri) a causa dell'effetto di abbattimento dell'hukou sulla popolazione di quindicenni - e per l'OCSE che consente alla Cina di approvare quali province possono essere testate. Nel 2009, i test PISA sono stati somministrati in 12 province cinesi, comprese diverse aree rurali, ma sono stati rilasciati solo i punteggi di Shanghai.

La storia continua sotto la pubblicità

Tre anni dopo, la BBC ha riferito: 'Finora il governo cinese non ha consentito all'OCSE di pubblicare i dati effettivi'. Ad oggi i dati non sono stati diffusi.

L'OCSE ha risposto alle critiche passate attaccando i critici e conducendo revisioni dei dati a porte chiuse. Una nuvola incombe sui punteggi PISA delle province cinesi. Esorto l'OCSE a pubblicare, il prima possibile, i risultati di eventuali controlli di qualità dei dati 2018 che sono stati condotti, insieme ai punteggi, disaggregati per provincia, da entrambi i partecipanti 2015 e 2018.

La credibilità delle valutazioni internazionali si basa sulla trasparenza delle procedure di test, compreso il modo in cui vengono selezionati i partecipanti e le regole per la comunicazione dei risultati dei test. L'OCSE rischia di minare la credibilità di PISA non essendo aperta sulla sua conduzione della valutazione in Cina.