(Contro)classifica ARWU 2015: We are the Champions! Davvero?

Mercury«Pavia meglio di Oxford se ricevesse gli stessi soldi»

intitola la Provincia Pavese del 20 agosto scorso, in relazione alla “controclassifica” ARWU da me pubblicata sul blog Roars (Classifica ARWU 2015: 14 università italiane meglio di Harvard e Stanford come “value for money”) e fatta oggetto di un articolo sul Corriere della Sera. Nonostante avessi definito la mia provocazione un “divertissement agostano”, non mi ero spinto fino al punto di immaginare i traguardi raggiungibili dagli atenei italiani se ricevesserero gli stessi soldi di Oxford oppure – ancor meglio – di Harvard e Stanford.

ControClassificaCorriere


Che a parità di soldi Pavia possa essere meglio di Oxford, è una pura ipotesi che non avremo mai modo di verificare, dato che non esiste la più remota possibilità di pareggiare le risorse di cui dispongono le cosiddette World Class Universities.

Per rendere l’idea, le operating expenses annuali di Pavia (che conquista 10,5 punti nella classifica ARWU) sono dell’ordine dei 200 milioni di Euro, mentre quelle di Oxford (56,6 punti ARWU) si aggirano sul miliardo di sterline, più di sei volte maggiori. Un divario di risorse che non possiamo sperare di colmare.

Il vero punto (che nel testo della Provincia, almeno in parte, emerge) è che non ha senso sparare a zero sugli atenei italiani usando come proiettili le classifiche internazionali.

Prima di tutto, questi ranking non hanno base scientifica. In secondo luogo, se anche ci ostinassimo a crederci, i risultati delle 20 università italiane che entrano in classifica sono ampiamente commisurati alle spese (per le altre italiane non conosciamo i punteggi ARWU necessari per poter giudicare).

Questo il vero insegnamento da trarre: bisognerebbe scordarsi delle classifiche e ritornare (o iniziare) a ragionare sui problemi reali.

L’articolo della Provincia, oltre a dare un titolo sensazionalistico (forse comprensibile, ma infedele nei confronti della fonte), nel finale confonde qualità con efficienza:

università che hanno più soldi, ma non più qualità delle italiane.

La “controclassifica” non affrontava l’impervio problema di misurare la “qualità” ma si limitava a calcolare cosa costano i “punti ARWU” conquistati dalla università italiane (che spendono 36 milioni di dollari per punto conquistato) e dalle “top 20” mondiali (55 milioni di dollari per punto). Che i punti ARWU misurino effettivamente la “qualità” è un’assunzione alquanto temeraria.

Se passiamo ad esaminare le comunicazioni istituzionali, il comunicato dell’ateneo è scarno e, per fortuna, non indulge a toni trionfalistici, che però riemergono in questa schermata di Unipv.news, un vero inno alle classifiche in tutte le loro forme.

UNIPV_news_29_08_2015La “Controclassifica Roars”, quello che io stesso ho definito un “esercizio pedagogico senza pretese di scientificità”, non intendeva scovare le università più efficienti su scala mondiale ma solo mettere a confronto le “top 20” di ARWU con le 20 italiane. Impossibile vantarsi di essere tra le “prime 10 al mondo”, senza aver valutato centinaia di altre università mondiali.

Va anche detto che la classifica CENSIS, citata in basso nella schermata di Unipv.news, è alquanto malmessa. Si tratta di una classifica dove abbondano errori metodologici e indicatori inappropriati, se non proprio errati (Le classifiche CENSIS-Repubblica sono credibili?). Al punto da fornire esiti paradossali come  la medaglia d’argento a Roma Foro Italico per la ricerca nell’area dell’ingegneria industriale e dell’informazione, quando l’ateneo romano, specializzato nelle scienze motorie, non offre nessun corso di ingegneria e dispone di quattro – dicasi quattro – professori e ricercatori afferenti a quell’area disciplinare (Classifica CENSIS-Repubblica: davvero Foro Italico surclassa i Politecnici nella ricerca di ingegneria?).

CENSIS_Ingegneria_2015Bisogna dire che l’ateneo pavese ha sempre tenuto in grande considerazione le classifiche CENSIS, al punto di essere uno dei 17 atenei che qualche anno fa avevano pagato il CENSIS per collaborare allo sviluppo di un “modello di valutazione sperimentale” e calibrarne i pesi. Costo? 20.000 Euro per ateneo (CENSIS chiedeva 20.000 Euro agli atenei per partecipare alla calibrazione di algoritmi di ranking. E 17 atenei aderirono). Non proprio il massimo della trasparenza, visto che alcuni degli indicatori proposti in quel progetto sono tuttora usati nella classifica CENSIS-Repubblica per “valutare” tutti gli atenei italiani.

Il feticcio delle classifiche è talmente potente che non si riesce proprio (ma non solo a Pavia) a digerire il vero messaggio, ovvero che le classifiche sono pseudoscienza. Sono un po’ come gli oroscopi, ma meno innocue, perché sono numeri finti che nascondono i numeri veri e, con essi, i problemi reali.

Siamo ancora al primo passaggio. Sarebbe già qualcosa se la  “controclassifica” avesse intaccato la granitica convinzione che le classifiche fotografino la realtà e che questa fotografia certifichi lo spreco dei soldi spesi per università e ricerca. A giudicare dalle reazioni pavesi, adesso ci sono un po’ meno certezze su contenuti della fotografia, ma la guarigione dalla superstizione sembra ancora lontana.

King_Mercury

Questa voce è stata pubblicata in Articoli e contrassegnata con , , , , , , , , , , , , , . Contrassegna il permalink.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.