«… lo sfregio finale è che lo sanno anche quelli di giurisprudenza [che non si possono sommare i percentili]. Il che, per gli ingegneri [dell’ANVUR], mi sembra che sia il colpo di grazia». Un video didattico che svela gli arcani – ma anche gli errori – dei criteri bibliometrici della VQR 2011-2014. Criteri che stanno mettendo in difficoltà molti atenei italiani. Alcuni fanno simulazioni a tutto spiano e forse anche a vuoto. Altri non sanno dove mettere le mani. Altri ancora hanno pagato o stanno valutando se pagare a caro prezzo Sibille bibliometriche sulla cui affidabilità pochi sarebbero disposti a giurare. Lo scorso 21 dicembre, in un seminario organizzato dal Circolo universitario pavese Giorgio Errera, Giuseppe De Nicolao ha spiegato le cabale bibliometriche anvuriane, illustrandone i paradossi e mostrando il posto che occupano da tempo nella polverosa galleria dei metodi pseudo-scientifici.
Video del seminario:
Download diretto: le slide
Slide:
L’accurata calibrazione bibliometrica è una delle novità della VQR 2011-2014, secondo quanto dichiarato dal suo coordinatore Sergio Benedetto. Una calibrazione che però conduce a esiti paradossali: per un articolo pubblicato nel 2013 in una rivista il cui IPP (Impact per publication) vale 2,92, possono bastare tre citazioni per essere valutato di livello Elevato e ne bastano nove per essere promosso a Eccellente. Ma se l’IPP della rivista è 2,32, l’articolo non diventa Eccellente nemmeno se riceve 70 citazioni. Questa disparità di trattamento deriva da un inedito criterio di valutazione degli articoli che si basa sulla somma (pesata) dei percentili di due indicatori bibliometrici. Un criterio bibliometrico mai sperimentato prima, anche perché da più di 20 anni è noto nei più vari ambiti scientifici, a partire dalle valutazioni pedagogiche e psicometriche fino ad arrivare alla geografia e alla chimica, che i percentili «cannot be aggregated in any meaningful way», dato che sono misure ordinali e non misure ottenute usando una scala a intervalli regolari.
Un errore ben noto, che, oltre a essere oggetto di quiz per le high school, è stigmatizzato in numerosi libri di testo e anche in articoli scientifici, secondo i quali «The only reason for using percentile ranks is ignorance, and it is questionable whether a defense of ignorance will be viable».
Seminario: Lunedì 21 dicembre 2015 – ore 18:00
Aula Bruni – Collegio Ghislieri, Piazza Ghislieri, 5 – 27100 Pavia
Per approfondire: Nei criteri VQR c’è un “fatal error” (noto da più di 20 anni)
Pingback: Stefano Semplici, Università di Roma 3, ha lanciato l’iniziativa Stop VQR. Tre ragioni per una firma | www.circoloerreraunipv.it