Lettera Aperta al Prorettore alla Ricerca e al Governo dell’ateneo

Riportiamo di seguito il testo della lettera aperta al Prorettore alla Ricerca e al Governo dell’ateneo relativo all’adozione del sistema a pagamento per la valutazione della ricerca delle università, denominato CRUI-UniBas. È possibile sottoscrivere la lettera aperta inviando un messaggio di adesione tramite l’email istituzionale all’indirizzo:

openletter.cruiunibas@gmail.com

Testo della lettera aperta

Nel suo messaggio del 12 settembre scorso, il Prorettore alla Ricerca, Roberto Bottinelli, ci ha informato che l’Università di Pavia ha aderito a un’iniziativa della Conferenza dei Rettori delle Università Italiane: un sistema a pagamento per la valutazione della ricerca delle università, denominato CRUI-UniBas, che consentirebbe di eseguire procedure basate sul Modello della VQR 2011-2014 e sul Modello dell’ASN. Riguardo alle prime, è stato spiegato che “Per poter effettuare valutazioni automatizzate su larga scala, i criteri della VQR vengono complementati con regole opportune per eliminare la necessità di effettuare interventi di peer-review”.

Non possiamo fare a meno di manifestare la nostra contrarietà alla partecipazione del nostro ateneo a questa iniziativa, a cui, da quanto scritto, hanno aderito solo circa la metà degli atenei italiani. Vi sono tre ragioni che giustificano la nostra contrarietà.

In primo luogo, il ricorso a valutazioni individuali automatizzate non rientra tra le buone pratiche accettate dalla comunità scientifica internazionale. Sull’inopportunità e i pericoli di un uso automatizzato di indicatori bibliometrici nelle valutazioni individuali dei ricercatori e dei singoli lavori scientifici c’è un consenso pressoché universale, testimoniato da diverse dichiarazioni sottoscritte da autorevoli organismi internazionali, tra cui:

• Citation Statistics, International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) 2008.
• Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”, Institut de France, Académie des Sciences
• Code of Practice, European Mathematical Society
• On the use of bibliometric indices during assessment, European Physical Society
• San Francisco Declaration On Research Assessment (DORA), 2013 (sottoscritta da più di 870 organizzazioni, tra cui riviste come Science, Plos e PNAS, atenei come il King’s College London e agenzie di valutazione come l’inglese HEFCE).
• Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals, IEEE 2013 (l’IEEE, con più di 400.000 membri in più di 160 nazioni è la più grande società scientifica in ambito tecnologico).
• What do Nobel Laureates think of impact factors?, Nobel Foundation

Già nel 2011, l’HEFCE, l’agenzia di valutazione inglese, aveva respinto il ricorso a “valutazioni automatizzate su larga scala”:

“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”

Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework, HEFCE 2009.

Una posizione confermata nel 2015 con il supporto di uno studio commissionato ad una commissione di esperti indipendenti, il secondo il quale

“Analysis concluded that no metric can currently provide a like-for-like replacement for REF peer review”

“In assessing research outputs in the REF, it is not currently feasible to assess research outputs or impacts in the REF using quantitative indicators alone”

Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE 2015.

In secondo luogo, entrambi i modelli di valutazione che ci vengono proposti sono stati oggetto di critiche specifiche che ne sottolineano la mancanza di scientificità, se non addirittura la nocività per la scienza italiana.

Per quanto riguarda il “modello ASN”, basterà ricordare la recentissima lettera che tre premi Nobel per la Fisica e altri otto eminenti scienziati hanno indirizzato alla Ministra Fedeli. La lettera chiede alla Ministra di correggere il “cieco algoritmo valutativo” dell’ASN che, in assenza di modifiche, potrebbe mettere in pericolo quella che ci viene riconosciuta come una “grande tradizione scientifica”:

“LISA Pathfinder was led by an Italian scientific team whose members, we understand, would not qualify any more for their current positions, and actually for any permanent position in Italian universities, according to the recently revised Italian regulations. We understand that this paradoxical situation originates from a blind evaluation algorithm. […] We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition”

Lettera alla ministra Valeria Fedeli, firmata dai Nobel per la Fisica T. Kajita, K.S. Thorne, R. Weiss, e da altri otto scienziati, 2017

Non meno controverso è il “modello VQR”, la cui adeguatezza e rigore scientifico sono stati messi in dubbio nella letteratura scientifica internazionale. Un primo articolo ne sconsiglia l’uso, già a partire dal titolo:

1. Abramo e C.A. D’Angelo, Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014, Scientometrics 2016

Altrettanto esplicito il giudizio di un secondo articolo scientifico, secondo il quale

“… the bibliometric evaluation process of the VQR 2011–2014 contains too many questionable operations. Also, even if (erroneously) deciding to combine Ci [citations] and Ji [journal metrics], we believe that this could be done avoiding dubious transformations/normalizations that alter the scales of the initial data.”

“In light of the arguments gathered and developed in this paper, we are doubtful whether the whole procedure – once completed thanks to the participation of tens of thousands of individuals, including evaluation experts, researchers, administrative staff, government agencies, etc. – will lead to the desired results, i.e., providing reliable information to rank universities and other research institutions, depending on the quality of their research. We understand the importance of national research assessment exercises for guiding strategic decisions, however, we believe that the VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial.”

D.A.F. Maisano e F. Franceschini, Critical remarks on the Italian research assessment exercise VQR 2011-2014, Journal of Informetrics 2017.

Una terza ragione di perplessità deriva dal fatto che persino l’Agenzia nazionale di valutazione, che pure ha contribuito a mettere a punto questi “modelli”, ne sconsiglia l’uso non solo per le comparazioni tra diversi settori scientifico-disciplinari, ma anche per le valutazioni individuali:

“Non è dunque appropriato utilizzare i punteggi VQR come strumento per stabilire, tramite confronto diretto, se un gruppo di ricercatori di un’area o di un settore ha prodotto una ricerca migliore di un altro.”

L’indicatore standardizzato di performance dipartimentale (ISPD) – Risposta al Comunicato CUN del 18 luglio 2017, ANVUR 2017.

“L’elaborazione di tale indicatore [Indicatore di produzione scientifica FFABR: uno degli indicatori che il sistema Crui-UniBas intende replicare] non va confusa con la valutazione della qualità dei risultati scientifici, che non può prescindere dal coinvolgimento di comitati di esperti rappresentativi delle diverse componenti culturali della comunità scientifica di riferimento. Una valutazione di contesto, completamente automatizzata, inoltre, non deve in nessun caso essere sostitutiva dell’esame di tutta l’esperienza dei candidati in occasione di valutazioni comparative ai fini del reclutamento e della progressione di carriera. […] L’indicatore è costruito con riferimento ad uno specifico SSD e non deve essere utilizzato per confronti diretti tra SSD diversi”

L’indicatore di produzione scientifica FFABR: presentazione sintetica della procedura adottata, ANVUR 2017.

Alla luce di tutto ciò, chiediamo che il nostro ateneo ritiri la sottoscrizione al  sistema CRUI-UniBas.

Non si addice al rango dell’ateneo pavese accodarsi all’uso di “ciechi algoritmi valutativi” che, oltre ad essere controversi dal punto di vista della correttezza scientifica, sono già stati messi all’indice da autorevoli organizzazioni e istituzioni scientifiche, inclusa la Fondazione Nobel, perché ritenuti capaci di infliggere seri danni all’autentica qualità della ricerca.

Piuttosto, muovendosi nel solco della sua tradizione scientifica, il nostro ateneo dovrebbe far valere il suo peso e il suo prestigio affinché le metodologie nazionali di valutazione risultino allineate ai migliori standard internazionali. Un ruolo di stimolo che non è compatibile con la scelta di adeguare la nostra valutazione locale a schemi preconfezionati, già sconfessati dalla comunità  scientifica internazionale e, per quanto riguarda l’utilizzo che viene prefigurato,  sconsigliati anche dall’Agenzia nazionale di valutazione.

La questione su come si possano o si debbano valutare i ricercatori dell’ateneo pavese non si presta ad essere risolta con l’adozione di meccanismi calati da fuori o dall’alto, tanto più se in contrasto con le buone pratiche internazionali. Richiede piuttosto l’apertura di un dibattito interno all’ateneo che tenga conto sia delle specificità delle aree di ricerca sia dei migliori standard internazionali. A titolo di esempio, ecco alcune raccomandazioni contenute in un recentissimo documento sottoscritto da tre rinomate accademie scientifiche (Académie des Sciences, Leopoldina e Royal Society 2017):

There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over- reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or “citation clubs”) who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research. […] Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence. Publications that are identified by the authors as their most important work, including major articles and books, should receive particular attention in the evaluation. The simple number of publications should not be a dominant criterion.

Impact factors of journals should not be considered in evaluating research outputs. Bibliometric indicators such as the widely used H index or numbers of citations (per article or per year) should only be interpreted by scientific experts able to put these values within the context of each scientific discipline. The source of these bibliometric indicators must be given and checks should be made to ensure their accuracy by comparison to rival sources of bibliometric information. The use of bibliometric indicators should only be considered as auxiliary information to supplement peer review, not a substitute for it.

The use of bibliometric indicators for early career scientists must in particular be avoided.

Paolo Bertoletti (Scienze Economiche e Aziendali)

Mauro Carfora (Fisica)

Giuseppe De Nicolao (Ingegneria Industriale e dell’Informazione)

Ian Carter (Scienze Politiche e Sociali)

Luca Fonnesu (Studi Umanistici)

Amedeo Marini (Chimica)

Silvia Priori (Biologia Molecolare)

Alessandro Reali (Ingegneria Civile e Architettura)

Alberto Canonaco
Alessandro Ghigi
Alfredo Costa
Andrea Di Giulio
Andrea Fenocchi
Andrea Moiola
Andrea Zatti
Angelo Buizza
Anna Maria Castellazzi
Anna Maria Picco
Annalisa Baicchi
Annalisa Marzuoli
Antonella Ferrara
Antonio de Bari
Ausonio Ronchi
Bice Conti
Bruno Ziglioli
Carla Casagrande
Carlo Alberto Redi
Carlo Bianchini
Carlo Cinquini
Carlotta Giusti
Carolina Castagnetti
Cesare Zizza
Chiara Carsana
Chiara Domeneghetti
Cinzia Boselli
Cinzia Calvo
Cinzia Di Novi
Claudia Gandini
Claudia Tarantola
Claudio Seppi
Cristina Barbieri
Daniela Rando
Daniele Bajoni
Daniele Boffi
Davide Sassera
Donatella Marini
Donatella Mazza
Donatella Savio
Eduardo Rossi
Egidio D’Angelo
Elena Giulotto
Elio Giroletti
Elisa Roma
Elisabetta Silvestri
Emilio Vanoli
Enrica Chiappero Martinetti
Enrico Creaco
Enrico Giulotto
Ersilia De Lorenzi
Ettore Dezza
Fabio Carli
Fabio Dell’Acqua
Filippo Magni
Flavio Chiapponi
Francesca Gardini
Francesco Battegazzorre
Francesco Benzi
Francesco Bracco UniPV
Francesco Graziotti
Francesco Scervini
Francesco Sotti
Franco Marabelli
Fulvia Caruso
Fulvio Bisi
Gabriella Petaccia
Giacomo Mauro D’Ariano
Giampaolo Minetti
Giancarlo Sangalli
Gianluigi Boca
Gianni Francioni
Gianni Guidetti
Giorgio Rampa
Giovanna Bruni
Giovanni Magenes
Giuseppe Cospito
Giuseppe Savare
Guido Giuliani
Guido Lucchini
Hellas Cena
Jacques Ziller
Lauretta Maggi
Leone Porciani
Lia Guerra
Livia Capponi
Lodovico Ratti
Lorenzo Magrassi
Luca Bagetto
Luca Tartara
Luca Vanzago
Lucio Andreani
Lucio Fregonese
Ludovico Pernazza
Luigi Mihich
Luigi Pellecchi
Luisa Bernardinelli
Maddalena Patrini
Marcello Imbriani
Marco Clementi
Marco Mugnaini
Marco Porta
Marco Veneroni
Maria Enrica Tira
Marina Torre
Mario Maggi
Mario Rizzo
Massimiliano Vaira
Massimo Setti
Matteo Alvaro
Matteo Dellacasa
Matteo Maino
Maurizia Valli
Maurizio Zuccotti
Mauro Ceroni
Mauro Mario Giorgieri
Mauro Torti
Michele Ansani
Michele Livan
Milena Sorrenti
Miriam Turrini
Mugellini Amedeo
Nicola Rizzo
Norma Anglani
Paola Frediani
Paola Nola
Paola Perugini
Paolo Dionigi
Paolo Galeotti
Paolo Gamba
Paolo Ghigna
Paolo Magni
Paolo Pintacuda
Paolo Quadrelli
Paolo Venini
Paolo Vitulo
Pier Luigi Mulas
Piercarlo Mustarelli
Pierluigi Colli
Pietro Benzoni
Pietro Carretta
Pietro Savazzi
Raffaella Guglielmann
Rita Scuderi
Roberta Rabellotti
Roberto De Lotto
Roberto Sacchi
Roberto Seppi
Samuele Antonini
Sergio Comincini
Sergio Schinelli
Silvana Borutti
Silvano Romano
Silvia Cipollina
Silvia Garagna
Silvia Illari
Sonia Cristofaro
Stefano Ramat
Stefano Sibilla
Thomas Frank
Umberto Anselmi-Tamburini
Valeria Merico
Valerio Marotta
Vittorio Bellotti