Lorenzo Rampa: risposta a De Nicolao

Riceviamo e volentieri pubblichiamo la replica del Prof. Lorenzo Rampa all’articolo “Some like it wrong” – Risposta a Rampa di Giuseppe De Nicolao, precedentemente pubblicato sul nostro blog.

Giuseppe De Nicolao va ringraziato per l’infaticabile attività di critica alle esperienze di valutazione e al loro utilizzo nella prospettiva di un miglioramento progressivo della loro base scientifica e metodologica. Nella risposta al mio intervento su Agorà a proposito del Piano triennale trascura molti aspetti dello stesso per concentrarsi sul vaglio della questione da me posta di “quanto sia stato azzardato e (gravemente) compromissorio utilizzare in via provvisoria l’indice stesso (H norm) anche per Aree con un basso tasso di copertura della produzione scientifica”. Va da sé che la questione riguardasse sia la correttezza dei criteri di costruzione dei dati che l’aspetto delle conseguenze di quell’utilizzo sul riparto delle risorse del Piano Triennale del personale.

1. Riguardo alle conseguenze di quell’utilizzo sul riparto delle risorse nel mio intervento non ho portato fino in fondo l’argomento, nonostante che l’imputazione di eccessiva fretta nel decidere un’anticipazione di punti organico ai Dipartimenti pur nell’imminenza della pubblicazione dei risultati della VQR meritasse di essere maggiormente discussa.

Nella Tabella qui riportata si possono leggere i valori dell’indicatore di ricerca (IR) ottenuti se si fossero utilizzati indicatori desunti dalla valutazione VTR (datati ma disponibili e allora proposti in alternativa all’ indicatore H norm) oppure desunti dalla VQR (al momento non ancora disponibili)[1].

Nelle ultime tre colonne si possono poi vedere il riparto dei punti tra i Dipartimenti decisa dagli Organi di governo nonché gli scarti dallo stesso che si sarebbero verificati adottando diversi indicatori di ricerca. Le differenze in termini di punti organico sono trascurabili e, ritengo, tali da non determinare gravi compromissioni delle future rimodulazioni del Piano triennale. Più significative sono le differenze negli indicatori di ricerca. A proposito di questi ultimi devo tuttavia ricordare che nella mia replica avevo comunque evidenziato come, in ogni caso, i dati VQR necessitassero di ulteriori elaborazioni a causa della loro eterogeneità[2]. Dunque il senso della Tabella è esclusivamente quello di dare un’idea degli ordini di grandezza delle differenze determinate dall’utilizzo di indicatori alternativi ai fini del riparto. Anticipo subito, tuttavia, che mi attendo da De Nicolao una critica radicale a questo esercizio che si basa sulla possibilità di aggregare gli indicatori VQR di Aree diverse (per i suoi argomenti si veda ad esempio il recente contributo su ROARS: http://www.roars.it/online/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013).

2. La critica cruciale di De Nicolao riguarda però la mia affermazione circa la “discreta correlazione”tra gli indicatori di Area utilizzati in quell’occasione e desunti da Scholar Search (d’ora in poi SS) e quelli desunti dalla VQR.  Devo ammettere che tale affermazione, fatta a sostegno della mia tesi di non grave compromissione, doveva essere meglio precisata per essere sottoposta ad un vaglio tecnicamente rigoroso come quello proposto da De Nicolao.

La mia asserzione infatti riguardava palesemente il confronto tra dati a 14 (per Pavia 13) Aree CUN. Essi costituiscono aggregazioni di circa un migliaio di dati individuali diversamente normalizzati da SS e da VQR e raggruppati secondo criteri disciplinari in un numero molto basso di Aree di dimensione assai diversa. Ciò pone diversi problemi tra cui i principali sono: (a) la difficoltà di assumere la validità delle ipotesi statistiche che supportano i test standard di correlazione a causa della scarsa numerosità delle osservazioni e (b) la difficoltà di eliminare le distorsioni derivanti dall’eterogeneità intrinseca alle serie. Le cause principali di eterogeneità sono ovviamente dovute alla diversità dei criteri di misura e di normalizzazione, come avevo chiaramente premesso, oltre che alle differenze dimensionali delle Aree. Vi era dunque da attendersi che la significatività della correlazione potesse essere sensibile al livello prescelto di aggregazione. Non era però mia intenzione affrontare tutti questi problemi e l’enunciato, effettivamente piuttosto vago, era basato su livelli di significatività di poco al di sotto di quelli usualmente richiesti[3]. Non ho invece ritenuto, ai fini assai più modesti della mia replica, di procedere ad analisi statisticamente più fini.

De Nicolao sottopone la mia affermazione a prova statistica mediante minimi quadrati ordinari a livello di 15 Aree seguendo la classificazione VQR. I suoi risultati sono ineccepibili e vedono peggiorare in misura non trascurabile la significatività della correlazione. Come è ineccepibile l’evidenza delle rilevanti differenze tra valori degli indicatori di alcune Aree. La responsabilità principale della perdita di significatività della correlazione passando da 13 a 15 Aree è dovuta all’aumento dell’eterogeneità dimensionale. Infatti due aree generate dalla classificazione ANVUR, la 8.b e la 11.b, quella caratterizzata dal più elevato scarto tra i valori dei due indicatori[4], hanno dimensione inferiore al 1,5% a fronte di una dimensione media di 6,67%.

3. Le considerazioni precedenti inducono a ritenere che la correlazione migliorerebbe se si riducessero le due principali fonti di eterogeneità, quella dimensionale e quella relativa ai diversi criteri di misura e di normalizzazione (sulla deviazione standard di ogni SSD per SS e sulle medie di Area per ANVUR). In particolare le deviazioni standard, di cui ANVUR non tiene conto, sono molto diverse nei diversi aggregati, e più alte nelle Aree (tra cui ho segnalato ad esempio la 6 e la 13) con elevate percentuali di penalizzazione nei dati VQR.

Ad esempio se si utilizzassero come aggregati i 17 Dipartimenti pavesi attivi alla data di riferimento della valutazione VQR, ovviamente caratterizzati da minore eterogeneità dimensionale[5], si otterrebbe un notevole aumento di significatività della correlazione[6]. Vi è da attendersi inoltre che questa aumenterebbe ancora se si tenesse conto delle penalizzazioni incorporate nei dati VQR[7]. Risultati non particolarmente diversi si otterrebbero con dati riferiti al livello dei 18 Dipartimenti che, dopotutto, costituisce quello rilevante in questa discussione[8]. Naturalmente questi esercizi hanno solo un valore largamente preliminare, in quanto il loro uso a fini predittivi richiederebbe un più attento raffinamento dei dati ed una selezione più accurata del modello di stima.

Come avevo anticipato più sopra, mi aspetto le possibili obiezioni di De Nicolao per aver aggregato dati riferiti a Aree diverse e dunque, a suo giudizio, incomparabili e in-aggregabili per loro natura Sotto questo profilo credo che il dissenso tra noi riguardi la possibilità di migliorare l’affidabilità dei dati stessi e la loro utilizzabilità a scopi distributivi. Nella mia replica avevo fugacemente alluso a questa possibilità, invocando qualche metodo volto a ridurre gli effetti dell’eterogeneità e a evitare sovra o sottostime per alcuni Dipartimenti in cui prevalgono docenti e ricercatori afferenti ad Aree con varianze molto elevate (in parte dovute agli effetti delle penalizzazioni). Mi sembra però di capire che De Nicolao, dopo aver biasimato insieme a Barbieri l’assegnazione di punti del Piano triennale prima dell’uscita dei dati VQR, e poi raccomandato cautele nell’uso degli stessi (VQR: maneggiare con cura), sia infine pervenuto alla conclusione che essi siano da rigettare completamente (VQR da buttare?). Ma allora che fare? Cosa suggerire al governo dell’Ateneo ai fini della rimodulazione del Piano triennale? Ricominciare tutto da capo con una valutazione interna? Non tener conto di alcuna valutazione, per quanto imperfetta, nella distribuzione delle risorse? Potrei attendermi una risposta del tipo: la distribuzione delle risorse è essenzialmente una questione di scelta politica e non tecnica. Ma una distribuzione motivata in termini esclusivamente politici è proprio ciò che preferirei evitare.