Riparte la macchina della valutazione per quanto riguarda la qualità della ricerca nelle Università. Dopo la pubblicazione, poche settimane fa da parte dell’ANVUR, del bando di partecipazione, arrivano le prime reazioni del mondo accademico. In particolare, la Conferenze dei Rettori delle Università Italiane ha voluto esprimere la propria apertura al sistema di valutazione, necessario per far crescere nel suo complesso il mondo della ricerca in Italia, ma ne ha segnalato alcune possibili criticità, da valutare ed eventualmente correggere.
Riportiamo di seguito il documento elaborato dalla CRUI che, in primo luogo mette a fuoco il contesto in cui si è sviluppata e si trova a vivere la ricerca in Italia negli ultimi anni, e che, poi, suggerisce i punti d’ombra e le eventuali problematicità cui va incontro la nuova sessione di Valutazione dell’ANVUR.
Prima di entrare nel merito delle osservazioni alla versione provvisoria del bando di partecipazione alla Valutazione della Qualità della Ricerca (VQR) 2011-2014, pubblicata l’8 luglio 2015, corre l’obbligo di sottolineare come la nuova VQR avvenga in un contesto in cui le condizioni del sistema universitario sono profondamente mutate rispetto al precedente esercizio della VQR relativo agli anni 2004-2010.
In primo luogo, si è assistito a un ingente ridimensionamento del sistema universitario, a seguito dei tagli progressivi al Fondo di Finanziamento Ordinario (FFO) che hanno determinato una perdita di oltre 10.000 docenti e ricercatori di ruolo e la chiusura ai giovani e meritevoli studiosi. Ciò nonostante l’impegno delle Università nell’attuazione della legge 240/2010 che ha portato, fra le altre cose, al mandato unico dei rettori, alla presenza nei consigli di amministrazione di membri esterni ai ruoli degli atenei, alla valutazione come strumento necessario per l’assegnazione delle risorse e dei fondi.
In secondo luogo, la cosiddetta parte “premiale” del FFO è incrementata notevolmente negli anni, arrivando nel 2015 a quasi 1,4 miliardi di euro (pari al 20% del FFO). Inoltre è stato introdotto il costo standard per l’assegnazione di una parte della quota base del FFO, pari adesso al 25% (circa 1,2 miliardi di euro, i restanti 3,6 sono assegnati su base storica), ma con la prospettiva di arrivare al 100% nei prossimi anni. In particolare, ciò ha comportato che nel 2015 più del 40% del FFO (quota base, quota “premiale”, intervento perequativo), pari a circa 2,6 miliardi di euro, è stato assegnato su base puramente competitiva attraverso parametri variabili e non correlati con l’andamento storico del FFO stesso.
La nuova VQR si inserisce pertanto in una situazione che vede la tenuta del sistema nel suo complesso sempre più precaria e che è stata garantita solo attraverso l’introduzione del limite di salvaguardia (quest’anno posto al -2%) sulla perdita di FFO di ogni singolo ateneo, assicurata comunque a valere sul medesimo finanziamento.
Ma è certo che anche questo accorgimento non garantirà più la tenuta del sistema se non si recupereranno le risorse tagliate al sistema nell’ultimo quinquennio e si procederà ad incrementare la parte della quota base distribuita con il costo standard e la parte “premiale” (basata peraltro sugli esiti della nuova VQR che per il singolo ateneo possono essere molto diversi da quelli della precedente VQR).
La CRUI ritiene che tale recupero sia assolutamente irrinunciabile, anche per rafforzare l’impatto e la qualità della ricerca internazionale attraverso il reclutamento di giovani ricercatori, e pertanto chiede che nella prossima legge di stabilità siano previste le risorse per garantire la tenuta complessiva del sistema e al contempo una premialità su risorse davvero aggiuntive, senza la quale l’intero sistema di finanziamento rischia seriamente di non reggere.
La CRUI ha sempre creduto in un sistema di valutazione ben congegnato e implementato per migliorare la qualità della ricerca, ma ritiene corretto avvertire MIUR e ANVUR che solo a tale condizione di recupero delle risorse tagliate sarà possibile garantire la collaborazione del sistema universitario allo svolgimento del nuovo esercizio VQR 2011-2014.
Sintesi osservazioni-suggerimenti emersi dalla consultazione online fra gli atenei.
La CRUI accoglie positivamente la pubblicazione del bando provvisorio, quale segnale dell’avvio del nuovo esercizio di valutazione nazionale, ritenendo essenziale per il sistema della ricerca che venga assicurata regolarità agli esercizi di valutazione della qualità basati su standard internazionali, rendendo al contempo più stabili nel tempo i criteri di valutazione. Ribadisce a questo proposito la necessità che venga assicurata l’efficacia e la tempestività degli strumenti informativi necessari a raccogliere le informazioni che costituiscono la base conoscitiva “certificata” per assicurare la correttezza dell’impianto valutativo. Da questo punto di vista, si accoglie favorevolmente la richiesta rivolta agli “addetti” (come definiti dal bando) a dotarsi dell’identificativo ORCID e auspica che tutti i soggetti interessati, con atto di responsabilità verso la propria istituzione e con senso di appartenenza alla comunità scientifica nazionale ed internazionale, si dotino dell’identificativo richiesto. Ribadisce la necessità che le procedure CINECA correlate a tale attività siano assolutamente gratuite per gli atenei, come dichiarato nel bando.
Per quanto attiene alle diverse sezioni del bando, traendo spunto dalle osservazioni degli atenei (che vengono riportate in modo puntuale nell’allegato), la CRUI segnala quanto segue.
– Vi è una forte preoccupazione per la distorsione che potrebbe essere introdotta dal mix di modalità diverse di valutazione (“peer review” per la metà dei prodotti complessivi/valutazione diretta o “automatica” su indici bibliometrici). Tale distorsione è stata già oggetto di segnalazione nella passata edizione della VQR. Occorrerebbe dunque utilizzare la “peer review” ove effettivamente necessaria, ponendo parallelamente la dovuta attenzione all’utilizzo di una valutazione bibliometrica dei prodotti pubblicati più recentemente, ovvero nel 2014: ad esempio, affidando la “peer review” principalmente a tali pubblicazioni per le quali la valutazione bibliometrica di impatto, affidata al numero di citazioni, è necessariamente meno affidabile.
– Si ritiene fondamentale che i criteri adottati dai singoli GEV siano resi disponibili in forma provvisoria in modo che le istituzioni possano far pervenire eventuali osservazioni. In ogni caso, tali criteri devono essere noti con anticipo sufficiente per permettere alle istituzioni di operare conseguentemente nella fase di selezione dei lavori.
– Altra forte preoccupazione emersa è quella relativa alla scala valoriale dei GEV. In particolare il nuovo dimensionamento in percentili della classificazione “eccellente” è ora così stretto che richiede un’azione fortemente coordinata e “assistita” da parte dell’ANVUR nei confronti dei GEV. Andrebbero anche forniti ex ante modelli definiti delle tabelle da pubblicare.
– Si ribadisce la necessità che, come da DM (art. 5, c. 2), il giudizio di qualità basato sulla valutazione della pubblicazione sia effettuato con riferimento alla comunità scientifica internazionale e con riferimento a standard internazionali. Si raccomanda pertanto di adeguare e uniformare in tal senso le definizioni dei cinque “livelli di qualità” (da eccellente a limitato), per quanto attiene l’area di riferimento, e coerentemente con i segmenti percentuali che vengono citati per ogni livello. Si ritiene che un tale approccio dei GEV agevolerebbe non poco il compito dell’ANVUR previsto al punto 3.4.2 della bozza.
– Per quanto riguarda la valutazione dei prodotti di addetti con incarico presso un ente di ricerca, si chiede di esplicitare come sarà distribuita la valutazione dei prodotti presentati (all’istituzione cui è stato attribuito il prodotto o utilizzando il voto medio?).
– Risulta importante evidenziare e chiarire ove necessario, all’interno del bando VQR, la coerenza con altre procedure di valutazione in capo all’ANVUR (es. Dottorato; Terza missione e legami con SUA-RD, ecc.) e la fonte delle informazioni che verranno utilizzate per la VQR.
– Per quanto riguarda le tempistiche, sarebbe opportuno integrare il calendario con le scadenze CINECA (ovvero: data in cui saranno disponibili le informazioni sugli addetti, da “certificare” poi a cura dell’istituzione). In generale è presumibile, data la ristrettezza dei tempi ipotizzati, che tutte le scadenze subiranno uno slittamento: ciò appare tuttavia assolutamente indispensabile per la scadenza del 15 gennaio relativa al conferimento dei prodotti, scadenza che dovrebbe essere spostata almeno al 31 gennaio 2016; sarebbe utile inoltre prevedere operativamente anche una eventuale “finestra temporale” che consenta all’istituzione di inserire in ORCID gli addetti che non abbiano proceduto autonomamente, benché la CRUI auspichi che, alla prova dei fatti, ciò non debba essere necessario.
Inoltre per quanto riguarda la platea di riferimento dei docenti in mobilità è opportuno fare riferimento al 31 ottobre 2015, data di completamento del piano straordinario associati, in modo da includere gli effetti di tale piano completamente nel nuovo esercizio della VQR.
– Un aspetto particolarmente importante è la valorizzazione della collaborazione CRUI-ANVUR, che per stesso riconoscimento dell’ANVUR ha prodotto positivi risultati, condivisi da molti atenei. Poiché le metodologie utilizzate sono state utilizzate dagli atenei anche per la ripartizione interna (livello dipartimentale) delle risorse, contribuendo a contenere la proliferazione di modelli e metodologie interne agli atenei e fornendo una valida base operativa per la valutazione dei Dipartimenti e ripartizione delle risorse, andrebbe quantomeno richiamata, quale elemento ulteriore e integrativo in aggiunta agli indicatori sintetici (che costituiscono per così dire i “requisiti minimi” della VQR), la continuità di tale esperienza. Si raccomanda in particolare che venga assicurata la disponibilità, per la prossima VQR, delle elaborazioni del voto standardizzato, oltre che la normalizzazione sui settori scientifico disciplinari.
– Infine si riportano le preoccupazioni circa il confronto con il precedente esercizio della VQR misurato attraverso l’introduzione dell’indicatore di miglioramento, a cui peraltro è stato assegnato un peso tre volte superiore agli indicatori di attrazione risorse e di alta formazione che pare sproporzionato o quantomeno non adeguatamente motivato. A causa delle modifiche intervenute (criteri, fasce, ecc.) appare inevitabile l’incomparabilità “diretta” dei risultati della prossima VQR con quelli della VQR 2004-2010. Si richiama l’attenzione sulla problematicità dei confronti fra VQR 2004-2010 e VQR 2011-2014, in particolare per quanto attiene la differenza della performance relativa all’indicatore R nella VQR 2004-2010 e nella VQR 2011-2014. Nell’ambito della collaborazione ANVUR-CRUI, la CRUI conferma la sua disponibilità allo studio della applicabilità del voto standardizzato e dei percentili ad esso associati per la definizione di indicatori di miglioramento.
CRUI: "Crediamo nel sistema di valutazione della ricerca, ma ci sono aspetti da migliorare"
