Valutazione a due stadi, «l’Anvur non premierà i migliori»

Albero Baccini, professore di Economia politica a Siena e redattore del sito Roars

Nei prossimi anni si parlerà a lungo di valutazione. E sul web sono in molti ad avere le idee chiare. Alberto Baccini ci racconta in un’intervista fiume la bibliometria fai-da-te dell’Anvur

Avere una valutazione mal fatta implica dare informazioni sbagliate ai ricercatori.  A pensarla così è Alberto Baccini, professore ordinario di economia politica presso l’Università di Siena e autore del libro “Valutare la ricerca scientifica. Uso e abuso degli strumenti bibliometrici”.

Baccini, anche redattore del sito www.roars.it, dà il benvenuto alla valutazione, un po’ meno all’Anvur che, secondo lui, dovrebbe essere disegnata in maniera diversa. L’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca sta rischiando di inciampare su alcuni errori metodologici, tra questi la valutazione a due stadi.

Insomma professore l’Anvur non le piace proprio?
L’Agenzia per come è stata disegnata nasce in una forma strana, nel senso che non è un’agenzia indipendente come quella australiana o quella inglese. In termini tecnici si dice che è una agenzia esecutiva, io la definirei una specie di braccio armato del ministro.

Sul sito del Roars ha parlato di una «sperimentazione di inediti (e poco fondati) strumenti».
Inedito è il modo in cui il ministro e l’Anvur hanno disegnato la Vqr (valutazione della qualità della ricerca). “L’originalità” nasce dal fatto che solo in parte ci riferiamo al modello inglese. Mi spiego meglio. Si è pensato di applicare la valutazione al singolo prodotto di ricerca (come fa l’Inghilterra), utilizzando però un sistema duale, che vede alternarsi la revisione dei testi alla bibliometria (non presente nel sistema anglosassone). “Poco fondati” perché sono stati messi in piedi una serie di strumenti bibliometrici completamente nuovi, non presenti nella letteratura internazionale. E a mettere in piedi questa struttura sono state persone molto competenti nel loro settore, ma incompetenti in fatto di bibliometria. Essendo strumenti originali e mai stati usati è un poco rischioso applicarli all’intera università.

Ce ne dica uno.
Non si può applicare il parametro bibliometrico al singolo prodotto e dire se quel prodotto è buono in una scala di qualità. In giro per il mondo quando si usano questi parametri il singolo prodotto perde di importanza, nel senso che quel prodotto viene valutato non in quanto tale, ma in quanto pubblicato su una certa rivista che è di una certa qualità sulla base di un parametro bibliometrico. Per esempio un prodotto molto buono è pubblicato su una rivista con elevato impact factor*.

Lei quindi non contesta la bibliometria in assoluto.
No, anzi. La bibliometria può fare tante cose. Quello che io contesto è l’utilizzo che ne sta facendo l’Anvur.

Quale sarebbe la strada migliore da perseguire?
La peer rewier. L’unico modo per dire se un articolo è valido o meno è che qualcuno lo legga. Ovviamente già il fatto che l’articolo sia stato pubblicato su una rivista accettata internazionalmente presuppone che qualcuno lo abbia analizzato. E in questa fase si potrebbe anche usare qualche indicatore bibliometrico. Ma ripeto, se uso la bibliometria devo fare un  lavoro statistico e non sul singolo prodotto.

Perché in Italia la revisione paritaria non è considerata?
In Italia c’è un problema di mancanza di capitale sociale all’interno delle università per cui c’è molta diffidenza verso la peer review.

L’operazione che lei auspica è enorme?
I tempi ovviamente sarebbero molto lunghi. Ma che fretta c’è? Il modello inglese è il migliore al momento e fa proprio questo: analizza tanti prodotti di ricerca, fino a 4 per ogni ricercatore, e c’è qualcuno che legge tutto. In Inghilterra il processo di valutazione, partito nel 2011, si concluderà nel 2015.

Ma nel nostro Paese si avverte una certa urgenza di attivare il sistema…
Penso che alla base ci sia l’idea della Gelmini di punire i baroni. Si è guardato alla struttura della valutazione come ad un meccanismo di punizione. La valutazione serve, invece, a disegnare l’università.

Ci sono stati Paesi che hanno dovuto rivedere i loro sistemi di valutazione?
L’Australia è uno di questi. E’ stato messo in piedi un sistema valutazione enorme e lo sa come è andata a finire? Hanno registrato un peggioramento della ricerca perché le strategie dei ricercatori erano cambiate. Molti professori hanno iniziato a pubblicare sulle riviste che avevano dato i maggiori risultati nella valutazione. Invece di pubblicare cose buone su riviste modeste hanno pubblicato cose meno buone su riviste con elevato impact factor.

Passiamo alla ricerca umanistica…
Il sistema pensato prevede l’utilizzo di un meccanismo simil bibliometrico, ovvero l’attribuzione di un valore di qualità ai prodotti sulla base della rivista in cui sono pubblicati o dell’editore del libro. Il problema nasce nel momento in cui le classificazioni delle riviste sono affidate ai Gev, ovvero ai gruppi di valutazione nominati dall’Anvur.

Qual è il rischio?
Le classifiche delle riviste in genere sono realizzate dai valutatori o dalle agenzie specializzate. Il rischio dei Gev è che le classifiche vengano fatte a misura dei gusti scientifici dei Gev medesimi. E in tempi molto ristretti.

Per il resto il sistema potrebbe funzionare?
Bisogna considerare che a volte non c’è nessuna relazione tra il successo del singolo articolo e della rivista. Nella bibliometria si parla di “Belle addormentate”, ovvero articoli che sono pubblicati su una rivista e che poi diventano importanti dopo 10, 20 anni. Ripeto, la qualità del lavoro la giudicano gli uomini che dicono se un lavoro è stato scritto secondo gli standard prevalenti. Se poi questo è stato citato è un altro problema.

Cosa succederà con la Vqr 2004-2010?
Dipende da cosa se ne farà di questa valutazione. Se servirà a distribuire l’Ffo i danni saranno più o meno limitati. La parte ricerca pesa per una certa quota e ci saranno solo delle distorsioni nell’assegnazione dei fondi alle università. Ma ci sono altri due rischi: la chiusura delle università in base ai criteri Anvur (ma mi sembra che il presidente Fantoni abbia corretto il tiro su questo punto) e il cambiamento dei propri comportamenti in base alla valutazione.

Mi faccia un esempio.
Se mi dicono che se pubblicherò su quella rivista la mia valutazione sarà più elevata io inizierò a pubblicare su quella rivista.

Passiamo all’inglese. Il valore della ricerca può dipendere dalla lingua in cui uno si esprime?
Con la scusa della lingua si stanno difendendo alcune posizioni accademiche. E dietro queste posizioni ci sono settori scientifici che vogliono rimanere al riparo dalla scienza internazionale. Se in alcuni settori l’inglese è la lingua prevalente, non vedo perché i ricercatori italiani non dovrebbero pubblicare in tutte e due le lingue.

Anna Di Russo
[email protected]

* L’impact factor è un indice sintetico che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti.

Total
0
Shares
Lascia un commento
Previous Article

Offerta di lavoro nel gruppo Ducati

Next Article

Anvur, la strategia del merito

Related Posts
Leggi di più

Università, Messa: “Episodi concorsi isolati”

"La comunità scientifica è una comunità sana. Ha anticorpia sufficienza per reagire e autoregolarsi, ma deve misurarsi tra le altre cose con una realtà che fatica a trovare il giusto equilibrio tra trazione e innovazione, e a definire cosa caratterizzi il merito in maniera obiettiva, rendendo prossima allo zero l'ineludibile discrezionalità della scelta", parole della ministra Cristina Messa