Valutazione della ricerca all'IIT

I ricercatori e il personale dell'IIT vengono informati in anticipo sui processi di valutazione in corso, comprendendone le finalità e il contesto. Questi processi possono riguardare sia l’attività individuale di un ricercatore, sia quella di un gruppo o di un centro di ricerca.

Quando si confrontano gruppi di ricerca, gli indicatori vengono accompagnati da informazioni contestuali, come il numero di membri del gruppo, i comportamenti del dato citazionale nel settore e la normalizzazione in base al budget ricevuto. Si riconosce che, in alcuni casi, non è appropriato utilizzare determinati dati quantitativi e che può essere necessaria una normalizzazione. Si raccomanda inoltre ai valutatori di tenere conto delle differenze tra i vari campi di ricerca.

La valutazione della ricerca deve integrare diverse prospettive e considerare più livelli di analisi (accademico, economico, sociale) per garantire un processo decisionale solido e basato su evidenze. Si raccomanda l'uso di un'ampia gamma di criteri qualitativi e di una serie di indicatori quantitativi, evitando il ricorso a una singola misura isolata.

Gli indicatori quantitativi possono supportare processi decisionali informati e aiutare a identificare possibili pregiudizi o preconcetti. Tuttavia, il loro valore è influenzato da fattori come la fase di carriera del ricercatore, la disciplina, il focus specifico della ricerca e altre variabili. Per questo motivo, la peer review (attraverso panel di esperti o comitati di valutazione) deve integrare questi indicatori, offrendo un giudizio esperto e fornendo il contesto necessario in ogni processo di valutazione all'IIT.

I dati sorgente vengono resi disponibili ove possibile. Ad esempio, quando si analizza il portfolio di pubblicazioni di un gruppo di ricerca, i ricercatori possono accedere alle informazioni su come sono state reperite le pubblicazioni e i relativi metadati (ad esempio, da Scopus o Web of Science), oltre a visualizzare i dati relativi a pubblicazioni e citazioni. Sono inoltre fornite indicazioni su come richiedere eventuali correzioni. Allo stesso modo, anche i dati relativi a finanziamenti, grant, attività commerciali e brevetti devono essere verificabili.

Ove possibile, i criteri di valutazione devono essere accessibili ai ricercatori, e gli indicatori quantitativi utilizzati devono essere facilmente riproducibili. I ricercatori devono poter controllare e verificare le informazioni bibliometriche impiegate per la generazione degli indicatori.

I sistemi di valutazione adottati sono progettati per adattarsi alle esigenze in evoluzione dell'IIT e alla continua trasformazione del panorama della ricerca. I criteri e gli indicatori di valutazione qualitativa vengono aggiornati regolarmente e rivisti con il contributo di tutti gli stakeholder, inclusi il personale scientifico e il management.

Viene adottato un approccio "basket of metrics" per evitare un eccessivo affidamento su un singolo indicatore. Saranno riconosciuti i limiti delle metriche, come il significato e l'interpretazione dei conteggi delle citazioni, nonché i problemi di falsa accuratezza e variabilità associati ad alcune metriche a livello di rivista. Inoltre, i limiti legati alle piccole dimensioni del campione saranno presi in considerazione in ogni analisi.

Il personale dell'IIT responsabile dei processi di valutazione dovrebbe essere costantemente formato per garantire che tutti gli attori coinvolti siano informati e operino in conformità con questi principi. È fondamentale condividere con la dirigenza le best practice più recenti e le potenziali criticità degli indicatori, quando presenti.