Il processo di peer review

Il processo di peer review, conosciuto come revisione tra pari, rimane ad oggi il principale metodo alla base della valutazione, e conseguente selezione, delle pubblicazioni scientifiche. È infatti qui che inizia la storia dei diversi manoscritti (paper) che ambiscono ad essere pubblicati sulle riviste scientifiche.

Esistono tre tipologie di peer review

Quando un paper raggiunge una rivista scientifica viene valutato attraverso un primo screening dell’editore che, in caso lo ritenga meritevole di attenzione e conforme alla propria linea editoriale, lo sottopone ad un gruppo di esperti, ovvero i revisori. Questi conoscono l’argomento trattato e posseggono competenze per giudicarlo ed esprimere un parere sulla correttezza metodologica e di contenuto dell’articolo proposto.

I revisori esprimono poi un giudizio con richiesta di eventuali modifiche o aggiunte per migliorare la completezza dell’articolo, che influenzeranno la decisione finale dell’editore: accettare, generalmente con delle variazioni, o rigettare l’articolo.

Esistono tre tipologie di peer review:

• La single blind, dove l’identità degli autori è conosciuta dal revisore ma non viceversa
• La double blind, dove autori e revisori sono mantenuti in cieco
• La open review, dove tutte le identità sono allo scoperto

Una più recente forma di revisione è la post publication peer review, in cui la revisione stessa viene eseguita post pubblicazione dell’articolo, che vive quindi una second life e dove le modifiche vengono apportate in corso d’opera sulla base delle osservazioni poste dai revisori.

Laddove all’autore siano richieste delle modifiche minori dell’articolo si parla di minor revision, mentre se queste sono di carattere sostanziale vengono definite major revision. Anche a processo di revisione avviato l’editore potrebbe decidere di non procedere con la pubblicazione dell’articolo; questo può avvenire spesso per mancanza di spirito critico da parte degli autori, non accettazione dei suggerimenti posti dall’editore o non adeguamento alle segnalazioni fatte dal revisore.

Vantaggi del processo di peer review

Il processo di peer review offre vantaggi a tutti gli attori coinvolti, in quanto gli autori hanno la possibilità di migliorare il proprio lavoro in termini di qualità e chiarezza, gli editori ottengono una consulenza tecnica gratuita, i revisori si aggiornano molto più velocemente rispetto agli studiosi che non si occupano di tale attività e i lettori possono usufruire di un prodotto di qualità.

L’obiettivo primario della peer review dovrebbe quindi essere la disseminazione di conoscenze scientifiche rilevanti per la comunità scientifica ma esistono anche casi eclatanti in cui questa ha fallito, basti ricordare il caso di Lancet che pubblicò un articolo che correlava il vaccino MMR all’insorgenza di autismo o quello di Ocorrafoo Cobange, nome di copertura di John Bohannon, biologo che inventò un manoscritto dove descriveva le proprietà anticancerogene di un nuovo composto, cercando di rendere l’articolo biologicamente plausibile ma con errori di metodologia e struttura notevoli.

Dopo averne sottomesse circa 304 versioni e aver ricevuto 157 approvazioni capì che la maggior parte di queste riviste non aveva sottoposto a revisione tale lavoro. Un’altra insidia oggi è rappresentata dalle riviste predatorie che, millantando una rapida pubblicazione, ammaliano giovani ricercatori tramite attraverso un’imponente opera di mail phishing o seducente comunicazione sui social media.

Alcuni studi hanno evidenziato come alle volte alcuni revisori non siano in grado di intercettare errori negli studi proposti, o di valutare la completezza del reporting delle informazioni. Altre ricerche hanno indagato l’efficacia di possibili interventi per migliorare il processo di peer review, come, ad esempio, training specifici o azioni di mentoring tra revisori giovani e anziani, non dimostrando però un aumento della qualità delle revisioni ma bensì un aumento delle raccomandazioni di rifiuto degli stessi.

L’aggiunta di uno statistico tra i revisori risulta, invece, essere una strategia vincente nel potenziare la qualità dei manoscritti finali. L’adozione di una forma open di peer review, dove tutte le identità sono rivelate, aumenta la qualità del report prodotto dai revisori, e le raccomandazioni di rifiuto diminuiscono.

Il processo di peer review non è quindi esente da possibili falle del sistema, ma ad oggi rimane il metodo migliore per valutare la rilevanza, veridicità, eticità degli studi e contrastare la pubblicazione di risultati falsi o inadeguati.

Dalla selezione alla possibile rejection

Non tutti gli articoli superano questo processo di selezione, andando così incontro ad un rifiuto (“rejection”). I motivi di una rejection possono essere diversi, così come anche gli effetti che può produrre sul ricercatore, tra i quali, sentendosi afflitto, il chiudere definitivamente il proprio paper all’interno di un cassetto.

Cosa succede poi al paper rifiutato? Circa tre su quattro vengono poi pubblicati su altre riviste, nei 5 anni successivi alla prima rejection. Non è chiaro, ad oggi, quanto i commenti dei precedenti revisori possano o meno essere stati seguiti o avere effettivamente migliorato il lavoro prodotto.

La rejection è una esperienza molto diffusa, paradossalmente sperimentata anche dagli editor stessi, persino all’interno delle proprie riviste. In un curioso editoriale un editore del Canadian Medical Education Journal racconta l’esperienza di rifiuto di un suo articolo, dopo un accurato processo di revisione, da parte di un altro editor. Questo evento è stato per lui prova della robustezza ed integrità del processo stesso di peer review.

In questo articolo confessa anche dei possibili errori di valutazione, ovvero potrebbe capitare di rigettare degli articoli che avrebbero potuto accrescere le conoscenze di un determinato campo commettendo così un falso negativo, (si rigettano articoli che non dovrebbero essere rigettati) o dei falsi positivi, accettando di pubblicare articoli forse non davvero meritevoli.

E quando si riceve una revisione?

È necessario seguire pochi step: leggere attentamente i commenti dei revisori, ogni suggerimento può essere fonte di apprendimento, anche se la prima reazione può essere quella di insofferenza o voglia di far saltare tutto in aria, è necessario assumere una posizione oggettiva e interpretare senza essere trascinati dalle emozioni. Probabilmente, ad una prima lettura, più superficiale, inevitabilmente avverrà.

Le domande che consentono di fare una sorta di autoanalisi critica sono: Ho risposto alla mia domanda di ricerca? Il mio razionale è solido? Ho letto sufficiente letteratura in merito? Le mie analisi sono robuste anche in termini statistici?

Potrebbe capitare di non essere completamente d’accordo con le revisioni ricevute e in questi casi potrebbe essere utile provare a motivare il perché, assicurandosi però di aver interrogato sufficientemente la letteratura e cercando di approfondire il più possibile la propria discussione. Cambiare giornale può essere un’idea, magari l’argomento proposto non ricade tra gli oggetti di interessa della rivista tentata precedentemente. Provare subito con riviste di alto livello spesso è fonte di amara delusione e scoraggiamento.

Molti ricercatori hanno riportato le loro esperienze di rejection, attraversando una curva ascendente di frustrazione per poi giungere in cima e riscendere accompagnati dall’ironia. Alcuni ricercatori suggeriscono di ricordarsi che tutti, ma proprio tutti, hanno ricevuto almeno una rejection, e questa non rappresenta una valutazione personale ma professionale, è la lettura di un articolo in un singolo giorno, non il giudizio di un’intera carriera.

Per i progetti di ricerca futuri il primo passo è pensare ad una domanda di ricerca rilevante e significativa per la pratica clinica, tessendo una rete di persone che possa collaborare nella costruzione del progetto.

La multidisciplinarietà in questi casi è fondamentale, potrebbe essere richiesto il consulto di un biostatistico, di un eticista, di un documentalista ed infine far leggere il proprio lavoro ad un collega-tutor con maggiore esperienza nel campo. Infine, come disse Aaron Carrol in un celebre articolo pubblicato sul New York Times: Peer review is the worst way to judge research except for all the other ways.