edernet

Qualità e peer review: come cambia il rapporto nell’età del Web

l'edera attacca il vecchio edificio Il Peer review consiste, in generale, nella valutazione di un risultato scientifico, di solito un articolo, da parte di membri dell’accademia per verificare se rispetta i criteri di qualità scientifica. La valutazione avviene tra peer perché sugli scienziati, come scriveva anche Kant nel Conflitto delle facoltà, possono giudicare soltanto gli scienziati.

Ma il metodo di tale valutazione può – e deve – variare a seconda delle discipline e delle tradizioni culturali. Nell’antica Grecia, il modo migliore per provare una teoria era discuterla criticamente all’interno di una comunità. La stampa ha radicalmente trasformato le condizioni di questa pratica.
E che cos’è diventato il peer review nell’attuale sistema di comunicazione e diffusione della scienza? Un filtro, un processo di controllo della qualità, uno strumento di distribuzione del sapere?
Qual è oggi il miglior metodo di valutazione? Quali sono le questioni etiche coinvolte? È una procedura che fa davvero crescere il valore di una pubblicazione? E come è possibile usare le nuove tecnologie per migliorare i modelli tradizionali di valutazione?

A partire da novembre 2006, un dibattito sul peer review pubblicato dalla rivista Nature ha coinvolto oltre venti autori (due terzi dei quali americani, il resto dell’Europa occidentale) delle STM (Sciences Technology and Medicine) e il pubblico, che può discutere su un blog dedicato le tracce proposte. Metà degli autori ufficiali hanno presentato alcune esperienze di open peer review (una forma di peer review a posteriori) in campo bio-medico, qualcuno ha esposto e discusso questioni etiche legate al problema della valutazione scientifica, altri si sono concentrati sugli aspetti socio-tecnologici relativi alla valutazione.

Tra questi ci sono interventi che mi hanno spinto a buttar giù qualche riga di riflessione poiché chiamano in causa un problema che a mio parere è molto importante, vale a dire il rapporto tra peer review e accreditamento del sapere nella Repubblica della Scienza (cioè nell’accademia).

1. ‘I don’t know what to believe’.
L’esperimento di Sense about Science descritto da Tracey Brown merita attenzione. L’organizzazione britannica ha presentato un breve pamphlet sul peer review nelle scienze e nella medicina, per mettere in guardia il pubblico dai falsi scienziati (tipicamente “falsi guaritori”). La Brown osserva che parlare al pubblico del peer review non significa semplicemente offrire informazioni utili a conoscere il funzionamento della scienza: in più, rende possibile sviluppare un punto di vista critico e spinge a domandarsi come si è creato l’attuale sistema di accreditamento del sapere. Informato sul meccanismo, il pubblico può giungere facilmente a comprendere “that one paper is not the end of the story and that conflicting views coexist and compete”.
Ma come è accaduto che la pubblicazione su periodici scientifici cartacei abbia assunto la funzione di certificare la qualità? Nella modernità, il peer review ha certamente contribuito a tale scopo, ma non da solo. Lo spiega bene Adrian Johns nel suo The Nature of the Book.

2. Fiducia, reputazione e l’evoluzione del peer review sul Web.
Fiducia e reputazione sono elementi incarnati nelle pubblicazioni accademiche anche tramite il peer review. Tuttavia, il modello tradizionale di pubblicazione scientifica che comprende tale processo, si basa su un processo lento e costoso.
Che alternative hanno gli autori grazie al web? Alcuni esempi pratici sono indicati da William Arms. Richard Akerman discute le diverse possibilità considerando modi in cui attribuire le cinque funzioni delle pubblicazioni (registrazione, certificazione, attenzione, archivizione, ricompensa) che siano alternativi ai servizi tradizionalmente offerti dagli editori. (Il ruolo di intermediazione che generalmente si accolla l’editore potrebbe ad esempio essere assunto dai repository istituzionali o dalle biblioteche.)
Akerman dimostra come la rivista non sia indispensabile per la vita dell’articolo. E va oltre, chiedendosi perché il blog, che è una tecnologia di pubblicazione, non possa essere considerato una fonte autorevole per la produzione accademica di un ricercatore.
Esistono almeno due possibili obiezioni a questa proposta: come fa il ricercatore a trovare l’informazione che per lui è rilevante senza le riviste? E come si misura l’impatto di un articolo?
La risposta sta nella creazione di meta-servizi sulle discussioni che trovano spazio nella blogosfera scientifica. Un esempio illustre del genere è Postgenomic: “a challenging area for research to understand how online discussions reflect scientific discourse”. Usando strumenti software adeguati, gli scienziati possono seguire fili, schizzare ipotesi e partecipare a dibattiti su temi che interessano loro. Maggiore è la discussione, maggiori sono i dati sul valore di un articolo, più facile ed efficace sarà la valutazione.
L’alternativa al tradizionale peer review ex ante è il peer review ex post che avviene sul web 2.0 – che altro non è che un uso pubblico della ragione illimitato.

3. Chi sono i peer? Una riflessione sul modello di repubblica scientifica.
Infine, l’analisi di Chris Anderson sui peer punta l’indice sulle differenze tra i social network sul web e la rete sociale accademica. E suggerisce – a ragione – che la seconda abbia qualcosa da imparare dalla prima sulla base dell’argomento che, sul web, giudica e valuta chi è competente. Nell’accademia, i peer sono tali in quanto in possesso del titolo di dottorato, in virtù del rapporto con un’università o un altro ente di ricerca e, infine, in quanto sono esperti di un argomento. Sul web invece, la qualità di peer si restringe all’ultima qualità - e dunque è potenzialmente molto più ampia: i peer sono tali perché hanno lo stesso merito (Wikipedia). Inoltre, sul web l’autorità di una citazione non dipende dal fattore di impatto della rivista su cui un’idea appare, ma da quanti altri peer l’hanno citata (Google). Si assiste dunque a una forma di peer review diversa da quella accademica (un confronto interessante tra i due sistemi dal punto di vista dell’algoritmo è stato fatto da Rodriguez, Bollen e Van de Sompel)
Più in generale, sul web molti siti permettono ai loro lettori di scegliere come e cosa vedere. Si pongono gli stessi problemi di selezione dell’informazione dell’accademia, soltanto che non affrontano la questione ex ante, bensì ex post. Viceversa, la comunicazione scientifica sa svolgere bene il primo tipo di selezione, ma quasi per niente il secondo: un limite superabile, date le tecnologie oggi a disposizione.

Non c’è un modo migliore per filtrare l’informazione? Anderson indica alcuni esempi: Naboj, Philica, PLOS One. Altri sono presentati nell’ottima rassegna di Paolo Dall’Aglio.

La conseguenza di una simile trasformazione nella comunicazione scientifica può portare, come importante conseguenza a democratizzare una repubblica assai poco democratica: “in the abundance market of online journals or that of post-publication filtering, where each paper is competing with all the other papers in its field, it’s more sensible to define ‘peer’ as broadly as possible, to maximize the power of collective intelligence. In that market, prestige is just one factor in many determining relevance for a reader, and the more filtering aids that can be brought to bear, the better. From that perspective, these are exciting times. The experiments of Nature, PLoS journals and others will reveal where and how these techniques work best. But Wikipedia and Digg have already demonstrated that they do work.”

Chiedersi che fine farà la produzione accademica che non si lasci permeare dalle rivoluzioni in atto può essere una buona domanda.

This entry was posted on Wednesday, June 13th, 2007 at 7:47 pm and is filed under scholarly_communication, trust, peer-review, publishing, academia. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.

One Response to “Qualità e peer review: come cambia il rapporto nell’età del Web”

Barbz Blog » Blog Archive » Focus Group Says:
June 21st, 2007 at 6:31 pm
[…] i maestri, questa generazione di ricercatori difficilmente sarà parte integrante e decisiva di un cambiamento radicale che la comunità scientifica sarà prima o poi costretta ad affrontare. Ma noi avevamo comunque […]

You must be logged in to post a comment.

Qualità e peer review: come cambia il rapporto nell’età del Web

One Response to “Qualità e peer review: come cambia il rapporto nell’età del Web”

Leave a Reply