Sperimentazione
C’è un imperativo, direi un dogma
(lo so, suona male parlando di scienza), che guida ogni ricercatore
che sa fare il suo mestiere: la riproducibilità dei
risultati sperimentali.
Chiunque annunci di aver fatto una «scoperta», non solo si deve aspettare che altri colleghi ripetano l'esperimento nei loro laboratori, cercando di ottenere gli stessi risultati, ma anzi deve auspicare che ciò accada. Ogni articolo scientifico descrive nella sezione «Materiali e metodi» le procedure sperimentali o teoriche usate, inclusi preparazione dei campioni, apparecchiature, protocolli, agenti chimici, metodi statistici, software e autorizzazioni etiche, se richieste. Provare per credere dunque! Se in questa sezione sono presenti evidenti lacune, il lavoro non viene pubblicato e agli autori viene fornito un elenco di modifiche da apportare, a volte accompagnato da commenti anche molto critici. Se ciò che si dichiara non può essere verificato nonostante protocolli formalmente corretti, allora probabilmente da qualche parte c’è un errore, almeno. La riproducibilità dei risultati è un vaglio cieco e spietato, che protegge la scienza dagli errori, a volte vere e proprie ca…ntonate e, soprattutto, aiuta a distinguere, nel marasma delle cose che capitano, quello che scienza non è. Ad esempio, le truffe - tra cui includiamo le fake news - oppure, emotivamente parlando, la suggestione collettiva e la manipolazione inconscia.
Scienza patologica…e sovietica
La mente del ricercatore «contagiato»,
pur accettando a priori le regole fondamentali del metodo scientifico
sperimentale, inconsapevolmente se ne allontana e comincia a interpretare i
dati in base ai propri desideri. Il bello è che, a prima vista, l'indagine
condotta ha una parvenza di ordinaria credibilità - cosa che di solito fa presa
non solo sul grande pubblico complottaro,
ma anche su vari addetti ai lavori che cadono vittime dell’esaltazione per, ciò
che ritengono essere, una grande scoperta. Ma un’indagine obiettiva mostra
subito che il fenomeno accade solo in una regione piuttosto limitata dello
spaziotempo, cioè sotto gli occhi di chi brama vederlo. Nonostante ci siano
prove più che sufficienti a dimostrare l'inconsistenza del tutto i ricercatori
colpiti dal male si ostineranno a difendere le proprie teorie iperboliche,
controbattendo alle critiche con congetture buttate lì seduta stante. Dopo un
po’, nella scienza sana prevale lo scoramento e si riprende il largo
abbandonando la fantasiosa scoperta al proprio destino. Ci penserà il tempo a
sommergerla nell'oblio o farle toccare terra in altre epoche, regalando
eventualmente alle teorie alla deriva una seconda opportunità. Personalmente,
ne ho conosciuto uno…
Insomma sembra un po’ il contrappasso del debunking che, stando ad
analisi recenti e affidabili, pare non serva a nulla. Il tentativo di smontare
le bufale nella speranza che si arresti la diffusione di informazioni false
online non funziona insomma. Ci sono evidenze scientifiche che hanno dimostrato
chiaramente che questa pratica è utile soltanto per chi già è predisposto a
cercare la versione smentita. Si predica ai convertiti.
Ma non attecchisce laddove dovrebbe
farlo, e a peggiorare le cose causa un effetto di maggiore polarizzazione
dovuto al fatto che chi si vede arrivare delle informazioni a smentita della
sua tesi si arrocca sempre più su posizioni difensive reagendo con veemenza.
C’è poi anche ciò che amo definire scienza sovietica. Quanto accadeva nell'URSS decenni fa o dando ascolto a scienziati di comprovata fede politica, tipo Lysenko (si veda qui per la vicenda e la tragica fine di Vavilov), che prese una cantonata genetica clamorosa; o, al contrario, non ascoltando scienziati e teorie valide perché non in linea con la linea del partito. Un po’ come la cosiddetta identity politics condiziona il pensiero politico qui potremmo parlare di identity science se non fosse che parlarne in tal senso sia un evidente paradosso.
Ciò nonostante, ci sono ancora dozzine di casi di false scoperte e pseudoscienza che continuano a riaffiorare.
C'è inoltre una vergognosa top ten dei 10 articoli ritrattati, sbagliati, più citati. Articoli che dopo
essere stati ritrattati e ritirati hanno ricevuto ancora più like, persino
dalla comunità scientifica internazionale.
Ancora in lista all’ottavo posto, c'è il famigerato articolo di Andrew Wakefield che suggeriva un legame tra vaccino
trivalente e autismo. Quel lavoro venne pubblicato nel 1998 e fu ritirato nel
2010. Le sue conclusioni sono state più volte smentite, la condotta di
Wakefield giudicata scorretta e l'intera storia è stata raccontata allo
sfinimento. Ciò nonostante, l'articolo continua a galleggiare sull'oblio, anche
grazie ad alcuni scienziati forse superficiali, fosse distratti, forse chissà.
Ma se loro per primi non si chinano a seppellire i cadaveri, né li riconoscono,
non si capisce bene chi dovrebbe farlo.
Di clamorose cantonate prese da fior di scienziati ne è piena la storia, tra le più famose quella della «memoria dell’acqua» (si veda il paragrafo dedicato all’omeopatia in questo mio post) e quella della «fusione fredda» (qui).
Publish or perish
Durante la pandemia da Covid-19 ad esempio, la tendenza a pubblicare rapidamente i risultati delle ricerche sul tema è aumentata parecchio e non sono mancate le ritrattazioni eccellenti, con annesse polemiche, critiche anche feroci da parte di improvvisati tuttologi e cali generalizzati della fiducia da parte dell’opinione pubblica, già soggetta ad un bombardamento continuo di fake news costruite a tavolino.
La ritrattazione avviene quando un articolo viene rimosso dall'archivio
della rivista su cui è stato pubblicato, e sostituito con una nota editoriale
in cui si spiegano le ragioni del dietro-front.
In genere si tratta di ricerche viziate da gravi errori plagio e frodi
accertate o sospette. Il ritiro dell'articolo può essere richiesto dall'autore
stesso o da altri ricercatori perché non riescono a riprodurre i risultati del
lavoro incriminato seguendone i protocolli. Occorre innanzitutto evitare che un
articolo sbagliato funga da base per ulteriori studi, inquinando la letteratura
di riferimento; questi dolorosi mea culpa sottolineano la natura auto correttiva e la
vocazione alla trasparenza della scienza, i cui risultati ricadono idealmente
sulle vite di tutti e ne diventano patrimonio ed eredità.
La scienza è, soprattutto oggi, una grande impresa collettiva, e da ciò
derivano la sua forza e la capacità di isolare gli errori: lo strumento
collettivo utilizzato, in cui ogni ricercatore diventa giudice dei colleghi e
da essi viene giudicato si chiama peer review,
revisione tra pari. È Il sistema di controllo adottato dalla maggior parte
delle riviste scientifiche ed elimina la spazzatura macroscopica. La pratica
della peer review venne introdotta nel 1665 col
numero inaugurale della rivista «Phylosophical
Transactions» della «Royal Society for
Improving Natural Knowledge», la prima istituzione scientifica della
storia degna di questo nome, citata brevemente come Royal Society.
Una procedura ben consolidata quindi, ma è davvero efficace?
Ovviamente ci sono storie davvero tristi. Un biologo e giornalista scientifico nel 2013 inventò di sana pianta un articolo sulle proprietà antitumorali di una sostanza estratta dai licheni. Infarcì l’articolo di errori così grossolani che anche uno studente delle superiori se ne sarebbe accorto, spedì l’articolo a 304 riviste open-access (ad accesso gratuito, ci sono poi quelle in abbonamento), inventandosi uno pseudonimo davvero improbabile e il nome dell’istituto di ricerca, localizzandolo, a caso, in Eritrea.
Ben 157 riviste pubblicarono quella spazzatura. I valutatori o avevano
lavorato coi piedi, meglio dire non lavorato, o proprio non esistevano. Più
della metà delle decisioni finali non avevano rapporti di approvazione.
In un altro caso la allora direttrice del British Medical Journal nel
1998 inviò a duecento revisori (referee) un articolo contenente,
apposta, ben otto errori di vario tipo. In media gli esperti ne trovarono due,
nessuno li scovò tutti, e per qualcuno l’articolo era perfetto.
Tornando alla domanda a monte va detto che l'obiettivo di fondo della procedura di peer review non è garantire la correttezza dei dati riportati facendo così emergere truffe e manipolazioni ma, piuttosto, assicurare la correttezza formale e metodologica del lavoro. Se un revisore ha dubbi sui risultati, può richiedere altri esperimenti. Tuttavia, spesso non è facile valutare la validità delle misure, quindi di solito i risultati vengono accettati.
La procedura pur avendo numerosi limiti tecnici riesce comunque
abbastanza bene nel controllo della forma e del metodo del lavoro e nel caso
sbagli, il punto di forza della peer review e ancora una volta la capacità di autocorreggersi. Può accadere che un
articolo di buona qualità, rifiutato da una rivista prestigiosa, venga poi
accettato altrove e venga ampiamente citato, riconoscendone l'effettivo valore.
Inoltre, la peer review è solo il punto di partenza
di un percorso in cui il tempo giocherà un ruolo fondamentale. Se in un
certo lavoro c'è davvero del buono, altri verranno a replicarne i risultati, a
costruire sulle conclusioni della scoperta, ritagliandole il posto che merita.
Nota:
quanto guadagnano i revisori dalla loro attività? Zero.
Operano a titolo gratuito; e ancora, riviste prestigiose in abbonamento, non
sono per questo più autorevoli di quelle gratuite.
La possibilità offerta da questi di realizzare in modalità pressoché
automatica lavori da sottoporre a pubblicazione e peer review è stata, già da
qualche anno, oggetto di una levata di scudi da parte della comunità
scientifica; ciò nonostante, non sono mancati episodi più o meno eclatanti di
ricercatori rivelatisi alla fine non meno peggio di tanti ciarlatani. Ma qui le
cose si invertono.
Ci sono ormai evidenze che l’AI sia utilizzata dai revisori, per
automatizzare il loro lavoro, generando spesso risultati completamente errati.
Ricordo che un LLM segue sempre la stessa metodologia, sia che fornisca
risposte corrette che sbagliate (sulla pagina Facebook di
Walter Quattrociocchi ci sono numerose informazioni utili).
Ed ecco che non è l'autore della pubblicazione da sottoporre a review
che sta barando, ma chi dovrebbe leggerlo, allora il primo non fa che
difendersi: questa scelta è stata difesa, con razionalità, sostenendo che i prompt
nascosti rappresentano una contromisura contro i revisori
pigri che usano l’AI. Secondo il professore, in assenza di regole
univoche sull’integrazione dell’AI nel processo di peer review, e sapendo che molte
riviste vietano esplicitamente l’uso dell’intelligenza artificiale per valutare
i lavori, l’aver inserito dei prompt leggibili solo dalle AI rappresenta
un modo per poter controllare questa pratica e smascherarla dove presente.
Ad ogni modo, e lo affermo in maniera asettica, appare probabile che in
un futuro non proprio lontano, il ruolo dell’AI nella revisione delle
pubblicazioni scientifiche sarà preponderante. La capacità di assorbimento
della necessaria letteratura che qualsiasi LLM potrà offrire, e spesso già
offre, supera di diversi ordini di grandezza le potenzialità di chiunque, con
buona pace di Borges e della sua biblioteca.
Spiccioli di matematica
In ambito scientifico, la dimostrazione matematica
è lo strumento più infallibile e potente che si ha per produrre conoscenza. È
Verità con la V. Un enunciato di cui viene data dimostrazione matematica vale
in qualunque tempo e in qualunque angolo dell’Universo. Un teorema dimostrato è
per sempre, altro che diamanti (che tra l’altro non lo sono trattandosi della fase instabile del carbonio…ma non divaghiamo).
Una dimostrazione inizia da una serie di assiomi,
asserzioni vere perché evidenti a chiunque (tipo quelle di Euclide e dei suoi
fondamenti). Si prosegue poi con logica inoppugnabile passo dopo passo alla
necessaria validità della conclusione, che è poi l’enunciato
stesso del teorema. Solidità dei blocchi di partenza e correttezza formale del
ragionamento. Criteri così scrupolosi e condivisi non esistono in nessun altro
campo di indagine.
Quando i matematici dimostrano usano uno strumento molto più
affidabile di qualsiasi altra prova scientifica usata da chimici, fisici
e via discorrendo, men che mai da medici o psicologi. Nel loro procedere questi
ultimi non usano strumenti logici impeccabili ma si affidano ad osservazioni ed
esperimenti, che è comunque la base del metodo scientifico fin dal suo ideatore, Galileo Galilei. Studiano un
fenomeno, formulano una certa ipotesi e la vagliano alla luce di un esperimento
che ne esamina l’efficacia, sia nello spiegare il fenomeno sia nel suo saper
predire l’esito di altri fenomeni. Esperimenti non necessariamente fisici, ma
anche esclusivamente mentali, come quelli di Einstein. Quelli raccolti man mano
sono solo indizi, mai certezze, che costituiranno le fondamenta di una teoria
al massimo altamente probabile. Nonostante
le tante e solide prove scientifiche a disposizione, concettualmente almeno,
nulla che derivi da osservazione e percezione è mai inconfutabile né univoco.
Ogni esperimento, per quanto condotto a regola d’arte, è comunque fallibile,
parziale e diversamente interpretabile. E tutto ciò nonostante la rivoluzione
della Meccanica Quantistica, che ci ha insegnato ad accettare ad esempio
fenomeni assolutamente controintuitivi e al limite del paradosso, sui quali
però, innegabilmente si basa il funzionamento di tantissima tecnologia.
L’intrinseca debolezza della prova scientifica è comunque il nutriente del progresso
scientifico, dei cambiamenti di paradigma; ogni qual volta una teoria, fino ad
allora ritenuta valida, per lo meno la più corretta, è stata sostituita da
un’altra, con la consapevolezza che qualsiasi spiegazione o modello, anche se
decisamente migliore del precedente, rimarranno comunque viziati da qualche
elemento di incertezza.
La conoscenza che deriva dalla logica matematica, invece, è ben più
assoluta e definitiva di quella di ogni altra disciplina. Perderemo le nostre
città, l'ultima delle piramidi d'Egitto si sgretolerà a terra come accadde alle
altre meraviglie del mondo antico, dimenticheremo storie, poemi e le opere
d'arte verranno inghiottite nella marea dei secoli, ma le intuizioni di Euclide,
l'algebra o il calcolo infinitesimale no, quelli ci accompagneranno anche su un
altro pianeta.
Per evitare comunque interpretazioni scorrette sulla apparente mancanza
di validità (fino a prova contraria) di una teoria scientifica, suggerisco di
approfondire tra i miei post ogni qualvolta ho fatto, da profano, un po’ di filosofia della scienza, o quando ho citato e spiegato il falsificazionismo di
Popper.
Conclusioni
Sulla base di una sorta di generico principio democratico si assiste spesso a dibattiti dove vengono messi a confronto scienziati con sedicenti esperti o comunque personaggi influenti. Ma dare a tutti lo stesso tempo per esporre opinioni diverse è una cosa che ha senso in un sistema politico bipartitico, ma non funziona nel caso della scienza, perché la scienza non è un’opinione: non è, appunto, democratica. Si basa invece sulle evidenze, e progredisce attraverso affermazioni che possono e debbono essere verificate sperimentalmente, mettendole a confronto con le osservazioni. Le ricerche sono poi, come abbiamo visto, soggette a una revisione critica da parte di una giuria di esperti scientifici. Le affermazioni che non vengono vagliate con questa procedura – o che sono state esaminate e sono state respinte – non possono dirsi scientifiche, e pertanto non meritano lo stesso tempo in un dibattito scientifico.
Un’ipotesi scientifica è come l’accusa di un pubblico ministero: è
l’inizio di un processo che può essere molto lungo. La giuria deve
decidere non sull’eleganza dell’accusa, ma sull’entità, la forza e la coerenza
delle prove che la supportano. Giustamente si chiede che il pubblico
ministero fornisca le prove – numerose, solide e coerenti – e che le prove
resistano all’esame della giuria, che può prendersi tutto il tempo necessario
per portarlo a termine.
Nella scienza avviene all’incirca la stessa cosa. Un’affermazione non
viene accettata solo perché proviene da una persona intelligente, o perché un
gruppo di persone ne discute, ma quando una giuria di revisori – in
rappresentanza della comunità dei ricercatori – ha esaminato le evidenze a
sostegno di quell’affermazione e ha concluso che sono sufficienti perché la si
possa accettare.
Sappiamo anche che nella ricerca scientifica l'incertezza è costantemente presente, e se qualcuno ci dice che alcune cose sono incerte, tendiamo a pensare che la scienza sia incerta. È un errore. L’incertezza è sempre presente in ogni scienza, perché la scienza è un processo di continua scoperta: la scienza non si scrive, al massimo si riscrive. Gli scienziati non si fermano quando hanno trovato la spiegazione per qualcosa; cominciano subito a porsi nuove domande.
Il dubbio ha un’importanza cruciale per la scienza – quello che noi chiamiamo curiosità o scetticismo è ciò che spinge la scienza a progredire – ma nel contempo la rende vulnerabile alle rappresentazioni fuorvianti, in quanto è facile decontestualizzare le incertezze e creare l’impressione che ogni cosa sia ancora incerta. Molto negazionismo funziona così: non nega la scienza, non potrebbe perché non potrebbe dimostrarlo, ma usa la normale incertezza scientifica per minare la conoscenza scientifica.
E qui mi contraddico, senza se e senza ma!
Storie dal passato
Sperimentazione Clinica
Esemplare, in campo clinico ed epidemiologico, la storia della sperimentazione
legata alla streptomicina, uno dei primi antibiotici derivati da muffe, ovvero
da batteri, impiegato nel trattamento delSe qualcuno ci dice che alcune cose sono incerte, tendiamo a pensare che la scienza sia incerta. È un errore. L’incertezza è sempre presente in ogni scienza, perché la scienza è un processo di continua scoperta. Gli scienziati non si fermano quando hanno trovato la spiegazione per qualcosa; cominciano subito a porsi nuove domandela tubercolosi. Dopo averla estratta,
verso la metà degli anni Quaranta del XX secolo, negli Stati Uniti si avviò la
sperimentazione clinica che inizialmente sembrava fornire risultati mirabolanti. Ma la cosa non convinse
l’epidemiologo inglese Bradford Hill che non accettava l’approccio americano se guariscono funziona, sennò amen, non abbiamo perso
nulla. Hill voleva dei test specifici e progettò un metodo
sperimentale a tavolino, inventando lo «Studio
Controllato Randomizzato» (RCT). Lo studio si doveva basare quindi su due gruppi di pazienti,
confrontando i risultati statistici di chi ha preso il farmaco e di chi no, un
primo gruppo trattato ed un secondo, detto «di
controllo» a cui veniva somministrato un placebo. La scelta
dei pazienti da assegnare ai due gruppi deve essere assolutamente casuale e se
è possibile né i pazienti né i medici devono sapere chi è trattato e con che
cosa. Questo è il cosiddetto esperimento in «cieco»,
che può avere diversi livelli di mascheramento dove solo il paziente ignora o,
in «doppio cieco», anche lo sperimentatore;
per arrivare al «triplo cieco» dove anche
chi analizza statisticamente i dati non sa da quale gruppo provengano evitando
qualsiasi tipo di influenza. Gli RCT sono entrati nella ricerca clinica e
vengono tutt'ora ritenuti, pur con i loro limiti, la forma più attendibile di
evidenza scientifica con cui la medicina ha verificato e verifica regolarmente
l’efficacia o meno di un certo farmaco. Ai tempi questo approccio suscitò varie
obiezioni. Tra queste, il fatto che l’impressione soggettiva del medico,
soprattutto se di lunga esperienza clinica, non fosse poi così meno affidabile
della distaccata obiettività della statistica (…); che sarebbe come dire che un
novello Commissario Maigret negasse le evidenze molecolari derivanti da un test del DNA che inchioda l’assassino.
Inoltre, aspetto ben più importante, bisognava accettare in partenza l'ipotesi
che, se alla fine dello studio il farmaco si fosse rivelato efficace, i
pazienti casualmente assegnati al gruppo di controllo non ne avrebbero
beneficiato, almeno non durante la sperimentazione, e magari qualcuno di loro
sarebbe pure morto, mentre a posteriori lo si sarebbe potuto salvare.
Ciononostante, il metodo venne accettato, forse grazie anche al fatto che, in
quei tempi di magra post-bellica, non ci sarebbe stata abbastanza streptomicina
per tutti gli ammalati; quindi, non darla a qualcuno era inevitabile seppur
immorale. Se volete approfondire leggete questo intrigante e divertente libro.
Un Nobel sbagliato?
Si diceva all’inizio che capita che uno scienziato, anche di prim'ordine,
si convinca erroneamente di aver osservato un nuovo fenomeno.
Il 10 dicembre 1938 l’Accademia delle Scienze di Stoccolma conferiva il
premio Nobel a Enrico Fermi con la seguente
motivazione: «Per l’identificazione di nuovi elementi radioattivi prodotti
dal bombardamento di neutroni e per la scoperta, in relazione a questo studio,
delle reazioni nucleari causate dai neutroni lenti». In quegli stessi
giorni gli esperimenti di scienziati tedeschi di primordine capovolsero in
maniera inoppugnabile le conclusioni del grande fisico italiano: «Non avete
ingrossato il nucleo dell’uranio, ma l’avete spaccato in due». Addio ai fascistissimi
Ausonio ed Esperio[1]!
Sbarcato sul suo americano, con le leggi razziali e il fascismo alle spalle, Fermi si affrettò a modificare la sua Nobel lecture, ammettendo l’errore e aggiungendo una nota di ritrattazione, il più grande della sua vita ebbe poi a dire, ma andò avanti, grazie comunque all’apertura, con la fissione nucleare, di nuovi campi di ricerca. Sbagliando s’impara, no?
[1]
È una lunga storia che provo a riassumere in poche righe. Fermi, all’inizio
degli anni Trenta del XX secolo, nel suo lavoro pionieristico sulla
radioattività indotta da neutroni, era convinto di aver scoperto nuovi elementi
chimici, che furono inizialmente chiamati ausonio (con numero atomico 93)
ed esperio (94), oggi noti come nettunio e plutonio, scoperti nel 1940. Sebbene
non abbia scoperto la fissione in sé (questo merito va principalmente a Otto
Hahn, Lise Meitner e Fritz Strassmann), Fermi e il suo gruppo, i "Ragazzi di via Panisperna", furono i primi a realizzare sperimentalmente la fissione
nucleare artificiale di un atomo di uranio, utilizzando neutroni lenti per
bombardare il materiale.