NOTIZIA IN BREVE
Il workflow è stato applicato a 4.452 pacchetti di replicazione di cinque riviste economiche.
Gli autori riportano discrepanze in 3.460 articoli o appendici, accelerazioni di oltre dieci volte in 496 e possibili estensioni in 923.
Una discrepanza può essere un arrotondamento o un problema di riproduzione; la sua rilevanza va verificata caso per caso.
PERCHÉ CONTA
Ripetere il codice di una ricerca richiede dati, ambiente software e interpretazione dei risultati. Un sistema che esamina migliaia di pacchetti può aiutare a concentrare il lavoro umano sui casi importanti.
Questo screening non produce automaticamente verdetti sull'affidabilità della letteratura economica: identificare una differenza è diverso dal dimostrare una conclusione falsa.
CHE COSA È ORA POSSIBILE
Before: most checks were small-scale and labour-intensive; now: an automated workflow has been reported at a 4,452-package scale.
COSA LO HA RESO POSSIBILE
Le riviste considerate archiviano pacchetti di replicazione con dati e codice disponibili nei limiti delle restrizioni applicabili.
Un workflow con LLM coordina il ricalcolo, il confronto con il testo pubblicato, le alternative computazionali e la ricerca di analisi ulteriori.
LA STORIA
Tre ricercatori hanno affidato a un workflow basato su modelli linguistici un compito normalmente costoso: provare a rieseguire i calcoli di migliaia di articoli economici. Il loro working paper NBER, pubblicato nel settembre 2026, descrive l'applicazione a 4.452 pacchetti di replicazione di cinque riviste. Il sistema ha segnalato discrepanze in 3.460 articoli o appendici. È un risultato importante per la scala raggiunta, non una sentenza sulla correttezza di migliaia di studi.
Quando un valore ricostruito non coincide con quello stampato, la causa può essere un arrotondamento, una diversa versione del software, un'istruzione mancante oppure un errore che cambia il risultato. Senza distinguere questi casi non è corretto concludere che tutti gli articoli segnalati contengano una scoperta falsa. Lo strumento funziona, secondo gli autori, come un modo per individuare controlli da approfondire.
Matthew Schwartz, Isaiah Andrews e Jesse M. Shapiro descrivono tre funzioni. La prima riproduce i calcoli e ne confronta gli esiti con i risultati pubblicati. La seconda cerca procedure equivalenti più efficienti: in 496 articoli, riferiscono, almeno un calcolo è risultato oltre dieci volte più veloce, con accuratezza simile o superiore secondo la loro valutazione.
La terza funzione propone analisi coerenti con le ipotesi e gli obiettivi dell'articolo originale. Il team riporta 923 estensioni non presenti nei testi di partenza. Una proposta di estensione non è, da sola, una nuova scoperta verificata indipendentemente. Dati riservati, dipendenze software e scelte metodologiche rendono inoltre alcuni studi difficili da replicare automaticamente.
La pubblicazione è un working paper, non una conferma indipendente di ogni discrepanza. Il NBER riporta che Schwartz ha lavorato come contractor per Anthropic durante il progetto e che modelli linguistici sono stati utilizzati nell'analisi e nella scrittura. La conseguenza dimostrata dagli autori è la fattibilità di uno screening molto ampio; la correttezza dei singoli allarmi e le loro implicazioni scientifiche richiedono verifiche successive.
COSA SAPPIAMO
NBER Working Paper 35782 descrive 4.452 pacchetti di replicazione controllati. [1]
Gli autori riportano 3.460 segnalazioni di discrepanza, 496 accelerazioni computazionali e 923 estensioni proposte.
Nel paper è dichiarato il precedente rapporto di consulenza di un autore con Anthropic.
COSA NON SAPPIAMO
L'abstract non permette una verifica indipendente di ogni singolo caso segnalato.
Non tutte le differenze numeriche rappresentano errori con effetti sulle conclusioni scientifiche.
Non è dimostrato che il workflow produca lo stesso rendimento su altre discipline.
COSA SUCCEDE ORA
Classificare le segnalazioni per gravità, replicabilità e impatto sui risultati.
Consentire ad altri gruppi di ripetere il workflow e verificare campioni rappresentativi.
Studiare come usare la procedura a supporto della revisione, non al posto della valutazione umana.
TRACCIA DELLE FONTI
Gli autori riferiscono test su 4.452 pacchetti di replicazione.
Il workflow segnala discrepanze in 3.460 articoli o appendici.
Sono riferiti calcoli oltre dieci volte più rapidi in 496 articoli.
Sono riferite nuove proposte di analisi per 923 articoli.
FONTI
- An LLM Workflow That Reproduces, Improves, and Extends Published Economics ResearchApri fonte
- An LLM Workflow That Reproduces, Improves, and Extends Published Economics ResearchApri fonte
PROVE ATTUALI
EVIDENZA INIZIALE
COSA CAMBIEREBBE QUESTO?
- Una validazione esterna potrebbe confermare o ridimensionare le discrepanze sostanziali.
- La disponibilità di prove riproducibili potrebbe rafforzare le stime delle accelerazioni.
- Test su corpus non economici permetterebbero di valutare la generalizzabilità.