İçeriğe atla
chazon

Aydınlanma Projesi · Genel Bakış

Aydınlanma Projesi · Dosya · Bilim & İktidar

Bilim & İktidar

Piyasa ve devlet kanıtı nasıl büküyor: sonuç sahteciliği ve yalanın asimetrisi.

Yaygın tez şöyle der: Bilim ile kapitalizm bağdaşmaz. Bu fazla kaba. Ve fazla dar. Kırılma her yerde aynı noktada doğuyor: iktidarın hakikati pahalı kıldığı yerde. Piyasanın altında kaldıraç kârdır; ideolojik devletlerin altında doktrin ve plandır. O zaman kanıt, şaşmaz biçimde, bükülür.

Levha · Bükülen Terazi İktidarın hakikati pahalı kıldığı yerde kanıt bükülür.
Kennzahl
%36
psikoloji bulgularının tekrarlanabilen payı
Kennzahl
~2×
sponsorlu çalışmalarda «olumlu» sonucun oddsu
Kennzahl
10.000+
yalnız 2023'te geri çekilen makale, bir rekor
Kennzahl
~%40
en büyük bilim yayınevinin kâr marjı

Bulgular · I–III

Üç ölçüm, tek örüntü

Tek tek faillere geçmeden önce: Sorun sistemik ve ölçülebilir. Birbirinden bağımsız üç araştırma kolu aynı şeyi gösteriyor: yayımlanan her bulgu ayakta kalmıyor ve para, sonuçların yönünü kaydırıyor.

I · Tekrarlanabilirlik krizi

Yayımlanmış çalışmaları alıp bir kez daha yürüttüğünde ne oluyor.

Kennzahl
%36
tekrarlanan psikoloji çalışmasından anlamlı kalanların payı; orijinallerin %97'si anlamlıydı. Etkiler yarı yarıya.
Kennzahl
%11
«dönüm noktası» kanser çalışmalarından Amgen'in tekrarlayabildiği pay (53'te 6).
Kennzahl
~%25
Bayer'de doğrulanabilen klinik öncesi çalışmalar («Believe it or not»).
Kennzahl
%70
araştırmacıların başkasının deneyinde başarısız olma oranı; kendi deneyinde >%50 (Nature anketi).

Ioannidis daha 2005'te en çok atıf alan makalesine şu başlığı koymuştu: «Yayımlanmış araştırma bulgularının çoğu neden yanlış». Kriz, psikolojiden onkolojiye bütün alanları kesiyor.

II · Finansman etkisi

Cochrane derlemesi (Lundh vd. 2017): 75 çalışma, 4.583 araştırma. Üreticinin sponsor olduğu çalışmalar sistematik olarak daha elverişli çıkıyor: alışılmış kalite denetimlerinin yakalamadığı bir yanlılık.

Elverişli çıkarım, odds oranı · Lundh 20172,69×

Elverişli sonuç, odds oranı · Lundh 20172,05×

Önceki tahmin, Bekelman 20033,60×

Önceki tahmin, Lexchin 20034,05×

İşin tuhafı: Endüstri çalışmaları körlemede kimi zaman daha düşük yanlılık riski taşıyordu. Demek ki çarpıtma göz önündeki zanaatte değil, incelikli olanda oturuyor: soru kurgusunda, çalışma tasarımında, seçici raporlamada ve çıkarımın «spin»inde.

III · Yayın yanlılığı

Turner vd., NEJM 2008: Antidepresan ruhsat çalışmaları FDA dosyalarıyla karşılaştırıldı.

Kennzahl
%31
FDA'ya kayıtlı 74 çalışmadan hiç yayımlanmayanların payı.
Kennzahl
%94
çalışma, uzmanlık yazınında olumlu görünüyordu …
Kennzahl
%51
… FDA dosyalarına göre gerçek pay yalnızca buydu.
Kennzahl
+%32
görünürdeki etkililik bu kadar şişirilmişti.

Yalnızca olumlu çalışmaları yayımlayan, tek bir rakama dokunmadan bir ilacı olduğundan etkili gösterir. Atlamak yeter.

Dosyalar

İlk 10 sahtecilik vakası

Önce piyasa: üne göre değil, gerçek hasara göre sıralı: ölüler, yanlış yöne çekilen politika, kaybedilen yıllar. Her vaka aynı örüntüyü izliyor: Bir iddiayı üretmek ucuzdu; aydınlatmak pahalıydı ve geç geldi. Devlet yarısı hemen altta.

01 · 1950'lerden itibaren · Halk sağlığı · Manufactured doubt

Tütün endüstrisi

İç çalışmalar kanser tehlikesini erkenden ortaya koymuştu. Dışarıya karşı ise parayla tutulan bilim insanlarıyla sistematik biçimde kuşku üretildi. Bir iç yazışma (R.J. Reynolds, 1969): «Doubt is our product.» Amaç hiçbir zaman haklı olmak değildi; tartışma yaratmaktı.

Auswirkung Düzenleme ve tazminatta on yıllarca gecikme; önlenebilir milyonlarca ölüm. Senaryo sonradan asit yağmuru, ozon deliği ve iklim değişikliği için neredeyse hiç değişmeden yeniden kullanıldı (Oreskes/Conway, «Merchants of Doubt»).

02 · 1996'dan itibaren · İlaç pazarlaması · Opioid krizi

OxyContin · Purdue Pharma

Satış argümanı: «Hastaların %1'inden azı bağımlı olur.» Bu sav, başka şeylerin yanında, 1980 tarihli 110 kelimelik bir okur mektubuna dayandırılıyordu (Porter & Jick); mektup tam da bunu kanıtlamıyordu ve piyasaya çıkıştan 16 yıl önce yazılmıştı.

Auswirkung ABD opioid salgınının ortak tetikleyicisi: yirmi yılda 500.000'i aşkın ölüm. Suç ikrarları 2007 (634,5 milyon $) ve 2020 (8,3 milyar $'a varan uzlaşma çerçevesi).

03 · 1999–2004 · İlaç endüstrisi · Veri gizleme

Vioxx · Merck

Kardiyovasküler risk saklandı. VIGOR çalışmasında kalp krizi verileri NEJM'e gönderimden önce silindi; 20 çalışmanın 16'sında ilk yazar olarak başlangıçta bir Merck çalışanı duruyordu (hayalet yazarlık).

Auswirkung Tahminen 88.000–140.000 ek kalp hastalığı vakası, bunların yaklaşık 38.000–55.000'i ölümcül. 30 Eylül 2004'te piyasadan çekilme; hukuki sorumluluk ~50 milyar $'a kadar tahmin edildi.

04 · 1965–67 · Beslenme bilimi · Gizli finansman

Şeker endüstrisi

Sugar Research Foundation, yağı suçlayıp şekeri aklayan bir NEJM derlemesi için Harvard araştırmacılarına para ödedi (~6.500 $, bugün ≈ 48.000 $). Finansman açıklanmadı; taslak, yayından önce parayı verene sunuldu.

Auswirkung Beslenme araştırmalarının ve politikasının «şeker değil, yağ» doğrultusunu on yıllar boyunca biçimledi; sonuçları bugünkü obezite ve diyabet tartışmalarına dek uzanıyor.

05 · 1998 · Aşılar · Sahtecilik

Wakefield · MMR & otizm

Yalnızca 12 çocuk üzerinde yapılmış sahte bir Lancet çalışması, MMR aşısını otizmle ilişkilendirdi. Wakefield dava açan bir avukattan 600.000 £'dan fazla para aldı; çalışma 2004'te kısmen, 2010'da tümüyle geri çekildi, hekimlik ruhsatı iptal edildi.

Auswirkung İngiltere'de aşılama oranı 1996–2002 arasında %91,8'den ~%81'e düştü (Londra'da <%60); kızamık geri döndü. Çürütülen mit 25+ yıl sonra hâlâ iş başında; asimetrinin ders kitabı örneği (aşağıda).

06 · 2011'den itibaren · Cerrahi / kök hücre · Ölümcül

Macchiarini · Karolinska

Kök hücre kaplı sentetik soluk boruları Lancet'te «başarı» diye anlatıldı: Komplikasyonlar saklandı, bir bulgu («komplikasyonsuz 4 aylık kontrol») kanıtlanabilir biçimde sahteydi.

Auswirkung 8 nakil hastasından 7'si öldü. 2023'te İsveç'te mahkûm edildi (yaralamadan 30 ay hapis); Lancet'te birden çok geri çekme.

07 · 2003–2018 · MedTech · Yatırımcı dolandırıcılığı

Theranos · Elizabeth Holmes

Hiçbir zaman güvenilir çalışmayan bir «tek damla» kan testi. Hastalara yanlış sonuçlar verildi (aralarında yanlış pozitif bir HIV testi ve yanlış yere tetiklenen bir ilaç değişikliği de var).

Auswirkung Değerleme bir ara ~9–11 milyar $. Holmes: 11 yıl 3 ay hapis, Balwani ~13 yıl; 452 milyon $ geri ödeme. Mahkûmiyet 2025'te istinafta onandı.

08 · 2004–05 · Kök hücre araştırması · Fabrikasyon

Hwang Woo-suk

İddiaya göre dünyanın ilk klonlanmış insan embriyonik kök hücre hatları (Science). Veriler uydurmaydı, yumurta hücreleri etik dışı yollarla edinilmişti.

Auswirkung Her iki Science makalesi de geri çekildi; 2009'da Güney Kore'de zimmet ve biyoetik yasasını ihlalden mahkûm oldu. Koca bir araştırma alanı yıllarca yanlış yöne sürüklendi.

09 · 2020 · COVID-19 · Hayalet veriler

Surgisphere

Sözde küresel bir hasta veri tabanı, çok ses getiren iki çalışmaya dayanak oldu (Lancet'te hidroksiklorokin, NEJM). Veriler hiçbir zaman bağımsız biçimde doğrulanamadı: şirket onları açıklamadı.

Auswirkung İki çalışma da haftalar içinde geri çekildi; klinik çalışma kolları (DSÖ'dekiler dahil) bir süre durduruldu. Bir pandeminin ortasında bu, araştırmayı dünya çapında çarpıttı.

10 · 2023 · Sinirbilim · İhmal edilen düzeltme

Tessier-Lavigne · Stanford

Bir soruşturma, yönettiği laboratuvarlarda manipüle edilmiş verileri doğruladı. Kendisi sahtecilikle suçlanmadı; ama sorunlar bilinmesine rağmen bilimsel kaydı yıllarca düzeltmedi.

Auswirkung Stanford Üniversitesi başkanlığından istifa (31 Ağustos 2023); aralarında çok ses getiren bir Alzheimer çalışması da olan birden çok geri çekme ve düzeltme.

Öbür yarı

Devletin altında bilim

Mesele «kapitalizm» değil. Kârın yerine ideoloji ile planı koy. Aynı makine dönmeye devam eder. Yalnızca sapkına kesilen ceza sertleşir: dava ve fon kesintisi değil, Gulag, meslekten men, ölüm. Bir iktidarın hakikati pahalı kıldığı yerde kanıt bükülür; bayrağın rengi ne olursa olsun.

01 · 1948 · Genetik · Kanıtın üstünde ideoloji

Lısenko · Sovyetler Birliği

Trofim Lısenko, Batı genetiğini «burjuva sözde bilimi» ilan etti; arkasında bizzat Stalin duruyordu. 1948'de genetik SSCB'de fiilen yasaklandı, ders kitapları yeniden yazıldı, deney stokları imha edildi.

Auswirkung Genetikçi Nikolay Vavilov 1943'te kampta öldü (açlıktan); 3.000'i aşkın biyolog işten atıldı, hapsedildi ya da kurşuna dizildi. Sovyet biyolojisi ve tarımı 1960'ların ortasına dek geriye savruldu, kıtlıklar ağırlaştı.

02 · 1958–62 · Tarım/ekoloji · Uyarının üstünde doktrin

Mao · serçelere karşı savaş

«Dört Zararlı» kampanyasında, biyolog Zhu Xi'nin açık uyarısına rağmen ~2 milyar serçe öldürüldü. Üstüne SSCB'den ithal Lısenko yöntemleri geldi (aşırı sık ekim).

Auswirkung Serçeler gidince çekirge gibi zararlılar patladı; hasat çöktü. Serçe kampanyası tek başına hasat çöküşünün ~%20'sini ve ~2 milyon doğrudan ölümü açıklıyor; 15–55 milyon can alan Büyük Kıtlığın parçası. Kadrolar yukarıya uydurma başarılar bildirdi.

03 · 1930'lar · Fizik · Hakikatin üstünde «ırk»

«Deutsche Physik» · Nazi devleti

Nobel ödüllü Philipp Lenard ile Johannes Stark, Einstein'ın göreliliğini «Yahudi fiziği» diye damgaladı ve «Ari» bir fizik dayatmak istedi; Yahudi araştırmacılar üniversitelerden sürüldü.

Auswirkung Dünyanın en iyi kafaları göçtü (Einstein ve niceleri) ve Alman fiziğinin zirvesi kalıcı olarak yitirildi. İdeoloji ancak, tam da o «Yahudi» kuantum ve çekirdek fiziği savaş için hayati olunca iflas etti.

04 · 1968–89 · Spor hekimliği · İnsanın üstünde prestij

Doğu Almanya devlet dopingi · Plan 14.25

Devlet prestijinin hizmetinde bilim: «Devlet Planı Konusu 14.25» altında ~9.000 atlete, yaklaşık 10 yaşından başlayan çocuklar dahil, gizlice Oral-Turinabol verildi; başlarında ~1.500'ü bulan doktor ve bilim insanı vardı. Neredeyse hiçbir sporcu resmî bir teste takılmadı.

Auswirkung Ağır kalıcı hasarlar: karaciğer hasarı, tümörler, kalp hastalıkları, kısırlık, mağdurların çocuklarında doğum kusurları. Devletin örgütlediği, hekim gözetimindeki bir insan deneyi.

05 · 1976–83 · Ekonomi/istatistik · Plan yalana zorlar

Plan istatistiği · pripiski & pamuk

Kotanın «tutturulmak» zorunda olduğu yerde rakamlar uydurulur: pripiski. En büyük vaka: Özbek pamuk skandalı. Hiç var olmamış pamuk için milyarlarca ruble aktı; ancak boş tarlaları gösteren casus uyduları sayesinde ortaya çıktı.

Auswirkung Yaklaşık 4 milyar ruble zarar; Stalin sonrasının en büyük tasfiyelerinden biri: 58.000 kadar görevli etkilendi, ~20.000'i hakkında ceza kovuşturması açıldı. Yönetim aracı olarak istatistik yerle bir olmuştu.

06 · Günümüz · Araştırma dünyası · Bürokratik teşvik

Bugünün Çin'i · paper mill endüstrisi

Terfi ve primler yayın sayısına bağlı; öyleyse yayın satın alınır. Koca bir endüstri sahte çalışma ve yazarlık satıyor. Piyasa anlamında kâr güdüsü değil, bürokratik plan baskısı.

Auswirkung 2023'ün 10.000'i aşkın geri çekmesinin ortak itici gücü; en yüksek geri çekme oranları Suudi Arabistan, Pakistan, Rusya ve Çin gibi ülkelerde. Batıdaki «publish or perish» ile aynı Goodhart mekanizması, yalnızca ritmi farklı.

Sentez

Tek mekanizma, iki kaldıraç

Piyasa ile devlet karşıt gibi görünür. Hakikat karşısında ise iki kaldıraçlı aynı makinedirler: biri satın alır, öbürü zorlar.

Kaldıraç: Kâr

Piyasa

Bükülen neÇalışmalar, ruhsatlar, beslenme kılavuzları; ürünün lehine.

Sapkına kesilen cezaFon kesintisi, kariyerin sonu, dava, itibar suikastı.

Kamuflaj«Daha çok araştırma gerekli», üretilmiş kuşku, «spin».

ÖrneklerTütün · Vioxx · OxyContin · Şeker.

Kaldıraç: İdeoloji & Plan

Devlet

Bükülen neKoca disiplinler, istatistikler, ders kitapları; doktrinin lehine.

Sapkına kesilen cezaMeslekten men, kamp, kurşuna dizilme.

Kamuflaj«Burjuva sözde bilimi», plan hedefini tutturma, vatanseverlik.

ÖrneklerLısenko · Serçeler · «Deutsche Physik» · Doping.

Kaldıraç

Yalanın Asimetrisi

Sahtecilik neden zahmete değer ki? Çünkü bir iddiayı ortaya atmak ucuz, onu çürütmek pahalıdır. Yukarıdaki her vakanın ardındaki asıl mekanizma bu makastır.

Simetrisiz bir tahterevalli: kısa ve ağır uçta minicik bir figür koşturuyor, yukarıda asılı kalan uzun uçta ise koca bir konuşmacı kalabalığı boşuna aşağı bastırmaya çalışıyor.
Levha · Asimetri Tek bir iddia, bir yığın çürütmeyle denk tartılıyor. Makas asla kapanmıyor.

Üç mü? On mu? Önemli olan yön.

Çürütmenin yalan söylemekten üç kat emek istediği tezi, olsa olsa temkinli alt sınırdır. En ünlü formül Brandolini Yasası (Alberto Brandolini, 2013): saçmalığı çürütmek için gereken enerji, onu üretmek için gerekenden bir büyüklük mertebesi fazladır; yani kabaca on katı. Brandolini bunun ölçülmüş bir doğa yasası değil, gözleme dayalı bir el kuralı olduğunu açıkça söyler.

Kennzahl
temkinli alt sınır, ihtiyatlı okuma
Kennzahl
10×
Brandolini Yasası: «bir büyüklük mertebesi», 2013
Kennzahl
Gish galopu: dakikada on yalan, yetişilmez

Makas neden açılıyor

  • Asimetrik emek. Bir iddiaya tek cümle yeter. Bir çürütme kanıt toplamak, nüansları açıklamak ve karşı itirazları önceden karşılamak zorundadır; çoğu kez saatler, hatta günler.
  • Gish galopu. Bir dakikada on yanlış iddia savuran, doğrulamacıyı saatlerce meşgul eder. Nicelik özü yener.
  • Süregiden etki (continued influence). Apaçık bir düzeltmeden sonra bile ilk yanlış bilgi bellekte işlemeye devam eder: düzeltme onun «üzerine» asla tam yazamaz.
  • Yayılma eğimi. Hakikat yalandan yavaştır. Ve bu ölçülmüştür.

Ampirik veri: yalan daha hızlı yol alır

Vosoughi, Roy & Aral, Science 2018 (MIT), o güne dek konunun en büyük çalışması: ~126.000 haber öyküsü, ~3 milyon kişi tarafından 4,5 milyon kez paylaşıldı, 2006–2017. Yanlış haberler her kategoride hakikatten daha uzağa, daha hızlı, daha derine ve daha geniş yayıldı.

Kennzahl
hakikatin 1.500 kişiye ulaşması bu kadar kat daha uzun sürüyor
Kennzahl
20×
on paylaşım basamağını aşması bu kadar kat daha uzun
Kennzahl
%70
yanlış, doğrudan bu kadar daha sık retweetleniyor

Bu dosyanın laboratuvarında görünür

  • Wakefield: 1998'de tek bir sahte çalışma. Tam geri çekilmeye kadar 12 yıl (2010). Mit, onu on yıllarca aşıp yaşıyor.
  • Vioxx: Verileri silmek bir el hareketiydi. Onları gün ışığına çıkarmak yıllar, bağımsız yeniden analizler ve bir FDA ihbarcısı istedi.

İktisadi can alıcı nokta bu: Sahtecilik ucuz, aydınlatmak pahalı ve hasar dışsallaştırılıyor. Gerçek maliyeti kimse faile yazmadığı sürece, sonuç sahteciliğini rasyonel kılan tam da bu asimetri.

İktisadi katman

Yayınevleri: üç kez ödemek

Tek tek çalışmaların üzerinde, bilimden piyasa mantığının dışında kâr devşiren bir endüstri oturuyor. Örüntünün adı «triple pay»:

  • Araştırmayı kamu öder; vergiler ve fonlar üzerinden.
  • Metinleri ve hakem değerlendirmesini bilim insanları verir, çoğunlukla bedavaya.
  • Sonucu üniversiteler pahalıya geri satın alır ve kamu parasıyla yapılan araştırma ödeme duvarlarının arkasına düşer.
Omuz çantalı bir âlim, art arda üç turnikenin her birinde bir sikke ödüyor; sonda altın anahtar delikli, kapalı dev bir arşiv kapısı duruyor.
Levha · Üç kez ödemek Önce finanse et, sonra armağan et, sonra geri satın al: üç kez aynı kapıya.
Kennzahl
~%40
Elsevier/RELX'te kâr marjı (2023), Apple ya da Google düzeyinde.
Kennzahl
3,6 milyar
ana şirket RELX'in kârı, 2023 ($).
Kennzahl
~%50
dünya araştırma çıktısından «Büyük Beşli»ye düşen pay.
Kennzahl
19 milyar
sektörün yıllık cirosu (2020, $), müzik ve film endüstrisinden daha kârlı.

Bu, ceza hukuku anlamında sahtecilik değil; ama mantık aynı: Kamusal bir varlık (bilgi) özel kâra yönlendiriliyor ve hakikate erişim yapay biçimde kıtlaştırılıyor.

Dürüst öteki yüz

Karşı söz (steelman)

Yalnızca suçlayan bir dosya, kendi düşman imgesini kurar. O yüzden en güçlü itirazlar, süslenmeden:

  • Öz düzeltme. Yukarıdaki bulguların tamamı, kendini suçüstü yakalayan bilimin ta kendisi: replikasyon projeleri, Retraction Watch, PubPeer, Elisabeth Bik gibi iz sürücüler. Büyük psikoloji replikasyonunun yöneticisi Brian Nosek, projesini açıkça «öz düzeltmenin bir gösterimi» diye adlandırdı.
  • Yalnız kapitalizme özgü değil. Yukarıdaki devlet yarısına bak: Lısenko, «Deutsche Physik», Doğu Almanya dopingi, plan istatistiği. «Publish or perish» ve paper mill'ler bürokratik baskıdır, saf piyasa değil. En yüksek geri çekme oranları Suudi Arabistan, Pakistan, Rusya ve Çin gibi ülkelerde.
  • Sermaye gerçek bilimi de finanse ediyor. Piyasa güdümlü araştırma olmasaydı ne mRNA ölçeklemesi olurdu ne de uygulamalı yeniliğin büyük bölümü. Kâr, hakikatin yalnızca hasmı değil; çoğu kez finansörü de.

Kanıtlar

Kaynaklar

  1. 01 · Open Science Collaboration, «Estimating the reproducibility of psychological science», Science 2015. science.org
  2. 02 · Begley & Ellis, «Raise standards for preclinical cancer research», Nature 483, 2012 (Amgen 6/53). nature.com
  3. 03 · Prinz vd. (Bayer), «Believe it or not», Nature Reviews Drug Discovery 2011. Baker, «1,500 scientists lift the lid on reproducibility», Nature 2016.
  4. 04 · Lundh vd., «Industry sponsorship and research outcome», Cochrane Database 2017. cochranelibrary.com
  5. 05 · Turner vd., «Selective Publication of Antidepressant Trials», NEJM 358, 2008. nejm.org
  6. 06 · Kearns, Schmidt & Glantz, «Sugar Industry and Coronary Heart Disease Research», JAMA Internal Medicine 2016.
  7. 07 · Oreskes & Conway, «Merchants of Doubt» (2010); Michaels, «Doubt Is Their Product» (2008). «Doubt is our product»: R.J. Reynolds yazışması, 1969.
  8. 08 · Purdue / OxyContin: ABD Adalet Bakanlığı davaları 2007 & 2020; Porter & Jick, NEJM 1980 (okur mektubu). promarket.org
  9. 09 · Vioxx: Graham vd., Lancet 2005 (88.000–140.000 vaka); Union of Concerned Scientists, «Merck Manipulated the Science about Vioxx».
  10. 10 · Wakefield: Brian Deer, BMJ 2011; Lancet geri çekmesi 2010. Genel bakış
  11. 11 · Macchiarini: Science/AAAS 2023 (mahkûmiyet, 30 ay); Lancet geri çekmeleri 2018/2023.
  12. 12 · Theranos: ABD Adalet Bakanlığı, San José 2022 (135 ay; 452 milyon $ geri ödeme); istinaf 2025'te onadı.
  13. 13 · Tessier-Lavigne: Science 2023; Stanford Board of Trustees, Filip raporu 2023.
  14. 14 · Geri çekmeler: Van Noorden, «More than 10,000 research papers were retracted in 2023», Nature 624, 2023.
  15. 15 · Yayınevleri: The Conversation 2025; The Nation 2023; Buranyi, The Guardian 2017 («triple-pay»).
  16. 16 · Brandolini Yasası: A. Brandolini, 2013 (kamuya açık formülasyon). Genel bakış
  17. 17 · Vosoughi, Roy & Aral, «The spread of true and false news online», Science 359, 2018. science.org
  18. 18 · Lısenko / Vavilov: deJong-Lambert & Krementsov, Genetics (OUP) 2019: 1948 Akademi oturumu. academic.oup.com
  19. 19 · Dört Zararlı kampanyası / serçeler: Frank vd. (NBER), UChicago/EPIC özetinde; Büyük Kıtlık ölüm sayıları 15–55 milyon. epic.uchicago.edu
  20. 20 · «Deutsche Physik»: Scientific American 2024, «How 2 Pro-Nazi Nobelists Attacked Einstein's ‹Jewish Science›». Genel bakış
  21. 21 · Doğu Almanya dopingi (Devlet Planı Konusu 14.25): Franke & Berendonk, Clinical Chemistry 1997; 1993'ten itibaren Stasi dosyaları; ~9.000 atlet.
  22. 22 · Pripiski / Özbek pamuk skandalı: Cucciolla 2017; Gale, «A Window on the Soviet Breakup» (58.000 etkilenen, ~20.000 yargılanan).
  23. 23 · Ülkelere göre geri çekme oranları: Van Noorden, Nature 624, 2023.