Lockdown-rapport får kritikk i flere land

I Norge ble rapporten først omtalt av Dagbladet. 2. februar hadde avisen en artikkel med tittelen «– Nedstengingene forhindret nesten ingen dødsfall». I artikkelen sto det:

Nedstengingene i Europa og USA på begynnelsen av pandemien hadde liten eller ingen innvirkning på antall coronarelaterte dødsfall. Det er konklusjonen i en omfattende studie ved det anerkjente amerikanske Johns Hopkins-universitetet, viderebrakt av blant andre Washington Times.

Hovedfunnene i studien er ifølge Dagbladet at nedstengningene i Europa og USA bare reduserte dødeligheten av covid-19 med i gjennomsnitt 0,2 prosent. Avisen skriver også at hold-deg-hjemme-tiltak var ineffektive, og bare reduserte dødeligheten med 2,9 prosent.

Dagbladets artikkel skapte stort engasjement på sosiale medier, og har blitt delt over 800 ganger, ifølge analyseverktøyet Crowdtangle. I tillegg har den fått mer enn 6000 reaksjoner og kommentarer.

Artikkelen har særlig skapt engasjement i Facebook-grupper som er kritiske til myndighetenes korona-tiltak.

Faktisk.no har fått flere tips om Dagbladets artikkel. Også Nettavisens sjefredaktør, Gunnar Stavrum, omtaler rapportens funn i en kommentar.

Kritisert i flere land

Rapporten har de siste dagene fått sterk kritikk av eksperter i flere land. Kritikken kan kort oppsummeres slik:

• Det er for få studier med i analysen, og én enkelt studie er svært dominerende.
• Den dominerende studien i analysen konkluderer med at mer omfattende restriksjoner tvert i mot kan gi lavere dødelighet.
• Forfatterne har valgt bort viktige studier av god kvalitet i analysen.
• Analysen klarer ikke å ta høyde for at ulike grader av nedstengning skyldes forskjeller i smittesituasjonen. Det kan bety at strenge nedstengninger har kommet der mange allerede er døende.
• Rapporten definerer alle tiltak som ikke er frivillige som nedstengninger.

Hvem står bak rapporten?

Rapporten har tre forfattere:

1. Jonas Herby er spesialrådgiver i den borgerlig-liberale tenketanken Center for Political Studies (CEPOS) i Danmark. Han har en mastergrad i økonomi.
2. Lars Jonung er professor emeritus i økonomi ved Lunds universitet i Sverige.
3. Steve H. Hanke er professor i anvendt økonomi. Han er grunnlegger av og en av direktørene ved The Johns Hopkins Institute for Applied Economics, Global Health, and the Study of Business Enterprise.

Forfatterne er altså økonomer, og bare én av dem er ansatt ved Johns Hopkins-universitetet.

Ikke publisert i vitenskapelig tidsskrift

Rapporten er foreløpig ikke fagfellevurdert. Den er publisert på et nettsted som tilhører instituttet hvor Hanke jobber, og ikke i et vitenskapelig tidsskrift.

I presseomtalen av rapporten legges det stor vekt på at det er forskere ved det «anerkjente» Johns Hopkins-universitetet som står bak, selv om kun én av dem er ansatt der. Faktisk.no har vært i kontakt med universitetet, som henviser til forfatterne.

Universitetets pressekontakt viser også til rapporten, hvor det står at synspunktene som kommer frem er forfatternes egne, og ikke nødvendigvis i overensstemmelse med synspunktene til institusjonene som forfatterne kan knyttes til.

At rapporten foreløpig ikke er fagfellevurdert og publisert i et vitenskapelig tidsskrift, betyr ikke at den aldri kommer til å bli det. Dette er likevel viktig informasjon som verken Dagbladet eller flere av dem som omtalte rapporten først, har tatt med.

– Mine studenter hadde strøket

Blant dem som har kritisert rapporten, er Mathias Heltberg. Han er forsker ved Københavns Universitet og medlem i det danske Sundhedsministerets ekspertgruppe for covid-19.

– Mine studenter hadde strøket hvis de hadde laget denne analysen, uttalte han til det danske nettstedet Videnskab.dk før helgen.

Sammen med to andre forskere har Heltberg skrevet et innlegg i den danske avisen Berlingske (krever abonnement) som kritiserer rapporten.

I Sverige har forskeren Joacim Rocklöv skrevet et sterkt kritisk svar til rapporten og mediedekningen av den, som han mener er grovt villedende. Han er professor i epidemiologi og folkehelse ved Umeå universitet.

Rapporten får også hard medfart i en faktasjekk i den tyske storavisen Die Zeit, og i en artikkel på det helsevitenskapelige nettstedet Science Media Centre. Den har også blitt faktasjekket av Snopes, og får kritikk av flere eksperter på Twitter, for eksempel her, her og her.

Ville konkludert med uviss effekt

Heller ikke forskere ved det norske Folkehelseinstituttet (FHI) er videre imponert over analysen.

– Ettersom dokumentasjonen de har funnet og sammenfattet er svært usikker, blir det misvisende å trekke klare konklusjoner, skriver Atle Fretheim i en e-post til Faktisk.no.

Han er leder av Senter for forskning på epidemitiltak (CEIR) ved FHI, som har som oppgave å gjennomføre effektevalueringer av smitteverntiltak.

– Det at vi mangler dokumentasjon om effekten av lockdowns, betyr slett ikke at vi har dokumentasjon for at lockdowns er uten effekt. Basert på analysene i denne rapporten, ville vår konklusjon vært at effekten av lockdowns er uviss, skriver Fretheim.

En av forfatterene av rapporten, danske Jonas Herby, skriver på Twitter at han er enig i at konklusjonen kan diskuteres. Han mener imidlertid at de ikke konkluderer klarere enn det andre forskere har gjort tidligere.

Herby imøtegår mye av kritikken som har kommet mot rapporten på bloggen Punditokraterne.

Forsvares av økonomiprofessor

Samtidig finnes det også fagfolk som forsvarer rapporten.

I et lengre svar til det helsevitenskapelige nettstedet Science Media Centre sier økonomiprofessor David Paton ved Nottingham University Business School at han mener rapporten ser ut til å være god.

– Paperet er ikke fagfellevurdert ennå. Det ser ut til å være av god kvalitet, så jeg mistenker at det vil ende opp i et fagfellevurdert tidsskrift, men resultatene må åpenbart tolkes med det forbeholdet, uttaler Paton til nettstedet.

Han uttaler også at rapporten gir et betydelig bidrag til forståelsen av lockdown-effekter.

Metaanalyse med 24 studier

Rapporten, eller «working paperet», er en metaanalyse. Det betyr at forskerne har sett på flere ulike studier, og lagt sammen resultatene fra dem. Slike metaanalyser blir ofte laget for at man skal få en bedre og mer komplett oversikt over et tema.

I dette tilfellet har forfatterne bak analysen sett på studier som har undersøkt korona-nedstengningers effekt på antall dødsfall.

I rapporten skriver forskerne at de først søkte i artikkeldatabaser, og fant 18 590 studier som potensielt kunne tas med. Etter en gjennomgang av disse, satt de igjen med 34 studier som kvalifiserte for å bli med videre i analysen. Av disse ble 24 studier tatt med i metaanalysen.

Det er helt vanlig å gjøre slike utvelgelser når man lager en metaanalyse. Likevel har artikkelforfatterne fått kritikk av andre forskere for kriteriene for utvelgelsen.

– Bare økonomiske metoder

Førsteamanuensis Seth Flaxman ved Institutt for datateknologi ved Universitetet i Oxford er blant dem som stiller seg kritisk til utvalget som er gjort.

– De har utelukket alle studier som er basert på vitenskap om sykdomsoverføring. Det betyr at de eneste studiene som ble sett på i analysen, er studier som bruker økonomiske metoder, forklarer han til Science Media Centre.

Jonas Herby skriver i en e-post til Faktisk.no at han mener at Flaxman «absolutt ikke har innsikt i adferd». Til Videnskab.no sier Herby:

– Virologer har forståelse for hvordan et virus sprer seg, men de har ikke samme forståelse som økonomer for hvordan menneskers adferd påvirkes av politiske tiltak som for eksempel nedstengning.

– Merkelig definisjon av nedstengning

Rapporten har også fått kritikk for definisjonen som brukes på nedstengninger.

– Man bruker en merkelig definisjon av hva en nedstengning er. Rapporten definerer stenging som i bruk av minst ett tvunget tiltak, skriver Joacim Rocklöv i Gøteborgsposten.

Ifølge Rocklöv betyr dette at tiltak som å isolere smittede eller obligatorisk bruk av munnbind, blir regnet som en nedstengning.

– Ifølge den definisjonen har mange land vært stengt siden midten av mars 2020. Er dette virkelig en meningsfull definisjon? Svaret er selvsagt nei, mener Rocklöv.

Gjennomgang av sju studier

Når man legger sammen forskningsresultater i en metastudie, kan man gi de ulike studiene ulik vekt. Det betyr at man kan vektlegge resultatene i en eller flere undersøkelser mer enn de andre når man konkluderer. Dette har forfatterne gjort, men måten de har gjort det på, har høstet kritikk fra flere andre forskere.

Når det gjelder forfatternes funn om at nedstengninger bare har redusert dødeligheten med 0,2 prosent, er dette basert på enda færre studier enn de 24 som først er nevnt, nemlig bare syv.

Så kommer vektingen inn. Vektingen i analysen innebærer at én av de syv studiene som legger grunnlaget for hovedkonklusjonen, vektes mye høyere enn andre.

– Jeg ville ikke uttalt meg så skråsikkert på bakgrunn av en gjennomgang som er kokt ned til syv artikler, og hvor der er gitt så høy vekt til én studie, sier Mathias Heltberg til Videnskap.dk.

Bygger funnene på én studie

I praksis bygger artikkelforfatterne sine funn på denne ene studien, ifølge Heltberg. Det samme påpeker økonomiprofessor ved University of North Carolina, Peter R. Hansen, på Twitter.

Denne ene studien er gjort av forskere ved University of Pretoria i Sør-Afrika. Overraskende nok kommer forskerne her frem til det motsatte av det Herby og de to andre forfatterne gjør. Nemlig at nedstengninger har hatt en effekt på å redusere dødeligheten.

– Det er samtidig en studie som Herby og hans medforfattere mener har feil konklusjon, men de vil likevel gjerne bruke tallene derfra, sier påpeker Heltberg.

I blogginnlegget svarer Herby på kritikken:

– Det er riktig at studien er vektet svært høyt, men det er feil at det betyr mye for våre resultater, skriver han.

– Det er med andre ord ikke riktig at våre konklusjoner er basert på én studie, som en del kritikere har sagt.

Sammenligner land i ulike situasjoner

Analysen har også fått kritikk for å måle dødeligheten i forskjellige befolkninger og deretter se på hvor strenge nedstengningene har vært.

I avisen Berlingske skriver forskerne Mathias Heltberg, Bjarke Frost Nielsen og Kim Sneppen:

Man sammenligner altså land som reagerer på en regelrett eksplosjon i sykehusinnleggelser, med land som ikke har en lignende utvikling og derfor ikke gjør like mye. Dette er ikke en god metode for å studere et så dynamisk problem som en epidemi.

De tre forskerne nevner Nord-Italia som et eksempel, der landsdelen fikk begrenset smitten ved å foreta en nedstegning våren 2020.

– Men der var antallet smittede og døende allerede så høyt, at en veldig streng nedstengning likevel ledet til mange døde.

– Underlig å trekke bombastiske konklusjoner

Det samme problemet påpeker Atle Fretheim i FHI:

– Alle studiene som inngår i denne analysen er såkalte observasjonsstudier der en sammenlikner geografiske områder som ikke nødvendigvis er sammenliknbare. Så forsøker en å justere for eventuelle forskjeller, så godt det lar seg gjøre, skriver han til Faktisk.no.

– Men en kan aldri stole helt på resultatene. For det er alltid fare for at de er mer påvirket av forskjellene som var tilstede i utgangspunktet, enn forskjeller i bruk av lockdowns.

Fretheim synes det «virker underlig å trekke bombastiske konklusjoner» om hvorvidt nedstengninger er hensiktsmessige i situasjoner som i mars 2020.

Herby skriver til Faktisk.no at han ikke er enig i kritikken og viser til blogginnlegget sitt.

Forfattet av lockdown-kritikere

To av forfatterne har tidligere vært svært tydelige på hvor de står i synet på nedstengning.

Da Hanke delte rapporten på Twitter 25. januar, skrev han: «Lockdown are for losers». Han har flere ganger ytret seg kritisk om nedstengning og det kan kaller «fascist-vaksiner». Nettstedet Truth or fiction har samlet noen av tweetene hans her.

Også Jonas Herby har tidligere vært tydelig på sin motstand mot nedstengning, ifølge Videnskab.dk. De viser til en kronikk Herby skrev i avisen Berlingske (krever abonnement), og at han har kommet med samme budskap i utenlandske radio- og tv-programmer.

Herby avviser overfor Faktisk.no at han og de andre forfatterne har noen interessekonflikter:

– Det ville være underlig hvis forskere ikke skal kunne delta i debatten på et område de har greie på. Har kritikerne her for eksempel avstått fra å delta i debatten? Ingen av forfatterne av studien har noen interessekonflikter, skriver han i en e-post.