Fehlerkultur beim RKI: Vertrauen verspielt
Mit der Unfähigkeit, einen Fehler einzugestehen, beschädigt das Robert Koch-Institut seine Glaubwürdigkeit bei denen, die es bisher verteidigt haben.
Stets unter kritischer Beobachtung: Lothar Wieler (2. v. l.) in einer Konferenz mit Jens Spahn Foto: Kay Nietfeld/dpa
Das Robert Koch-Institut (RKI) hat es in den letzten anderthalb Jahren wahrlich nicht leicht gehabt. Hat Deutschlands oberste Gesundheitsbehörde bisher eher unauffällig vor sich hin gearbeitet, sind die Institution und ihr Präsident Lothar Wieler mit Beginn der Coronapandemie im Frühjahr 2020 schlagartig ins Zentrum der allgemeinen Aufmerksamkeit gerückt. Und damit auch in die Kritik: Spott über Kommunikation per Faxgerät, Ärger über veraltete, unvollständige oder schlecht aufbereitete Zahlen und Verwunderung über unklare Aussagen gab es reichlich.
Manches davon war berechtigt, manches nicht. Einiges war tatsächlich die Schuld der Behörde, anderes lag eher an Gesundheitsämtern, die sich der Digitalisierung verweigerten, oder am Gesundheitsministerium, das neue Stellen nicht bewilligte.
Als jemand, der die Zahlen des RKI regelmäßig nutzt und in häufigem Austausch mit der Pressestelle steht, fand ich die Kritik bisher oft übertrieben. Wer lange genug gesucht und hartnäckig genug gefragt hat, bekam durchaus brauchbare Antworten.
Doch nun hat mein Vertrauen in die Arbeit des RKI einen Knacks bekommen. Denn die Behörde weigert sich beharrlich, einen Fehler einzugestehen und zu korrigieren.
Systematischer Fehler
Ohne dabei zu sehr in die mathematischen Details einsteigen zu wollen: Es geht um eine Berechnung zur angeblichen Wirksamkeit der Corona-Impfungen, die das RKI erstmals vor 10 Tagen in seinem täglichen Coronabericht veröffentlicht hat. Es kam zu dem Ergebnis, dass die Impfungen eine Wirksamkeit von fast 99 Prozent gegen jede Form einer symptomatischen Erkrankung haben – was ziemlich sensationell wäre. Denn die bisherigen Studien hatten nur eine Wirksamkeit von etwa 95 Prozent ergeben, und das nicht gegen sämtliche Erkrankungen, sondern nur gegen einen schweren Verlauf.
Ein bisschen Recherche hat schnell gezeigt, dass das Ergebnis wirklich zu schön war, um wahr zu sein: Das RKI hat einen systematischen Fehler gemacht. Die Formel, die zur Berechnung der Impfwirksamkeit genutzt wurde, verwendet zum einen den Anteil sogenannter Impfdurchbrüche, also die Zahl derjenigen, die trotz vollständiger Impfung erkranken. Und zum anderen den Anteil derjenigen, die vollständigen Impfschutz haben. Dabei hat das RKI jedoch mit zwei Werten gerechnet, die nicht zueinander passen: Bei den Impfdurchbrüchen wurde die Gesamtzahl seit Beginn der deutschen Impfkampagne genutzt, bei der Impfquote dagegen der aktuellste Stand von Mitte Juni. Die Rechnung geht also davon aus, dass im Januar schon genauso viele Menschen geimpft waren wie im Juni.
Dass man die Formel so nicht nutzen kann, haben nicht nur mehrere Experten bestätigt, darunter Karl Lauterbach. Das geht auch aus Veröffentlichungen aus anderen Ländern hervor, die zeigen, wie eine korrekte Berechnung bei sich ändernden Impfquoten durchgeführt wird – nämlich indem die Impfwirksamkeit jeweils nur für eine Woche berechnet und daraus ein Gesamtwert ermittelt wird. Auch die WHO schreibt in einer Publikation, dass die vom RKI genutzte Methode nur angewendet werden sollte, wenn die Impfquote im betrachteten Zeitraum stabil ist.
Falsche Berechnungen
Doch das Robert Koch-Institut will davon bisher nichts wissen. „Die Berechnung ist korrekt“, heißt es in der Antwort auf eine taz-Anfrage. Im Tagesbericht wird die mit der falschen Methode berechnete Impfeffektivität eine Woche nach der ersten Veröffentlichung lediglich um einen Hinweis ergänzt. Darin wird bestätigt, dass die steigende Impfquote nicht berücksichtigt wurde. Dass das zu einer „leichten Überschätzung der Wirkung der Impfung“ führt, wie es in der Anmerkung im Bericht weiter heißt, ist dabei durchaus eine starke Untertreibung. „Der Fehler ist nicht klein, sondern groß“, sagt Lauterbach.
Wenn man die Berechnung korrekt nur für die aktuelle Woche durchführt, ergibt sich eine Impfwirksamkeit von 93 Prozent – was sich doch deutlich von den 99 Prozent unterscheidet, die das RKI berechnet hat. Ein Grund zur Sorge ist der niedrigere Wert dabei aber keineswegs: Die korrekten Zahlen belegen eine hervorragende Wirksamkeit, die gut zu anderen Studien passt – nur eben keinen völlig unrealistischen Wert, der weitaus besser wäre als alle bisherigen Ergebnisse.
Nun ist so eine falsche Berechnung für eine Behörde, in der jede Menge Wissenschaftler*innen arbeiten, sicher peinlich. Doch auch hier wären Fehler verzeihlich, wenn sie eingestanden und korrigiert werden. Dass das RKI dazu nicht willens oder in der Lage ist, ist für mich das weitaus größere Problem.
Zweifel genährt
Über die Gründe dafür kann nur spekuliert werden. Dass die Wissenschaftler*innen immer noch davon ausgehen, dass die genannten Werte tatsächlich korrekt sind, scheint wenig wahrscheinlich. Eher dürfte es so sein, dass man glaubt, das Eingeständnis eines solchen Fehlers wäre schädlich. Tatsächlich ist abzusehen, dass viele, die die Gefährlichkeit der Coronapandemie bestreiten, eine solche Korrektur als vermeintlichen Beleg dafür nutzen würden, dass man den offiziellen Coronazahlen nicht vertrauen kann.
Doch der Preis für eine solche Rücksichtnahme auf böswillige Kritiker ist hoch. Denn damit verliert das Robert Koch-Institut auch das Vertrauen von Menschen wie mir, die die Behörde bisher eher verteidigt haben. Und das ist ein Problem.
Journalist*innen können nämlich nicht jede einzelne Zahl überprüfen; sie müssen sich – in der Regel – darauf verlassen, dass Angaben von Behörden korrekt sind, oder dass sie korrigiert werden, wenn sie das einmal nicht sind. Wenn nun in einem Fall deutlich wird, dass genau das nicht passiert, nährt das Zweifel auch an anderen Angaben.
Und solche Zweifel sind in einer Zeit, wo die Fallzahlen nicht mehr sinken und gleichzeitig das Impftempo deutlich nachlässt, das Letzte, was wir brauchen. Um die Pandemie zu überwinden, sind verlässliche Informationen der zuständigen Stellen eine unabdingbare Voraussetzung.
Update 7.7.21, 18 Uhr:
Nach Erscheinen dieses Artikels hat das Robert-Koch-Institut die Berechnung der Impfeffektivität verändert. Im Tagesbericht vom 7. Juli heißt es: „Im Gegensatz zu früheren Berichten wurde die Impfeffektivität wochenweise berechnet und der Mittelwert aus den wochenweisen Einzelwerten gebildet.“ Die Impfeffektivität liegt damit nicht wie in den bisherigen Berichten bei 99 Prozent, sondern bei 92 Prozent für 18- bis 59-Jährige und bei 91 Prozent für Über-60-Jährige. Dass die bisherige Rechenmethode falsch war, schreibt das RKI dabei nicht explizit, sondern erklärt nur, dass die neue „besser“ sei: „Durch diese neue Vorgehensweise wird der dynamischen Entwicklung der Impfquote besser Rechnung getragen.“
Leser*innenkommentare
Mustardmaster
Ich habe schon lange aufgehört beim Thema Corona Zahlen all zu ernst zu nehmen. Schon bei der Erhebung der Daten(Infizierte,Erkrankte,Verstorbene ,Genesende,usw.) gibt es etliche Fehlerquellen,die daraus ermittelten Werte ,wie bspw. Inzidenzzahlen,sind also eher gut fundierte Schätzungen als genaue Berechnungen. Die Höhe der Grenzen ab der bestimmte Maßnahmen unternommen werden,sind rein willkürlich ,wie auch viele der Maßnahmen an sich.
Nach meiner Ansicht ist der Hauptgrund und Hauptnutzen der ganzen Zahlenspielereien von psychologischer Natur: Alleine dadurch das man ein Geschehen berechnen kann oder es zumindest glaubt zu können ,steht man ihm nicht völlig blind und hilflos ausgeliefert gegenüber. Man kann gewisse Vorhersagen treffen und sich dementsprechend verhalten.Das ist wenigstens minimale Kontrolle und beruhigt. "Keine Panik" ist in so ziemlich allen Krisenlagen das erste was man beherzigen sollte. Mit weniger Adrenalin denkt man besser!
Thomas Werner
Vielleicht kommt das jetzt hart aber es gibt keine „korrekten Zahlen“. Es gibt die Zahlen die einen beruhigen sollen und die Zahlen die einem Angst machen sollen. Je nachdem welche „Formel“ angewendet wird.
Claus Lavall
Der Kommentar wurde entfernt.
Die Moderation
Lesenundschreiben
Vielen Dank für die kompetente Berichterstattung!
Eine Frage an den Autor:
Was ich generell bisher noch nicht verstanden habe an den Wirksamkeitsaussagen ist der Vergleich zwischen geimpft und ungeimpft. Ist es nicht so, dass 90% der Erkranukungen auch ohne Impfung nur leichte Verläufe sind, dass also das Immunsystem ohne Impfung auch schon zu 90% vor einer schweren Erkrankung schützt? Oder ist das falsch?
Wie ist also die Schutzwirkung ohne Impfung im Vergleich zur Schutzwirkung mit Impfung zu berechnen und zu bewerten?
Thomas Werner
@Lesenundschreiben Zu den Angaben empfiehlt sich auch dieser Artikel welcher die 9x% Wirksamkeitsangabe analysiert. www.aerzteblatt.de...90-Prozent-wirksam
jox
@Lesenundschreiben Die Wirksamkeitsangabe der Impfung kommt jeweils zu dem Schutz durch das Immunsystem hinzu.
Wenn also von 1 Milllion Menschen nach Infektion ohne Impfung 3000 sterben, und die Impfung eine Wirksamkeit von 99% gegen schwere Erkrankung und Tod hat, bleiben unter den Geimpften 30 über, die schwer erkranken oder sterben.
Die Wirksamkeit gegen schwere Erkrankung ist bei diesen Impfstoffen und Covid-19 deutlich größer als gegen eine Infektion mit leichten Symptomen. Aus statistischen Gründen ist sie auch leichter und genauer zu bestimmen.
Bei der Delta-Variante wurden hierfür zuletzt Effizienzwerte von rund 60% berichtet, was nicht so gut ist.
Lesenundschreiben
@jox Danke für die Info!
Matthias Böhme
Die Zahlen des RKI stimmen auch anderweitig nicht. Das RKI hat für Montag, den 05. Juli 479.236 Gesamtimpfungen angegeben. Laut RKI waren für Sonntag, 04. Juli 46.970.794
Erstgeimpfte und 32.361.386 vollständig Geimpfte mitgeteilt. Für Montag wurden 47.213.139 Erstgeimpfte und 32.696.003 vollständig Geimpfte mitgeteilt, was in Summe deutlich über 500.000 Impfungen für den Montag ergeben müsste. Entsprechendes lässt sich für die Vergangenheit feststellen.
Budzylein
@Matthias Böhme Man kann aber nicht einfach die Steigerungen der Zahlen der Erstgeimpften und der vollständig Geimpften zusammenzählen. Denn nicht alle benötigen eine zweite Impfung, um als vollständig geimpft zu gelten. Bei dem Impfstoff von Johnson & Johnson genügt eine Impfung für die vollständige Impfung. Und daher werden die Impfungen mit diesem Impfstoff sowohl bei den Erstimpfungen als auch bei den vollständigen Impfungen gezählt.
Rainer B.
Das RKI ist eine „selbständige Bundesoberbehörde“ unter der Aufsicht des Bundesministerium für Gesundheit. Inwieweit bei so einer Konstruktion überhaupt Selbständigkeit gewahrt werden kann, vermag ich hier gar nicht zu beurteilen. Sicher ist jedoch, dass Fehler in der Arbeit des RKI bzw. Kritik an der Arbeit des RKI somit immer das Bundesministerium für Gesundheit und damit auch den Bundesgesundheitsminister adressieren. Überall dort, wo Menschen arbeiten, werden naturgemäß mal Fehler gemacht. Das ist ansich auch gar kein großes Problem, aber wenn Fehler - warum auch immer - dann partout nicht korrigiert werden, sieht die Sache schon völlig anders aus.
XXX
Die YOLL-Studie (years-of-life-lost) ist auf eine genauso erschreckende Weise falsch (Ignorieren von Vorerkrankungen), und das ist auch nicht die einzige. Das RKI ist eine weisungsgebundene Behörde, der man leider in der Interpretation ihrer eigenen Daten nicht trauen darf.
Thomas Werner
@XXX Man kann in sofern darauf vertrauen, dass das RKI sich an die „Leitlinien“ der Regierung hält
Bernd Käpplinger
Auch bei der Berechnung von Neufällen und Inzidenz verwendet das RKI konsequent zwei verschiedene Datenquellen, sodass es sein kann, dass die Zahl der Neuinfektionen im Wochenvergleich sinkt, aber die Inzidenz ansteigt. Und vice versa. Nach über einem Jahr Pandemie mit solchen Daten zu arbeiten, ist schon abenteuerlich.
jox
@Bernd Käpplinger Auch, dass die aktuellen Inzidenzzahlen maßgeblich für politische Entscheidungen sind, diese jedoch oft von Nachmeldungen und Verzögerung bei der Übertragung noch deutlich verändert werden. Insbesondere nach oben, denn wenn die Zahlen steigen dauert alles länger. Die jeweiligen Entscheidungen werden dem aber nicht angepasst.
Jalella
Ich nutze die Zahlen des RKI auch und schaue mir insbesondere regelmäßig den täglichen Bericht an. Das sind häufig Fehler, die zum Teil schlicht daher kommen, dass die Zahlen dort nicht durch Copy&Paste zustande kommen, sondern doch tatsächlich abgetippt werden. Auch heute z.B. haben wir hier
www.rki.de/DE/Cont...ob=publicationFile
wieder einen Fehler: man sieht, dass die Anzahl der Zeitimpungen N2: 30.361.413 (38,9%) nicht stimmen kann, denn gestern war sie noch höher - vermutlich muss es 31Mio statt 30Mio heißen.
Noch schlimmer ist aber, dass das RKI diesen Bericht jetzt nicht mal mehr am Wochenende herausgibt. Was ist das für ein Zeichen an die Bevölkerung, wo die Zahlen dank Delta&Doofheit gerade wieder zu steigen anfangen? "Sorry Leute, die Pandemie ist vorbei, wir haben die Arbeit mal eingestellt"?
Daniel Drogan
@Jalella Ach ich würde immer sagen, wenn die Leute so blöd sind, und jetzt glauben weil sie geimpft können sie wieder in Rudeln Party feiern und in Gebiete reisen mit x,y Variante, warum sollte dann nicht auch das RKI Fehler machen. Schließlich ist es doch wieder beider Polizei und der Bundeswehr, dort können wir doch auch Rechtsextremismus damit relativieren, weil es ein "Querschntt" der Bevölkerung widerspiegeln soll. ;)
Das genau das Gegenteil der Fall sein sollte,sieht man ja aktuell in Israel und GB, hohe Impfquoten, aber komplette Lockerungen und schwups neue Infektionszahlen die sich gewaschen haben.
Bei uns ist es doch auch nur noch eine Frage der Zeit bis die Luzie abgeht...
Strolch
Oder kurz gesagt: Ehrlich währt am längsten!
jox
> Es kam zu dem Ergebnis, dass die Impfungen eine Wirksamkeit von fast 99 Prozent gegen jede Form einer symptomatischen Erkrankung haben – was ziemlich sensationell wäre.
Die Tatsache, dass die Wirksamkeit gegen symptomatische Erkrankungen insbesondere bei der Delta-Variante deutlich niedriger ist[1][2][3], sowie dass der R-Faktor ohne Maßnahmen sehr hoch ist (etwa 5 bis 6, eventuell höher [4]) hat übrigens weit reichende Konsequenzen - nämlich die, dass eine "Herdenimmunität", mit der Bedeutung "es besteht ein Schutz nicht geimpfter Personen und Bevölkerungsgruppen wenn genug Personen geimpft sind" *ohne* weitere Schutzmaßnahmen rechnerisch praktisch nicht möglich ist.
Oder simpler ausgedrückt: Mit den jetzigen Impfstoffen werden einige Schutzmaßnahmen noch eine ganze Weile gebraucht werden, wenn man nicht alle ungeschützten Menschen anstecken will.
[1] de.wikipedia.org/w...ng_von_Impfstoffen
[2] en.wikipedia.org/w...t#Vaccine_efficacy
[3] www.theguardian.co...e-are-the-vaccines
[4] de.wikipedia.org/w...ektionskrankheiten
Ignaz Wrobel
@jox Bis zum Herbst dürfte JEDE*R eine Möglichkeit für eine vollständige Impfung gehabt haben. Es kann nicht sein, dass Geimpfte dann Einschränkungen der Bürgerrechte hinnehmen müssen nur im dann aus freiem Willen Nicht-Impfwillige zu schützen.
Daniel Drogan
@Ignaz Wrobel Schau mal nach Israel aktuell, da siehst genau das was passiert wenn man solche Pläne umsetzt.
1. Hohe Infektionszahlen
2. Abnahme der Wirksamkeit der Impfstoffe.
Hey natürlich komplette Lockerungen, weil manche denken die aktuellen Impfstoffe schützen komplett vor einer Infektion. *facepalm*
mensch meier
@Ignaz Wrobel Die 10 Millionen Kinder würde ich jetzt nicht komplett ignorieren.
Für die gibts nix...
Gerd Taddicken
@mensch meier @Mensch Meier
Moin,
laut Statista.DE (Zahlen stammen vom RKI) sind in der Altersgruppe von 0 - 19 bisher 26 junge Menschen in Deutschland an und mit Corona gestorben! Zahlen vom 29.Juni 2021.
Also in rund eineinhalb Jahren so wenige Tote. Und jetzt sollen diese jungen Menschen geimpft werden obwohl faktisch kein Sterberisiko besteht?
Denn!!! Auch hier gab es Kinder/Jugendliche mit erheblichen Vorerkrankungen, wie ich vor kurzem erstmalig las.
MfG
Gerd Taddicken
P.S. Der Link zu Statista.de (donnerstags, also heute, gibt es meistens die aktualisierten Zahlen) =
de.statista.com/st...d-nach-geschlecht/
07Jul21, gg. 07.19 h
Encantado
@Ignaz Wrobel "Es kann nicht sein, dass Geimpfte dann Einschränkungen der Bürgerrechte hinnehmen müssen..."
Warten wir lieber ab, welche Wirkung die erfolgten Impfungen gegen die dann kursierenden Varianten haben werden...
jox
@Encantado > Bis zum Herbst dürfte JEDE*R eine Möglichkeit für eine vollständige Impfung gehabt haben.
Nicht jede/r. Bis zum Beispiel die Impfstoffe generell für Kinder zugelassen sind, dürfte noch eine ganze Zeit ins Land gehen.
Außerdem würde sich eine weitere starke Welle von Infektionen nicht nur auf nicht Geimpfte auswirken - nicht nur die Leute die auf Intensivstationen arbeiten, hätten darunter zu leiden, sondern auch Menschen mit anderweitigen Notfällen wie Krebs, die wegen einer Überlastung nicht gut behandelt werden können.
Die Impfung wird die Belastung der Krankenhäuser sicherlich proportional reduzieren, aber nicht auf Null bringen, schon gar nicht bei einer ungebremsten epidemischen Welle. Und die würde ziemlich sicher folgen, wenn man alle Schutzmaßnahmen beendet. Ist ja in Großbritannien aktuell zu sehen.
Encantado
@jox "Bis zum Herbst dürfte JEDE*R eine Möglichkeit für eine vollständige Impfung gehabt haben."
Unabhängig davon ob das wirklich stimmt, bleibt die Frage, ob diese Impfungen gegen die kommenden Varianten helfen oder nicht. Mit Delta gibt's da in Israel schon erste Einschränkungen, Lambda weiß ich nicht, und wie My, Ny oder Omikron aussehen werden, ist noch völlig ungewiss. Angesichts der nach wie vor horrenden Kranken und damit Mutationsmöglichkeiten weltweit darf allerdings davon ausgegangen werden, dass sie quasi schon im Werden sind...
charly_paganini
@jox Was genau sieht man denn in GB? Ja die Infektionszahlen steigen, sonst aber nichts. Gut, mit 37 Toten hat man soviele wie seit Monaten nicht mehr. Aber das steht in keiner Relation zu den Zahlen im letzten Herbst. Wenn natürlich das Ziel ist, dass niemand mehr an Corona sterben darf (was bei jeder anderen Infektionskrankheit normal ist) dann dürfen sich die jetzt ungeimpften Kinder ihre Rente noch mit Maske abholen...
Daniel Drogan
@charly_paganini Magst Du kurz eine Liste machen, für welche Infektionskrankheiten überhaupt Impfung zur Seite stehen und wieviele davon die sterben auch geimpft sind?
Dann können wir ja weiterreden.
Hier wird jedoch davon geredet das 1. Geimpfte ähnlich infektiös sind 2. Geimpfte auch krank werden können und 3. Geimpfte auch sterben können.
4. andererseits soll der Impfstoff über viele Jahre wirken 5. aber es werden aktuell "booster-Impfungen" in Erwägung gezogen.
Das passt alles irgendwie nicht zusammen.
Und es wäre schön wenn diese Dinge ge- und erklärt werden, bevor windige Seelenfresser von rechts dies wieder ausnutzen um die Impfung als ganzes zu Delegitimieren etc.
Und was ist denn so schlimm an einer Mund-Nasen-Maske. Ich finde die ganz ok.
Julian Klopp
Super Artikel. Danke fürs erklären. Schade dass das RKI da nicht über seinen Schatten springt. Finde, dass sie sonst auch einen guten Job machen.