4 Ein Leitfaden zur kritischen Würdigung wissenschaftlicher Resultate

4. Ein Leitfaden zur kritischen Würdigung wissenschaftlicher Resultate

Ausgangslage: Du bist Wissenschaftsjournalist und willst eine wissenschaftliche Studie, eine These, ein Forschungsresultat kritisch würdigen. Du bist kein Fachwissenschafter und verfügst stets über weniger Fachwissen als die Urheber der Resultate, die du bewerten willst. Wie ist eine Kritik dennoch möglich – ohne in plumpes Wissenschaftsbashing à la Weltwoche zu verfallen? Gar nicht – wie dieser Herr meint? Doch, natürlich – aber letztlich gibt es nur eines: sorgfältiges Arbeiten. Ein paar Bewertungskriterien helfen dabei:

Ist eine Aussage plausibel? Klar: Je plausibler, desto eher schenke ich der Aussage Glaube. Aber Achtung: Der gesunde Menschenverstand kann täuschen, die nahe liegende Erklärung kann falsch sein, die kontra-intuitive dagegen richtig. Doch je unplausibler eine Erklärung prima vista ist, desto bessere Argumente braucht es, damit ich ihr trotzdem glaube. Ein Kollege von mir sagte es mal so: Wenn meine Großmutter sagt, sie habe in ihrem Garten einen Dinosaurier, muss sie bessere Beweise vorlegen können, als wenn sie sagt, sie habe eine Katze. Das ist schon richtig – aber nochmals Vorsicht: Das Risiko, dass ich an eine Katze glaube, die es gar nicht gibt, ist auch höher als das Risiko, dass ich an einen Dinosaurier glaube, den es nicht gibt…
Wie gut ist eine Aussage empirisch abgestützt? Auch hier klar: Je besser die Empirie, je breiter die Datenbasis, je besser die Datenqualität, je seriöser die statistische Datenauswertung, desto glaubwürdiger das Resultat. Um das bewerten zu können, muss ich die Quelle der zugrunde liegenden Daten und ihre Vertrauenswürdigkeit kennen, allenfalls die Erhebungsmethode, die Methoden der statistischen Auswertung. Das übersteigt meine Fähigkeiten als Journalist bald einmal, aber schon einfache Fragen helfen weit: Ist eine (behauptete) Korrelation statistisch signifikant (wobei: auch statistische Signifikanz ist eine problematische Kategorie)? Kann aus der Korrelation auf Kausalität geschlossen werden? usw.
Überzeugt die Methodik? Wurde mit Statistik sauber gearbeitet? Es ist mitunter erstaunlich, wie selbst Studien, die in seriösen peer-reviewed Journals publiziert werden, große methodische Mängel aufweisen. Und selbst bei sauber gemachten Studien heißt «statistisch signifikant» nicht «bewiesen»!
Von welchen Annahmen geht eine Untersuchung aus? Keine wissenschaftliche Arbeit erklärt die Welt von Adam und Eva ausgehend – alle bauen auf Annahmen auf: theoretische Annahmen, Modellannahmen etc. Im Idealfall deklariert ein Forscher seine Annahmen, mit denen er etwa ein Modell «füttert», und begründet sie. Aber es sind immer auch implizite, dem Autor womöglich unbewusste Annahmen im Spiel. Welche Annahmen sind das, sind sie plausibel, sind sie wissenschaftlich (oder lediglich weltanschaulich) begründet, könnte man auch andere Annahmen treffen und zu welchem Resultat käme man dann? Ein Beispiel: Der 3. Teilbericht des IPCC weist «Kosten klimapolitischer Maßnahmen» aus als «Reduktion des Konsumwachstums». Indem man eine Wachstumsreduktion mit Kosten gleichsetzt, sagt man implizit, dass man eine Maximierung des Wachstums anstrebt (aber das IPCC diskutiert das nirgends offen; vgl. hier).
Wer ist der Autor? Ist er ein renommierter Forscher oder ein Außenseiter? Welcher Denkschule gehört er an? Achtung: Komische Käuze können recht haben und Nobelpreisträger irren; ja ganze Mainstream-Wissenschaften können irren (in meinen Augen trifft das auf die dominierende Schule der Ökonomie, die Neoklassik, zu). Aber: Wenn ich einem Außenseiter glauben will, dass er gegen die Mehrheit seiner Disziplin recht hat, dann braucht er eben besonders gute Argumente – oder es braucht gute Gründe anzunehmen, dass die Mainstream-Erklärung wenig taugt. Beim Beispiel der neoklassischen Ökonomie gibt es mittlerweile eine umfangreiche Literatur sowohl von heterodoxen Ökonomen wie von Sozialwissenschaftern anderer Disziplinen, die plausibel erklären können, wieso sich in der Ökonomie eine höchst fragwürdige Theorie halten kann. (Ja natürlich: Lies wissenschaftssoziologische, wissenschaftshistorische, wissenschaftstheoretische Literatur!)
Welche außerwissenschaftliche Interessen hat ein Autor, seine Auftraggeber, der Überbringer der Botschaft (z.B. eine Hochschulkommunikation)? Es gibt zahlreiche Interessen, die mit dem Interesse nach dem Finden der «reinen Wahrheit» kollidieren können: finanzielle, Karrierestreben, politische Interessen usw. Frage die beteiligten Wissenschafter nach ihren Interessebindungen und nach ihren Auftraggebern. Prüfe im Handelsregister und in anderen Quellen, ob jemand in Verwaltungsräten und ähnlichem sitzt. Hat er oder sein Auftraggeber ein außerwissenschaftliches Interesse an einer bestimmten Fragestellung? An einem bestimmten Resultat? Achtung: Das Vorhandensein eines Interessenkonflikts sagt noch nicht, dass ein Resultat falsch sein muss – aber es ist doch empirisch gut belegt, dass Interessenkonflikte oftmals Resultate verfälschen.
Gibt es immanente Widersprüche? In ausführlichen Forschungsberichten, die von mehrere Autoren verfasst wurden (ich denke etwa an die IPCC-Berichte), sind Widersprüche kaum vermeidbar. Dass Widersprüche auftauchen, bedeutet noch nicht, dass die ganze Arbeit falsch sei. Aber die Verfasser müssen mir, auf die Widersprüche angesprochen, schon ein paar gute Gründe nennen können.
Entspricht das Abstract der Studie? Gerade unter Zeitdruck ist die Versuchung groß, statt einer Studie nur ihr Abstract oder, schlimmer, die Zusammenfassung der Presseabteilung zu lesen. Aber es kommt nicht selten vor, dass eine Studie zu einem Resultat gelangt, die Autoren aber die einen oder anderen Gründe haben, das eher zu kaschieren. Man sollte sich schon die Mühe machen, die ganze Studie zu lesen – oder bei sehr umfangreichen Berichten wenigstens stichprobenartig zu prüfen, ob die Aussagen des Abstracts auch dem Inhalt entsprechen (beim Nationalen Forschungsprogramm 59 «Chancen und Risiken der Freisetzung gentechnisch veränderter Organismen» lautete die offizielle Zusammenfassung, es seien «keine gentechnikspezifischen Risiken» gefunden worden. Es gab aber Teilprojekte, die genau solche Risiken aufzeigten).
Lies die Fußnoten! Es kommt vor, dass besonders interessante Befunde – aus welchen Gründen auch immer – in Fußnoten versteckt werden. Lest die! Bei den IPCC-Berichten erfährt man aus den Fußnoten beispielsweise einiges darüber, wo in der Autorengruppe Dissens herrschte.
In welchem Kontext äußert sich ein Wissenschafter? Botschaften werden immer – mehr oder weniger bewusst – an ein Publikum angepasst. Gegenüber Fachkollegen äußert sich ein Wissenschafter anders als gegenüber Laien; vor Journalisten anders als privatim; und sitzt einer auf einem Podium vor einer politischen Abstimmung, wird er seine Botschaft eher auf eine bestimmte Aussage hin zuspitzen, als wenn du nach der Veranstaltung bei einem Glas Wein mit ihm sprichst.
Welche Einwände erheben Fachkollegen? Konfrontiere die Autoren mit solchen Einwänden. Sind ihre Gegenargumente plausibel?
Welchen Blick werfen andere Disziplinen auf die selbe Fragestellung? Bei aller Interdisziplinaritäts-Rhetorik haben doch die meisten Forscher ihren fachlichen Tunnelblick – sie sind, in den Worten Ludwik Flecks, im Denkstil ihrer Disziplin gefangen. Oft befassen sich verschiedene Disziplinen mit der selben Frage und kommen dabei mitunter zu sehr unterschiedlichen Schlüssen, und leider ignorieren sie diese Differenzen oftmals. Konfrontiere den Ökonomen mit den Aussagen des Soziologen usw.!
Beachte den Tonfall in Kontroversen! Wer seinen Kontrahenten diffamiert, ist weniger glaubwürdig, als wer sachlich argumentiert. Aber Achtung: Es ist auch verständlich, wenn beispielsweise ein Klimawissenschafter mal seine Contenance verliert, wenn er stets mit den selben dummen Argumenten konfrontiert wird (und gerade in Talkshows kann es auch eine Strategie seines Gegners sein, ihn bis zur Weißglut zu provozieren).
Welchen Moden folgt eine Studie? Auch die Wissenschaft unterliegt Moden; im Rückblick sind sie jeweils leicht, in der Zeit selber oft schwer zu erkennen. Am ehesten erkennt man sie an buzz words: «Innovation» ist so eines, und wenn alles, vom Studiendesign bis zur Methodik, als «innovativ» gepriesen wird, ist Skepsis angebracht.
Welchen Jargon verwendet eine Studie? Gewisse Begriffe lassen sich sofort einer bestimmten Schule zuordnen. Wenn eine Publizistin stets von der «Konstruktion von Medienrealitäten» spricht, dann ist die Luhmannianerin; wenn jemand stets von «Diskursen» faselt, gibt er zumindest vor, etwas mit Foucault am Hut zu haben. Allerdings hat solcher Jargon immer auch die Funktion, sich gegen Leute, die den Jargon nicht teilen, abzugrenzen. Und nicht immer verstehen die Leute, die die Begriffe verwenden, die dahinter liegende Theorie auch – manchmal ist es schlicht heiße Luft. Scheue dich nicht, von einem Autor zu verlangen, dir einen Sachverhalt Jargon-frei zu erklären. Manchmal bleiben von eine eindrücklich klingenden Befund dann nur noch Trivialitäten übrig…
Welche Metaphern verwendet ein Autor? Metaphern sind ein machtvolles sprachliches Mittel, eine Sache auf eine bestimmte Weise zu «framen», d.h. in einem bestimmten Licht erscheinen zu lassen (zum «framing» siehe diesen interessanten Vortrag der Linguistin Elisabeth Wehling). Mitunter vergisst ein Autor, dass er sich auf der metaphorischen Ebene bewegt, wenn Metaphern allzu vertraut sind. Das gilt etwa für die Code-Metaphorik in der Biologie. Dahinter verbergen sich aber gewisse – nicht immer bewusste – Denkweisen. Interessant ist etwa, wenn in der Molekularbiologie, die sonst stets mit Code-Metaphern arbeitet («genetischer Code», «transkribieren», das Gen als «Wort» und die Base als «Buchstabe» des Erbgut-«Texts») plötzlich eine Metapher aus der Seefahrtssprache auftaucht: «Spleißen». Das ist ein Indiz dafür, dass es hier etwas in die gängigen Erklärmuster der Molekularbiologie nicht richtig rein passt («alternatives Spleißen» kennt man seit den 1980er Jahren, aber es wurde bis um die Jahrtausendwende von der Mainstream-Biologie mehr oder weniger ignoriert – heute kriegt man Nobelpreise dafür. Ein Grund dafür, dass sich das so lange nicht etablieren konnte, liegt darin, dass es sich schlecht in ein gängiges Modell integrieren ließ).
Welcher Dramaturgie folgt die Darstellung der wissenschaftlichen Resultate? Auch eine wissenschaftliche Studie, so trocken sie sein mag, ist eine Erzählung und lässt sich grundsätzlich mit literaturwissenschaftlichen Mitteln analysieren. Sehr häufig folgen solche Erzählungen einem bestimmten Topos, einer «Ur-Erzählung» oder «Ur-Idee» (Ludwik Fleck). Beliebt sind die Heldengeschichte, die Opfergeschichte, die Einer-gegen-Alle-Erzählung (ich nenne sie auch «Galilei-Topos»), die Einzelkämpfergeschichte (Ludwik Fleck verspottete sie als «Veni-vidi-vici-Erkenntnistheorie»). Resultate werden in Dramaturgien «verpackt». Packe das Geschenk aus, bevor du es bewertest.
Nutze den Außenseiterblick! Gerade weil sich Wissenschafter in einem recht engen Kreis ähnlich denkender Leute bewegen, erscheinen ihnen mitunter Dinge als plausibel, die es von außen betrachtet keineswegs sind. Stelle naive Fragen, fürchte nicht, dich lächerlich zu machen, und beharre darauf, dass man dir einen Sachverhalt so erklärt, dass er dich auch als Außenstehenden überzeugt.

Ein kritischer Wissenschaftsjournalismus ist für die Betroffenen oft unbequem – aber wir schreiben ja nicht, um ihnen zu gefallen. Aber meiner Erfahrung gemäß schätzen die meisten Wissenschafter faire und gut begründete Kritik durchaus. Und du wirst definitiv ernster genommen, wenn du kritische Fragen stellst, als wenn du nur kolportierst.

Letztlich, so bin ich überzeugt, stärkt eine kritische Betrachtung der Wissenschaft diese gegen wissenschaftsfeindliche – «agnotologische» – Angriffe. Denn die Agnotologie geht, wenn sie das Vertrauen in die Wissenschaft untergraben will, meist von einem völlig unkritischen Wissenschaftsbild aus: die Wissenschaft als ein Unternehmen, das objektive, widerspruchsfreie, zeitlos gültige Wahrheiten findet und deren Akteure, frei von weiteren Interessen und losgelöst vom sozialen Kontext, einzig der Wahrheit verpflichtet stets integer handeln. Um dann bei jedem Fehler, jedem Widerspruch, jeder Lücke in der Theorie rufen zu können: «Seht her! Alles nur Lug und Betrug!» Wer dagegen weiß, dass die Wissenschaft auch nur ein fehlerbehaftetes Unternehmen normaler Menschen ist, der muss nicht gleich die ganze Wissenschaft ablehnen, wenn er einen Fehler entdeckt.