Wissenschaft gilt als objektiv und wahrheitstreu – vor allem in lang etablierten Forschungszweigen wie etwa der Klimaphysik ist sie das auch: Der große Mehrheit der Wissenschaftler (98,5 Prozent) ist sich einig, dass der Klimawandel real ist. Aber wenn es in der Biologie oder Medizin um die Entdeckung neuer Sachverhalte und Zusammenhänge geht, kann es auch vorkommen, dass sich für jede Seite eines Arguments Studien finden lassen. Eine kleine Anleitung, wie man Studien bewerten kann.
Checkliste: Wie lese ich eine Studie?
Welche Anhaltspunkte über die Qualität Aufschluss geben
Eine wissenschaftliche Studie (oft auch "paper" genannt) hat eine ganz eigene Anatomie: Sie besteht meist aus Titel, Autorenzeile, Abstract, Introduction, Methodenteil, Ergebnisteil, Diskussion, Conclusion (Zusammenfassung/Fazit), Acknowledgements & Disclaimer und Referenzen.
Der erste inhaltliche Teil ist der Abstract (weil die meisten Studien auf Englisch veröffentlicht werden, hat sich der Begriff auch in die deutsche Wissenschaftssprache eingeschlichen; kann auch Zusammenfassung oder Executive Summary heißen). Hier solltest Du mit der Lektüre beginnen, denn hier fassen die Autoren in wenigen Sätzen zusammen, was der aktuelle Stand der Forschung ist, welchen neuen Aspekt diese Studie beleuchtet und zu welchem Ergebnis sie gekommen sind.
Je nach dem, wie einleuchtend und aufschlussreich der Abstract ist (und wieviel Zeit Du hast), kannst Du von hier direkt zur Conclusion (Schlussfolgerung/Fazit) springen. Hier fassen die Wissenschaftler zusammen, welche Erkenntnisse sie im Rahmen ihrer Studie hatten und wie sie diese bewerten und im Zusammenhang sehen. Wenn Du bei der Lektüre des Abstracts und/oder der Conclusion das Gefühl hattest, dass Dir kontextualisierendes Wissen fehlt, um die Studie zu verstehen, gehe zurück an den Anfang. In der Introduction (Einleitung) liefern sie mehr Kontext. Wenn Du mehr Hintergrundwissen brauchst, solltest Du diesen Teil lesen – auch weil er viele weiterführende Referenzen enthält, wo Du zu einzelnen Aspekten noch mehr erfahren kannst.
Nach der Lektüre von Abstract und Conclusion solltest Du auch wissen, auf welcher Datenbasis die vorliegende Studie beruht: Handelt es sich um ein Experiment mit 100 Mäusen, eine Untersuchung mit 2.000 Probanden, eine Studie mit 20 Zellkulturen? Als Daumenregel gilt, dass je größer die Zahl (oft mit "n = ..." abgekürzt), umso besser. Vor allem im sozialwissenschaftlichen Bereich gibt es darüber hinaus auch Umfragen (werden diese als repräsentativ ausgewiesen? Also bilden sie die Gesellschaft, auf die sie Rückschlüsse zulassen sollen in soziodemografischer Hinsicht richtig ab? Wie wurden die Befragten ausgewählt und kontaktiert? Wurden die Fragen ergebnisoffen oder suggestiv formuliert?). Eine weitere Form der Studie sind sogenannte Fallstudien (Case Studies), bei denen kleine Gruppen von Menschen oder Individuen zum Gegenstand der Untersuchung werden. Entsprechend klein ist das n und umso wahrscheinlicher ist, dass solche Studien eher Anhaltspunkte für spezifische Situationen, als allgemeingültige Erkenntnisse liefern.
Wenn das n besonders groß ist, steht es oft direkt im Abstrakt/Conclusion dabei; falls Du es dort nicht findest, kannst Du in den Bildunterschriften oder im Methodenteil danach suchen.
Der Methodenteil gibt darüber hinaus oft auch weiterführende Details zur Datenquelle. Für manche Studien wurden die Daten nicht extra erhoben, sondern aus anderen Quellen übernommen.
In biologischen Studien kann der Methodenteil bis ins letzte Detail gehen und auflisten welche Zell-Nährstoff-Medien für ein Experiment verwendet wurden. Solche Detailangaben sind wichtig, um Studien replizierbar zu machen- also anderen Forschern zu ermöglichen, das Experiment auf dieselbe Art und Weise zu wiederholen und zu prüfen, ob die zu demselben Ergebnis kommen. Im Methodenteil steht auch welche Zelllinie oder Mäuse-Rasse verwendet wurde. 2012 ging eine Studie von Seralini durch die Presse nach der der Verzehr von gentechnisch verändertem Mais bei Ratten dazu geführt hat, dass sie vermehrt Tumore bildeten – bei genauerem Hinsehen stellte sich heraus, dass die Forscher eine Rasse ausgewählt hatten, die ohnehin besonders anfällig für Tumore war und das Ergebnis nicht zwangsläufig auf den Verzehr von gentechnisch verändertem Futter zurückzuführen war.
Wenn Du nach der Lektüre dieser Teile noch mehr Details wissen willst, kannst Du den Ergebnisteil und die Diskussion lesen, die genau das enthalten, was ihr Name verspricht.
Abgesehen vom eigentlichen Inhalt gibt es zwei weitere Anhaltspunkte, um herauszufinden, wie verlässlich die vorliegende Studie ist. Zum einen: Wer sind die Autoren? Es kostet wenig Zeit, die Namen zu googeln und es lässt sich meist schnell erkennen, ob das die erste Studie eines Autoren zum Thema ist, oder ob er schon sehr lange in diesem Feld veröffentlicht. Wenn mehrere Autorennamen auf der Studie stehen ist meist der erste und der letzte Name am wichtigsten: der letzte ist in der Regel der Leiter der Arbeitsgruppe, der erste der Forscher, der die Studie geleitet bzw. durchgeführt hat. Die Namen dazwischen sind all jene Personen, die dabei geholfen haben. Im Teil Acknowledgements und Disclaimer müssen sie angeben, wenn sie aus externen Forschungsprogrammen oder Fördertöpfen Geld erhalten haben. Wenn eine Studie zu dem Schluss kommt, dass Rauchen doch gar nicht zu schädlich ist und in den Acknowledgements steht, dass die Studie von einem Tabakkonzern finanziert wurde, solltest Du stutzig werden.
Zum anderen: Was ist das für ein Journal (wissenschaftliche Fachzeitschrift, etymologisch ähnliches Schicksal wie der Abstract)? Es gibt zwei Arten von Journals: peer-reviewed und nicht peer-reviewed. Beim Peer-Review Verfahren wird jede Studie bevor sie veröffentlicht wird anonymisiert and ein bis drei Gutachter desselben Fachgebietes zur Bewertung geschickt. Die Gutachter geben dann (oft auch anonym) Feedback mit konstruktiven Verbesserungsvorschlägen, die Autoren können sie direkt einarbeiten oder Revision einlegen – in dem Fall muss der Editor des Blattes vermitteln. Erst wenn die Gutachter einstimmig zufrieden sind, wird die Studie veröffentlicht.
Durch das Review-Verfahren soll sich die Qualität erhöhen, gleichzeitig verzögert sich die Veröffentlichung natürlich – deswegen stehen bei manchen Studien unter dem Abstract zwei Daten: das, zu dem eingereicht wurde und das, zu dem veröffentlicht wurde.
Ein Journal, das nicht peer-reviewed ist, ist allerdings nicht automatisch schlechter. Es lohnt sich immer zu prüfen, wer der verantwortliche Editor ist (hat er selbst Forschungserfahrung) und etwa wie oft das Blatt veröffentlicht (ein mal alle zwei Jahre oder mehrmals monatlich?).
Die bekanntesten naturwissenschaftlichen Journals sind Nature und Science (beide mit Peer-Review) - sie haben besonders gute "Impact Factors", ein Maß dafür, wie oft die Studien des Journals im Schnitt in anderen Studien zitiert wurden. Kritiker des Systems argumentieren, dass das oft einen Anreiz bietet, bestimmte Zitationswünsche von Gutachtern zu unterstützen – vorzugsweise die, die das eigene Journal begünstigen.
Wie oft eine einzelne Studie zitiert wird, lässt in den meisten Fällen auch auf die Güte schließen (deswegen ist jedem Forscher daran gelegen, dass die eigenen Studien oft zitiert wird, was oft in den Review Prozess, siehe oben, einfließt). Auf den Trefferlisten bei Google und auch auf den Übersichtsseiten der Jourals steht deswegen oft recht prominent dabei, wie oft eine Studie bereits zitiert wurde (No Brainer: Eine Studie von 2010 kann logischerweise mehr Zitation haben als eine von 2017)
Wenn Du eine Studie gefunden hast, die deine Sichtweise unterstützt, solltest Du dich auf jeden Fall auf die Suche nach einer Studie machen, die die entgegengesetzte Sichtweise unterstützt und sie mit derselben Sorgfalt durchlesen. Im Idealfall kannst Du Dir dann selbst beantworten, welche Seite die besseren Argumente hat.