Metascience

Michael Kirchler ist einer mehrerer Forscher, die sich an der Universität Innsbruck eingehend mit dem Thema Metascience auseinandersetzen. Warum es das überhaupt braucht, darüber – und über anderes – haben wir mit ihm gesprochen.‍

eco.nova: Metascience ist quasi die Wissenschaft der Wissenschaft. Warum beschäftigt sich die Wissenschaft mit sich selbst? 

Michael Kirchler: Im Prinzip handelt es sich dabei um eine Art der Qualitätssicherung. Wissenschaft und Forschung sind nichts, das irgendwann abgeschlossen ist, sondern ein sich laufend verbessernder Prozess. Die technischen Möglichkeiten entwickeln sich weiter oder der Zugang zu Probanden wird breiter. Somit verändern sich die wissenschaftlichen Methoden. Letztlich geht es darum, sich ständig selbst zu hinterfragen, sich weiterzuentwickeln und entsprechende Lehren aus diesen Entwicklungen zu ziehen.‍

Forschung und Wissenschaft sind also nie absolut?

Im Bereich der Naturwissenschaften gibt es durchaus wissenschaftlich fundierte und wohl auch unumstößliche Fakten, die Sozial- und Wirtschaftswissenschaften, also der Bereich, in dem ich mich bewege, sind stets eine Momentaufnahme. Es kann vorkommen, dass Ergebnisse, die mit dem heutigen Wissens- und Technikstand erzeugt wurden, in zehn Jahren angepasst werden müssen, weil man neue, modernere Methoden entwickelt hat. Metascience spielt in diesem Veränderungs- und Verbesserungsprozess eine wesentliche Rolle, weil sie den Prozess der Wissensgenerierung kritisch hinterfragt.‍

Es geht dabei auch darum, Methoden transparenter und offener zu gestalten. Führt mehr Transparenz zu anderen Ergebnissen? 

Vor allem erwartet man sich robustere Ergebnisse. Es geht darum, Ergebnisse breiter aufzustellen, nicht nur zwei oder drei Studien heranzuziehen, sondern 40 oder 50, Probandengruppen weiter zu fassen. Arbeitet man mit sehr kleinen Stichproben, kann es zu weit größeren Differenzen und Zufallsergebnissen kommen. Bei Stichproben mit einer großen Anzahl an Teilnehmern glätten sich diese Zufälle heraus, die getroffenen Aussagen sind gesicherter.‍

Sie haben im vergangenen Jahr gemeinsam mit Kollegen aus Stanford, Tel Aviv und Stockholm ökonomische Experimente in einem MRT-Scanner durchgeführt. Die Daten haben Sie zur Auswertung an 70 internationale Forschungsteams weitergegeben, die unabhängig voneinander die Auswertung derselben Daten durchführten. Und zu unterschiedlichsten Schlüssen kamen. Nun lässt sich schwer sagen, wer davon und ob überhaupt jemand falsch liegt. Was aber sagt das über die Sicherheit von Studienergebnissen generell aus?  

In der Regel gibt es eine Forschungsfrage, die von einem Team bearbeitet wird. Vor allem im Bereich der Neurowissenschaften ist das mitunter schwierig, weil es sich um teilweise sehr komplexe Ausführungen handelt. Das Team entscheidet sich also für einen Analysepfad und erhält am Ende ein Ergebnis. Arbeiten mehrere Forscher an derselben Frage, steht am Ende als Durchschnitt all dieser Einschätzungen ein wesentlich besseres, fundierteres und klareres Bild und damit ein weitaus robusteres Ergebnis. Vielleicht mag es unter den Teams ein paar Ausreißer geben, die fallen aber nicht so sehr ins Gewicht. Der Großteil der Auswertungen unterscheidet sich zwar – einmal mehr, einmal weniger –, aber am Ende steht als Querschnitt ein bedeutend gesicherteres Ergebnis als bei einem einzelnen Team. Und darum geht es. Dass Ergebnisse unterschiedlich ausfallen, liegt mehr in der Natur der Daten denn im Können der Forscher. Bei ganz einfachen Experimenten gibt es hingegen wenige Variablen, die Komplexität der Daten ist niedrig und somit werden sich die Ergebnisse kaum voneinander unterscheiden. Nun gibt es aber gerade in manchen Bereichen der Sozial- und Wirtschaftswissenschaften oft sehr komplexe Datensätze und folglich unterschiedliche Herangehensweisen. Es kann daher zu größeren Abweichungen der Teams untereinander kommen im Vergleich zu simplen Experimenten. Deshalb liegt aber eine Forschergruppe nicht eher korrekt als eine andere. Und genau deshalb ist es so wichtig, Fragen von verschiedenen Seiten zu beleuchten, um aus dem Schnitt aller zur wahrscheinlichsten Lösung zu gelangen.‍

Macht es demnach überhaupt Sinn, Forschungsfragen von nur einem einzigen Team beantworten zu lassen? 

Gerade in unserem Bereich können wir bereits auf vielfältige Studien der letzten Jahre und Jahrzehnte aufbauen. Man fängt also fast nie bei null an. Und mit unseren Ergebnissen werden andere Teams später weiterarbeiten. Das ist die klassische wissenschaftliche Arbeitsteilung. Selbst wenn man aktuell als einziges Team an etwas arbeitet, ist man dennoch nicht allein. Die Ansätze der Metascience versuchen diesen Prozess zu beschleunigen, indem sie gleichzeitig 50, 70 oder 180 Teams zur selben Zeit am selben Thema forschen lassen. Hierin sehen wir die Zukunft, weil viele Teams das Rauschen und die Unschärfe aus den Ergebnissen nehmen. Bis dato ist dies über einen längeren Zeitraum, teilweise über Jahrzehnte passiert, indem man sozusagen „hintereinander“ geforscht hat, die Zukunft – und das hat auch die Pandemie und die Erforschung des Impfstoffes gezeigt – ist die Gleichzeitigkeit, bei wohl wesentlich robusteren Ergebnissen.

Interview: Marina Bernardi
Fotos: Andreas Friedle