Studie

Neurowissenschafter ziehen anhand gleicher Daten oft andere Schlüsse

Zu erstaunlich unterschiedlichen Schlüssen auf Basis des gleichen Datenmaterials kamen Neurowissenschafter in einer weltweit durchgeführten Studie. Die u.a. von Innsbrucker Forschern initiierte und im Fachblatt „Nature“ vorgestellte Untersuchung zeige, wie wichtig es ist, dass Wissenschafter klar darstellen, mit welchen Methoden Daten analysiert und wie Schlussfolgerungen gezogen werden.

red/Agenturen

Dass die Reproduzierbarkeit von Untersuchungen mit dem gleichen Ergebnis etwa in der Psychologie, in der Medizin oder den Sozialwissenschaften nicht immer gegeben ist, haben internationale Studien in den vergangenen Jahren bereits gezeigt. Das hat in vielen Bereichen der Wissenschaft bereits zu einem großen Nachdenkprozess und zu Verbesserungen geführt, was etwa die Nachvollziehbarkeit der Forschungstätigkeit betrifft.

200 Forscher bearbeiteten gleichen Datensatz in Teams

Nachdem die Gruppe um die Ökonomen Michael Kirchler, Jürgen Huber und Felix Holzmeister vom Institut für Banken und Finanzen der Universität Innsbruck bereits bei einigen zuvor genannten Arbeiten zur Wiederholbarkeit von wissenschaftlichen Studien mitgearbeitet hatte, war das Team auch an der aktuellen Untersuchungen beteiligt. Zusammen mit Kollegen vom California Institute of Technology, der Stanford University, der Stockholm School of Economics sowie der Universität Tel Aviv luden sie nun rund 200 Neurowissenschafter weltweit ein, anhand des jeweils gleichen Datensatzes insgesamt neun Hypothesen zu überprüfen.

Dabei handelte es sich um Daten aus einem in Tel Aviv durchgeführten Experiment, in dessen Rahmen 108 Versuchspersonen bei einer wirtschaftlichen Entscheidung mittels funktioneller Magnetresonanztomografie sozusagen ins Gehirn geschaut wurde. Die detaillierten Aufzeichnungen über die Aktivität in den Gehirnarealen können Aufschluss darüber geben, welche kognitiven Prozesse stattfinden.

Die 70 teilnehmenden Teams – aus Österreich war neben der Innsbrucker Gruppe mit den Neuropsychologen Claus Lamm, Lei Zhang und Annabel Loosecat Vermeer auch ein Team der Uni Wien dabei – sollten daraufhin mit ihren Analysemethoden die spezifischen Fragestellungen beantworten. Dabei ging es immer darum, ob ein gewisser Aspekt der Entscheidungsfindung mit Änderungen der Aktivität in bestimmten Teilen des Gehirns einher geht. Dafür hatten die Teams drei Monate Zeit.

Unterschiedliche Arbeitsweisen

Wie unterschiedlich die Gruppen an die Aufgabe herangingen zeigte sich darin, „dass keine zwei Teams die gleiche Arbeitsweise bei der Datenanalyse wählten“, schreiben die Studienautoren in der Arbeit. Das führte u.a. dazu, dass teils deutliche Unterschiede in der Beantwortung auftraten. Bei immerhin fünf der Hypothesen zogen die beteiligten Teams stark unterschiedliche Schlüsse, bei den vier restlichen Fragestellungen waren die Gruppen in ihren Einschätzungen allerdings sehr übereinstimmend.

In einer übergeordneten Analyse (Metaanalyse) über die Arbeiten aller 70 Gruppen wurde klar, dass die Teams bei der grundsätzlichen Aufarbeitung der bereitgestellten Daten recht nahe beisammen lagen. „Die ähnlichen Zwischenergebnisse führten aber am Ende zu zum Teil sehr unterschiedlichen Resultaten“, so Felix Holzmeister.

In einer Art Online-Marktplatz (“Prognosemarkt“) konnten überdies Experten aus dem neurowissenschaftlichen Bereich ihre Einschätzungen zu den erwarteten Ergebnissen der neun Hypothesen abgeben, indem sie Geld auf unterschiedliche mögliche Resultate setzten. „Dabei zeigte sich, dass die Marktteilnehmer überoptimistisch hinsichtlich der Wahrscheinlichkeit von signifikanten Ergebnissen waren, selbst dann, wenn sie die Daten zuvor selbst analysiert haben“, sagte Holzmeister.

Kritische Selbstüberprüfung

Dass sich im Rahmen der“Neuroimaging Analysis, Replication and Prediction Study“ (NARPS)-Studie fast 200 Forscher einer für sie zeitaufwendigen, kritischen Selbstüberprüfung stellten, unterstreiche ihre Bereitschaft, „die Qualität ihrer Datenanalysen weiter zu verbessern. Dieser Prozess der Selbstreflexion und der kontinuierlichen Verbesserung der eigenen Methoden ist einzigartig und zeichnet die Wissenschaft aus“, so Michael Kirchler und Jürgen Huber. „Projekte wie diese leisten einen zentralen Beitrag, um den Prozess des wissenschaftlichen Erkenntnisgewinns und die damit verbundenen Unsicherheiten besser zu verstehen - und zwar weit über die Disziplinengrenzen hinweg“, so Claus Lamm.