FANDOM


thumb|300px|right Zu diesem Bereich sind einige recht unterschiedliche Arbeiten veröffentlicht worden. Massgebliche Daten stammen aus dem medizinischen Bereich und vor allem aus dem anglo-amerikanischen Raum. Aber auch eine kleine deutsche Studie wirft allerhand Fragen auf.

Das Video erläutert die spektakuläre Arbeit von John. P. A. Ioannidis, die weiter unten vorgestellt wird.

Das Video ist in englischer Sprache.

Daniele Fanelli, Verhaltenswissenschaftler, Universität Edinburgh 2009Bearbeiten

New College on the Mound, Edinburgh.jpg

StichprobeBearbeiten

Aus einer Gesamtheit von 3276 Studien wählte Fanellischliesslich 18 Arbeiten für seine Meta-Analyse zur Häufigkeit von Fälschungen in der Wissenschaft aus. Kriterien waren u.a.:

  • Studien ausschliesslich zu Datenfälschung
  • quantitative Daten
  • Vorhandensein von Kategorien wie "nie", "keiner", "niemand"
  • publizierende Forscher/ wissenschaftlich Tätige als Probanden

Drei Studien wurden zwar wegen fehlender (Daten)Qualität nicht in die Meta-Analyse einbezogen, deren Daten aber für grobe Schätzungen und allgemeinere Fragen verwendet. Die untersuchten Studien wurden zwischen 1987 und 2008 veröffentlicht und zwischen 1986 und 2005 durchgeführt. 15 Arbeiten (71%) stammen aus den USA, 3 Studien (14%) aus Grossbritannien und Nordirland, zwei Studien aus einer multinationalen Stichprobe (10%) sowie eine Arbeit aus Australien.

Sechs Studien wurden an biomedizinischen Forschern durchgeführt, acht an Forschern in verschiedenen Positionen in medizinisch-klinischen Wissenschaften (Pharmakologie, Krankenpflege, Gesundheitserziehung, klinische Biostatistik und Sucht-Studien), sechs Umfragen an multidisziplinären Stichproben sowie eine Untersuchung an Ökonomen.

MethodikBearbeiten

Die verbliebenen Arbeiten wurden einer Regressionsanalyse unterzogen, um die Auswirkung der methodischen Besonderheiten auf die Ergebnisse zu kontrollieren. Für jede Frage wurde der Prozentsatz der Befragten berechnet. In der Mehrzahl wurden Antwortkategorien zusammengefasst, bis auf "keiner", "niemals" und "weiss nicht". Bei Studien, deren Stichproben nach demografischen Merkmalen unterteilt waren, wurden die Daten wieder zusammengefasst. Die wichtigsten Ergebnisse war der Anteil der Befragten, die Fälschung zugaben oder diese von Kollegen berichteten. Dieser Wert war nicht normalverteilt (Kolmogorov-Smirnov-Test), wobei weitere Verfahren zum Einsatz kamen wie:
Forestplot01.jpg
  • Logit-Transformation
  • Gewichtung durch inverse Varianz
  • Chochran's Q-Test
  • einfaktorielle ANOVA (Varianzanalyse)
  • iterative Maximum-Likelihood-Schätzung

Fragen zu Verhalten von untergeordnetem Interesse wie fragwürdige Forschungspraktiken wurden zu grösseren Kategorien zusammengefasst. Dafür wurden nur grobe ungewichtete Parameter berechnet. Alle statistischen Analysen wurden mit SPSS berechnet. Für die Meta-Analyse wurden die Makros "MeanES", "MetaF" und "MetaReg" von David. B. Wilson verwendet.

ErgebnisseBearbeiten

Die Frage, ob Jemand selbst Daten erfunden oder gefälscht bzw. Ergebnisse modifiziert hatte, ergab eine gewichtete Schätzung von 1,97%. Andere fragwürdige Forschungspraktiken wurden von bis zu 33,7% der Befragten berichtet.

Die Frage nach Kollegen, die Daten erfunden, gefälscht oder geschönt hatten, um die Ergebnisse zu verbessern, ergab eine gewichtete Schätzung von 14,12% . Wurde nur nach Erfindung oder Fälschung gefragt, lag der gewichtete Schätzwert bei 12,34%. Zwischen 6,2% und 72% der Befragten hatten Kenntnis von fragwürdigen Forschungspraktiken. Bei allgemeinerer Fragestellung lag der Wert zwischen 12% und 92%.

In fünf Studien wurde danach gefragt, was die Teilnehmer gegen beobachtes Fehlverhalten unternommen hätten. In rund der Hälfte der vermuteten Fälle war eine Aktion erfolgt. Eine Studie ergab, dass 29% der bekannten Fälle von Fehlverhalten nie aufgedeckt wurden.

Fanelli merkt an, dass Selbstberichte über wissenschaftliches Fehlverhalten die wahre Häufigkeit systematisch unterschätzen. Es kann als sicher gelten, dass Erfinden und Fälschen von Daten häufiger vorkommen als es bisherige Schätzungen nahelegen. Bei einer Kontrolle der methodischen Unterschiede zeigen Vergleiche von Kreuzstudien, dass bei Stichproben aus dem rein medizinischen Bereich Fehlverhalten häufiger angegeben wird als in anderen Bereichen oder in gemischten Stichproben. Nach Fanelli könnte Fehlverhalten im medizinischen Bereich tatsächlich häufiger vorkommen, alternativ aber die Sensibilität dafür grösser sein, so dass es häufiger berichtet wird.

Karl-Heinz Tödter, Ökonom, Deutsche Bundesbank, 2009Bearbeiten

Miquelanlage 2.jpg

2009 untersuchte Karl-Heinz Tödter 117 volkswirtschaftliche Arbeiten, die in den letzten Jahren in zwei renommierten Fachzeitschriften veröffentlicht worden waren. Diese waren gespickt mit statistischen Berechnungen.

Tödter überprüfte dabei die Ergebnisse mit dem sog. Benford-Test, einem mathematischen Verfahren, das die Daten auf Plausibilität überprüft. Dabei fand er in jeder 5. Arbeit "verdächtige Ungereimtheiten in nennenswertem Ausmaß."

Tödter fordert, jede wissenschaftliche Arbeit müsse mit dem Benford-Test überprüft werden. Bei Auffälligkeiten sei die Beweislast umzukehren, d.h. der Wissenschaftler habe die Rechtmässigkeit seiner Ergebnisse zu belegen. Dabei sei der Benford-Test zwar kein Beweis, wohl aber ein erstes Indiz für eine Datenfälschung.

Benforddistrp.png
Obwohl dem Test eine gewisse Ungenauigkeit nachgesagt wird, konnte er bislang dennoch in vielen Fällen erfolgreich eingesetzt werden wie z.B. Unregelmässigkeiten bei Wahlen oder Steuerprüfungen. Auch der Nachweis der Manipulation der Wirtschaftsdaten Griechenlands gelang auf diese Weise. Häufig verrechnen sich Wirtschaftswissenschaftler aber auch derart heftig, dass ihre Ergebnisse nicht zu replizieren sind. Ein amerikanischer Wissenschaftler konnte so von 62 ausgesuchten Arbeiten nur 14 korrekt nachrechnen.


John P.A. Ioannidis, Epidemiologe, Universitäten Ioannia/Stanford, 2005Bearbeiten

Uoi monastiri.jpg

In einer viel beachteten Arbeit wies Ioannidis 2005 nach, dass die meisten Forschungsergebnisse falsch sind. Es genügten geringfügige Abweichungen in bestimmten Faktoren, um bei nichtrandomisierten Studien zu 80% falscher Ergebnisse zu kommen, bei randomisierten Studien zu 25%. Häufig beginne das Malheur bereits bei der Wahl der falschen Hypothese (siehe Video).

Zur Berechnung benutzte er den PPV, den positiven Vorhersagewert (positive predictive value), der den Anteil der korrekt als positiv erkannten Ergebnisse an der Gesamtheit der als positiv erkannten Ergebnisse angibt. Er entspricht der geschätzten bedingten Wahrscheinlichkeit. Ioannidis nennt eine Reihe von Faktoren, welche die Wahrscheinlichkeit eines wahren Ergebnisses mindern:

  • Geringe statistische Power
  • Geringe statistische Signifikanz
  • Kleine Effektstärken
  • Anzahl vorheriger Studien
  • Flexibilität in Design, Definitionen, Ergebnissen und statistischen Methoden
  • Finanzielle und andere Interessen sowie Vorurteile
  • Anzahl der unabhängig voneinander arbeitenden Forscher auf demselben Gebiet

Diese Grössen beeinflussten sich oft gegenseitig. Einzelne Studien ergäben nur ein teilweises Bild. Erste Lösungswege sieht Ioannidis in einem Ausschalten von Vorurteilen, verbesserten Forschungsstandards sowie grösseren Studien bzw. Meta-Analysen. Nach Ioannidis gelten seine Aussagen nicht nur für die Medizin, sondern für alle Wissenschaftsbereiche, die mit ähnlichen Methoden arbeiten.

500px-Binary-classification.svg.png

Im gleichen Jahr veröffentlichte Ioannidis eine weitere aufsehenerregende Studie. Er untersuchte 49 der meistbeachteten Arbeiten, die in den letzten 13 Jahren (1990 - 2003) in den drei meist zitierten Zeitschriften erschienen waren. Darunter waren Studien zur Hormonersatztherapie in der Menopause, die Gabe von Vitamin E zur Vermeidung von Herzkrankheiten sowie die tägliche Einnahme von Aspirin zur Vermeidung von Herzinfarkten und Schlaganfällen. Von 115 Arbeiten, die mehr als 1000 mal zititiert worden waren, blieben nach Sichtung 49 Arbeiten übrig. 45 dieser Studien gaben an, wirksame Behandlungen entdeckt zu haben. Deren Behauptungen wurden erneut getestet und mit nachfolgenden Arbeiten verglichen, die eine vergleichbare oder umfangreichere Grösse hatten und ähnliche oder besser kontrollierte Studiendesigns aufwiesen.

Davon erwiesen sich 14 Arbeiten(= 32%) als falsch(7 = 16%) oder erheblich übertrieben(7 = 16%). 20 Arbeiten (44%) konnten repliziert werden, 11 Studien(24%) blieben weitgehend unangefochten. Ioannidis fordert, Ergebnisse aus jüngsten Studien , egal wie beeindruckend sie sind, mit Vorsicht zu interpretieren, wenn nur eine Testversion verfügbar sei. Sogar wenn sich ein Forschungsirrtum herausstelle, würde er Jahre oder Jahrzehnte überdauern.

Brian C. Martinson, Soziologe, HealthPartners Research Foundation, 2005Bearbeiten

UMN-NorthrupMall.jpg

Brian C. Martinson, Melissa S. Anderson und Raymond de Vries untersuchten 2005 das Ausmass von wissenschaftlichem Fehlverhalten bei Forschern in den USA. Ihre Untersuchung fand Eingang in Fanellis Meta-Analyse wie oben beschrieben, aber auch viel Resonnanz in der Öffentlichkeit.

StichprobeBearbeiten

Die Untersuchung wurde als anonyme standardisierte Befragung durchgeführt (Selbstbericht). Der Fragebogen erhielt 10 Top-Items zu schweren wissenschaftlichen Verfehlungen sowie sechs weitere Items zu leichteren Verfehlungen. Die Befragten sollten angeben, welche der 16 Verfehlungen in den letzten drei Jahren auf sie zutrafen.

7760 Wissenschaftler wurden angeschrieben, die Fördergelder von den National Institutes of Health erhielten und sich auf den unteren (n = 4160) oder mittleren (n = 3600) Stufen ihrer Karriereleiter befanden. Diese Gruppe umfasste Biologen, Mediziner, Chemiker, Physiker, Ingenieure und Sozialwissenschaftler. 3247 Wissenschaftler beteiligten sich an der Untersuchung bei einer leichten Mehrheit der etwas erfahreren Forscher.

Ergebnisse (Auszug)Bearbeiten

  • 27,5% hatten Daten unzureichend archiviert
  • 15,5% änderten Studiendesign, Methoden oder Ergebnisse auf Druck der Geldgeber
  • 15,3% hatten Daten entfernt, die vom Gefühl her falsch waren
  • 13,5% benutzten unangemessene Forschungsdesigns
  • 12,5% ignorierten fehlerhafte Daten oder fragwürdige Interpretationen bei Kollegen
  • 10,8% hielten Details von Methoden oder Ergebnissen zurück
  • 10% machten ungeeignete Zuweisungen der Autorschaft
  • 7,5% hatten gewisse kleinere menschliche Anforderungen umgangen
  • 6% hatten Daten zurückgehalten, die früheren eigenen Ergebnissen widersprachen
  • 4,7% gaben Mehrfachpublikationen zu
  • 1,7% machten unerlaubten Gebrauch von vertraulicher Information
  • 1,4% gaben direkt Plagiate zu
  • 0,3% hatten explizit Daten gefälscht
NIH Clinical Center south entrance.jpg

Insgesamt ein Drittel der befragten Forscher gab zu, innerhalb der letzten Jahre mindestens eine strafwürdige Verfehlung aus den Top-Ten wissenschaftlichen Fehlverhaltens begangen zu haben. Die schwersten Verfehlungen, Plagiat und Datenfälschung, wurden von unter 2% zugegeben.

Die Autoren gehen von einer eher konservativen Schätzung ihrer Erhebung aus. Wirklich schwarze Schafe hätten sich vermutlich gar nicht erst an der Untersuchung beteiligt. Auch seien manche Antworten wohl eher geschönt.

Bei der Untersuchung gab es aber auch signifikante Unterschiede zwischen Neulingen in der Forschung und erfahreren Kollegen.

Erfahrene Forscher

  • ändern häufiger Design, Methoden und Ergebnisse auf Druck der Geldgeber hin
  • machen häufiger unerlaubten Gebrauch von vertraulicher Information
  • greifen häufiger zur Mehrfachpublikation
  • machen häufiger ungeeignete Zuweisungen der Autorschaft
  • halten häufiger Details von Methoden oder Ergebnissen zurück
  • umgehen häufiger kleine menschliche Anforderungen

Als Gründe für das zunehmende Fehlverhalten nennen die Autoren mehrere Faktoren wie immensen Konkurrenzdruck und ausufernde Verwaltungsaufgaben, aber auch die Wahrnehmung einer ungerechten Verteilung von Fördermitteln. Ihrer Meinung nach schaden die weit verbreiteten Unregelmässigkeiten im Forschungsbetrieb der Wissenschaft mehr als die spektakulären Einzelfälle.



Störung durch Adblocker erkannt!


Wikia ist eine gebührenfreie Seite, die sich durch Werbung finanziert. Benutzer, die Adblocker einsetzen, haben eine modifizierte Ansicht der Seite.

Wikia ist nicht verfügbar, wenn du weitere Modifikationen in dem Adblocker-Programm gemacht hast. Wenn du sie entfernst, dann wird die Seite ohne Probleme geladen.

Auch bei FANDOM

Zufälliges Wiki