Wie vertrauenswürdig sind Statistiken?

[Pluto]

Nun, vor Kurzem ging die Nachricht durch die Medien, dass über die Hälfte der medizinischen oder psychologischen Studien
- nicht korrekt durchgeführt wurden (z.B. suggestive Fragestellungen)

Wo kann man das nachlesen?

- keine reproduzierbaren Ergebnisse erbringt (es traut sich kaum jemand, das Experiment zu wiederholen und wenn, ergibt es andere Ergebnisse)

Inwiefern "andere Ergebnisse"?

Behauptungen enthalten, die nicht aus der Studie ablesbar sind

Hast du Beispiele?

Die Werkzeuge, um Studien richtig und korrekt durchzuführen, gibt es.
Sie werden nur in manchen Gebieten schlicht nicht angewendet, sei es, weil die beteiligten Forscher die Technik nicht beherrschen, sei es, weil politische / monetäre Einflussfaktoren die Anwendung verhindern.

Wenn ein Arzt oder Doktorand die Methodik nicht versteht, ist das nachvollziehbar, aber dafür gibt es (a) den Studienleiter und (b) den "Peer Review" vor der Veröffentlichung.
Da wundert es mich, dass solche Fehler passieren können.
Jedoch wie so oft haben wir keine Fakten und müssen uns auf Hörensagen verlassen.
Deshalb bin ich geneigt, solche Aussagen als Medien-Hype abzutun.

Das gilt übrigens auch und gerade für Forschung in Randbereichen, wie wenn es gilt "nachzuweisen", dass Homoöpathie oder asiatische Medizin wirkt.
Es sind nicht immer nur die pösen Farmafirmen, manchmal ist die Ursache auch schlicht weltanschauliche Blindheit.

Solche pauschalen Verurteilungen sehen sehr nach Verschwörungstheorie aus, wenn sie nicht mit überprüfbaren Fakten untermauert werden. Sieht für mich eher nach polemische Suche nach Strohhalmen der HP-Befürworter aus.

[ThomasM]

Nun, vor Kurzem ging die Nachricht durch die Medien, dass über die Hälfte der medizinischen oder psychologischen Studien
- nicht korrekt durchgeführt wurden (z.B. suggestive Fragestellungen)

Wo kann man das nachlesen?

- keine reproduzierbaren Ergebnisse erbringt (es traut sich kaum jemand, das Experiment zu wiederholen und wenn, ergibt es andere Ergebnisse)

Inwiefern "andere Ergebnisse"?

Behauptungen enthalten, die nicht aus der Studie ablesbar sind

Hast du Beispiele?

Allgemeine Berichte der letzten Zeit sind z.B.
http://www.spiegel.de/wissenschaft/medi ... 11921.html
http://www.spiegel.de/wissenschaft/medi ... 59629.html

Deshalb bin ich geneigt, solche Aussagen als Medien-Hype abzutun.

Klar, Hypes gibt es genug.
Aber den Einfluss von Geld und dem Drang nach Umsatz zu ignorieren, ist blauäugig.
Von den hehren Prinzipien der Wissenschaft kann sich nun mal niemand ein Stück Brot kaufen.
Geld spielt eben genauso eine Rolle, wie Neid, Machtstreben, Geltungssucht usw.

Das Problem dieser Gebiete ist, dass die statistischen Korrelationen oft genug minimal sind. In der Physik muss z.B. der Nachweis eines Elementarteilchens mit 5 Standardabweichungen erfolgen, d.h. die Wahrscheinlichkeit eines statistischen Fehlers muss weit unter 0,001 liegen.
Würde man diese Genauigkeit auf medizinische oder psychologische Studien anwenden, würde man niemals ein Wirkungsergebnis bekommen haben.

Gruß
Thomas

[Pluto]

Allgemeine Berichte der letzten Zeit sind z.B.
http://www.spiegel.de/wissenschaft/medi ... 11921.html
http://www.spiegel.de/wissenschaft/medi ... 59629.html

Die von dir verlinkten Artikel haben einige Schönheitsfehler.
1.) In deinen Bemerkungen ist von HP die Rede, in den Artikeln nicht.
2.) Der erste Artikel von der Entdeckung der Fehler und deren Behebung. Fehler passieren immer.
3.) Der zweite Artikel spricht von angeblich gefälschten indischen Studien, fernab vom Mainstream.

Es ist eine falsche Pauschalisierung zu sagen, dass weil Fehler deshalb die Untersuchungen zu HP ebenfalls unredlich durchgeführt werden. Für eine solche Aussage fehlen die Daten.

Es ist immer wieder dasselbe Problem zu beobachten: Eine Ungenauigkeit wird aufgedeckt, und sogleich wird die gesamte Wissenschaft in Sippenhaft genommen.

In der Physik muss z.B. der Nachweis eines Elementarteilchens mit 5 Standardabweichungen erfolgen, d.h. die Wahrscheinlichkeit eines statistischen Fehlers muss weit unter 0,001 liegen.
Würde man diese Genauigkeit auf medizinische oder psychologische Studien anwenden, würde man niemals ein Wirkungsergebnis bekommen haben.

Jede Disziplin hat seine Regeln. Das Doppelblindexperiment wurde extra für Medikamente entwickelt.

[closs]

Wo kann man das nachlesen?

Vor einem halben Jahr war dazu ein Dossier in der ZEIT - die Begründung war übrigens total nüchtern: Der Veröffentlichungs-Druck ist so hoch (wenn man innerhalb des Systems was werden will), dass man gar nicht mehr zum nachdenken kommt. - Ein Kumpel von mir, der irgendwo (naturwissenschaftlicher) Ordinarius ist hat mir letztes Jahr erzählt, dass die größte Arbeit bei einer Veröffentlichung ist, sich mit Kollegen vorab weltweit abzusprechen - damit ja kein Verriß kommt. Auch DA gibt es Deals.

Sieht für mich eher nach polemische Suche nach Strohhalmen der HP-Befürworter aus.

Hat damit gar nichts zu tun - eigentlich wäre das ein Thema unter Naturwissenschaftlern jeglicher Fachrichtung.

[Scrypt0n]

eigentlich wäre das ein Thema unter Naturwissenschaftlern jeglicher Fachrichtung.

Wie kommst zu zu dieser aus den Fingern gesaugten Annahme?

[closs]

Wie kommst zu zu dieser aus den Fingern gesaugten Annahme?

Also - wenn man für solche einfachsten Feststellungen Finger zum Saugen braucht, dann wäre das ein bißchen früh. - Das Thema "Statistik"/"Studien"/etc. ist ein naturwissenschaftliches Problem - Thomas hat dazu einen Steilpass gegeben.

[Pluto]

Ein Kumpel von mir, der irgendwo (naturwissenschaftlicher) Ordinarius ist hat mir letztes Jahr erzählt, dass die größte Arbeit bei einer Veröffentlichung ist, sich mit Kollegen vorab weltweit abzusprechen - damit ja kein Verriß kommt. Auch DA gibt es Deals.

Ein Kumpel... naja.
Wie schon so oft festgestellt, es werden Behauptungen ohne Daten erzählt und pauschalisiert.

...eigentlich wäre das ein Thema unter Naturwissenschaftlern jeglicher Fachrichtung.

Und woher willst du das wissen?

[closs]

Und woher willst du das wissen?

Weil sich Statistiken und Studien sehr oft im wissenschaftlichen Bereich stattfinden. Ich finde es einfach naheliegend, dass Problem da diskutiert werden, wo sie stattfinden - Thomas hat sich als Wissenschaftler doch schon dazu geäußert.

Wie schon so oft festgestellt, es werden Behauptungen ohne Daten erzählt und pauschalisiert.

Das deckt sich aber sehr mit dem ZEIT-Dossier vor einiger Zeit (auf das sich MÖGLICHERWEISE Thomas bezogen hat) - ich glaube, dass das sogar der Anlass war für unser privates Gespräch (Kumpel und ich).

Im Grunde sehe ich da auch nichts Ehrenrühriges - das ist ein Business wie jedes andere auch. - Und momentan scheint man erkannt zu haben, dass man die Karriere-Attribute anders gestalten muss, um Qualitäts-Standards zu erhöhen.

[sven23]

Im Grunde sehe ich da auch nichts Ehrenrühriges - das ist ein Business wie jedes andere auch. - Und momentan scheint man erkannt zu haben, dass man die Karriere-Attribute anders gestalten muss, um Qualitäts-Standards zu erhöhen.

Daß es nötig ist, die Qualtiätsstandards zu erhöhen, kann man an den vielen "Studien" zur Homöopathie sehr gut ablesen, die von so schlechter Qualität sind, daß sie völlig wertlos sind.
Oder denkt man an die vielen Studien, die im Auftrag der Zigarettenindustrie durchgeführt wurden, die immer zum Ziel hatten, den Status quo zu erhalten.
Das ging aber nur so lange gut, wie die Politik das Spiel mitgespielt hat.

Zum "publish or perish" Problem.
Der Publikationszwang ist schon ein erkanntes Problem im Wissenschaftsbetrieb, wobei die Gefahr besteht, daß die Quantität zu Lasten der Qualität geht und sogar gefälscht wird.
http://www.sciencegarden.de/content/200 ... n-kollegen
http://www.faz.net/aktuell/feuilleton/t ... 04763.html

[closs]

Das ging aber nur so lange gut, wie die Politik das Spiel mitgespielt hat.

In diesem speziellen Fall geht es eher um inner-wissenschaftliches Problem. - Offensichtlich hat man bei den Kriterien für die Karriereleiter falsche Impulse gesetzt. - Wahrscheinlich muss man da etwas ändern, so wie man bei den Banken die Bonus-Regelung geändert hat (wenn auch mit wenig Erfolg). So was kommt überall vor und ist jetzt nicht DAS große Thema - außer dass man generell ein interessiertes, aber nicht höriges Verhältnis zu Studien haben sollte.

Gerade heute früh habe ich einen ZEIT-Artikel zu Kindererziehung ("So ziehen wir Rotzlöffel heran" )gelesen, in dem sich ein schwedischer Institutsleiter beklagt hat, dass die Wissenschaft (also seine eigene Fraktion) aus gesellschaftlichen Mode-Gründen über Jahrzehnte psychologische/neurowissenschaftliche Beobachtungen vollkommen falsch interpretiert haben. - Er hat ein paar Beispiele genannt, wo einem als Eltern schier die Zahnplomben rausfallen. - Das ist aber wieder mal exakt das Terrrain, auf dem gesunde Eltern zu Deppen gemacht werden können ("Nach neuesten wissenschaftlichen Erkenntnissen sollen Sie Kinder nicht loben, weil ...").

Also: Interesse an wissenschaftlichen Äußerungen sollte sein, Distanz aber auch. - Lieber darauf warten, ob eine wissenschaftliche Meinung stabil bleibt und dann neu nachdenken.