Wie vertrauenswürdig sind Statistiken?

[closs]

Im Umfeld der Diskussionen um Wissenschaft und Alltags-Praxis hier ein verwandtes Thema mit Schwerpunkt "Statistik".

Beispiel 1: Wie teuer müsste ein Päckchen Zigaretten sein, um alle Kosten, die durch Rauchen verursacht werden, abzudecken?
Zwei von wissenschaftlichen Instituten erstellte Rechnungen:
a) 43,- Euro
b) 2,80 Euro
Warum dieser Unterschied? - Weil einmal Rentenversorgungen, etc. miteinbezogen wurden, das andere mal nicht.

Beispiel 2: Wieviele Frauen werden am Arbeitsplatz sexuell belästigt?
a) ca. 65%
b) ca. 10%
Warum dieser Unterschied? - Weil unterschiedlich definiert wurde, was sexuelle Belästigung eigentlich ist.

Beispiel 3: Wieviele Moslems in Deutschland sind extremistisch?
a) ca. 35%
b) unter 1%
Warum dieser Unterschied? - Weil "Extremismus" unterschiedlich definiert wird.

Was meint Ihr dazu?

[Pluto]

Was meint Ihr dazu?

Zunächst einmal,
würde ich mir die Argumentation der einzelnen Studien ansehen wollen, um festzustellen wie genau die Unterschiede entstehen.
Was wurde in den einzelnen Studien berücksichtigt, was ausgelassen?

Zweitens, würde ich mich niemals auf die Ergebnisse einzelner Studien verlassen, sondern zum Thema mindestens ein halbes dutzend Studien anschauen, bevor ich mich gestlegen würde. Das ist der eigentliche Sinn von Metastudien: Die statistische Auswertung von einzelnen Studien, um etwaige Trends auszumachen.

Solche Metastudien, die eine Gruppe von ähnlichen Studien unter die Lupe nahmen, gibt es bspw. in der Homöopathie oder bei den Gefahren von Handy-Strahlung. Sie ermöglichen grundsätzlich eine sehr viel genauere Auswertung der gesammelten Daten.

[closs]

Zweitens, würde ich mich niemals auf die Ergebnisse einzelner Studien verlassen, sondern zum Thema mindestens ein halbes dutzend Studien anschauen,

Finde ich auch. - Allerdings: Wenn sie von ähnlichen Interessens-Gruppen designt wurden, kriegt man zwar ein homogenes Bild, weiss aber immer noch nicht, was jetzt WIRKLICH ist.

Solche Metastudien, die eine Gruppe von ähnlichen Studien unter die Lupe nahmen

Auch da muss man gucken, wer sie direkt oder indirekt finanziert. - Hätte die alternative Szene genauso viel Geld im Hintergrund wie die "offizielle", würde es das Meinungs-Bild in Deutschland (und überall woanders auch) signifikant verändern. - Ich behaupte ausdrücklich NICHT, dass wir damit besser dran wäre - sondern beziehe mich auf den Thread- Titel.

Im übrigen gibt es hier noch einen Punkt, um den es mir eigentlich geht:
Wäre ich gegen Raucher, würde ich auf dem wissenschaftlichen Ergebnis "43,- Euro pro Schachtel" beharren ("ätsch") und würde jeden anschnauzen, der mit seinem gesunden Menschenverstand sagt: "Nee - Ihr habt sie nicht alle" (schließlich ist mein Argument wissenschaftlich unterlegt). - Spürst Du die Divergenz?

[sven23]

Wäre ich gegen Raucher, würde ich auf dem wissenschaftlichen Ergebnis "43,- Euro pro Schachtel" beharren ("ätsch") und würde jeden anschnauzen, der mit seinem gesunden Menschenverstand sagt: "Nee - Ihr habt sie nicht alle" (schließlich ist mein Argument wissenschaftlich unterlegt). - Spürst Du die Divergenz?

Wenn man Studienergebnisse beurteilen will, dann darf man sich nicht nur an den Ergebnissen orientieren, sondern auch daran, wie sie zustande gekommen sind. Was war die Fragestellung, welche Parameter wurden berücksichigt usw.
Deshalb habe ich mir auch die Studie von der Carstens-Stifung besorgt und siehe da festgestellt, daß die hochgelobten Ergebnisse nicht besser als der Placeboeffekt waren. Das ist Marketing und hat nichts mit seriöser Wissenschaft zu tun.

[Pluto]

Allerdings: Wenn sie von ähnlichen Interessens-Gruppen designt wurden, kriegt man zwar ein homogenes Bild, weiss aber immer noch nicht, was jetzt WIRKLICH ist.

Womit wir wieder bei der "postulierten Realität nach closs" wären.
Kant hat mal gesagt, "Was ist, ist", meinte aber genauso "Was nicht ist, ist nicht". Nur mit beiden Setzungen kommen wir weiter.

Solche Metastudien, die eine Gruppe von ähnlichen Studien unter die Lupe nahmen

Auch da muss man gucken, wer sie direkt oder indirekt finanziert.

Ist bekannt.
Der Hauptteil der Studien zur HP wurde an freien Universtitäten durchgeführt, und mit "ungebundenen" Geldern finanziert.

Hätte die alternative Szene genauso viel Geld im Hintergrund wie die "offizielle", würde es das Meinungs-Bild in Deutschland (und überall woanders auch) signifikant verändern.

Das sind Unterstellungen die man nicht so im Raum stehen lassen kann.
Weise nach, dass es im Fall der HP-Untersuchungen Voreingenommeheit gab, sonst ist deine diesbezügliche Verschwörungstheorie nichtig.

Wäre ich gegen Raucher, würde ich auf dem wissenschaftlichen Ergebnis "43,- Euro pro Schachtel" beharren ("ätsch") und würde jeden anschnauzen, der mit seinem gesunden Menschenverstand sagt: "Nee - Ihr habt sie nicht alle" (schließlich ist mein Argument wissenschaftlich unterlegt). - Spürst Du die Divergenz?

Nein. Denn ich vermute, dass keine der beiden Studien durchgeführt wurden.
Begründung: keine der Zahlen lässt sich durch eine Internet-Suche bestätigen.

PS: Ein reales Problem, welches sich dem Staat stellt, ist dass eine zu hohe Steuer zu einem blühenden Schwarzmarkt führen würde.

[Scrypt0n]

Zweitens, würde ich mich niemals auf die Ergebnisse einzelner Studien verlassen, sondern zum Thema mindestens ein halbes dutzend Studien anschauen,

Finde ich auch. - Allerdings: Wenn sie von ähnlichen Interessens-Gruppen designt wurden, kriegt man zwar ein homogenes Bild, weiss aber immer noch nicht, was jetzt WIRKLICH ist.

1. Quark, da die Untersuchungen (jetzt bezogen auf Wirksamkeitstests!) durch randomisierte Doppelblindstudien einheitlich sind - die Interessen der Studienfinanzierer haben darauf keinen Einfluss.
Daher ist es wichtig, in solchen Fällen auch immer auf die Mengen zu achten, da nur bei ausreichenden Mengen scheinbar relevantes (z.B. Placebo-Wirkung) sozusagen "rausgekürzt" und unterschieden werden kann von wirklich relevanter Daten.
2. Selbst auf dein Beispiel bezogen weiß man das durchaus DANN, wenn man die zugrunde liegende Definition heran zieht um die Rahmenbedingungen der jeweiligen Ergebnisse ausmachen zu können.

Wäre ich gegen Raucher, würde ich auf dem wissenschaftlichen Ergebnis "43,- Euro pro Schachtel" beharren

Das wäre innerhalb deines Beispiels auch das einzig richtige Ergebnis; die andere Studie wäre falsch bezogen auf die Beantwortung der gestellten Frage.

Denn: Wie teuer müsste ein Päckchen Zigaretten sein, um alle Kosten, die durch Rauchen verursacht werden, abzudecken?
Dann: Warum dieser Unterschied? - Weil einmal Rentenversorgungen, etc. miteinbezogen wurden, das andere mal nicht.

Da die Frage also war, wie hoch der Preis ausfallen müsste um ALLE Kosten zu decken fällt jedwede Statistik, welche Folgekosten nicht mit einbezieht automatisch durch das Raster in den Mülleimer!


//Edit: Ich sehe gerade, dass sven deinen gedanklichen Fehler deines eigenen Beispieles ebenfalls erkannt hat.

Wenn man Studienergebnisse beurteilen will, dann darf man sich nicht nur an den Ergebnissen orientieren, sondern auch daran, wie sie zustande gekommen sind. Was war die Fragestellung, welche Parameter wurden berücksichigt usw.

[closs]

Da die Frage also war, wie hoch der Preis ausfallen müsste um ALLE Kosten zu decken fällt jedwede Statistik, welche Folgekosten nicht mit einbezieht automatisch durch das Raster in den Mülleimer!

Schon richtig - aber nicht praxis-gerecht. - Ich kann mich sehr wohl noch an die Talkshow erinnern, als sich die Kontrahenten fast an die Gugel gegangen sind, weil ihre Version die "Wahrheit" war, da wissenschaftlich abgesichert.

Und wenn es dann ein Lobby-Verein fertig bringt EINE Version in die Tagesschau zu bringen, ist das Volk kontaminiert, weil es meint, eine wissenschaftliche Aussage sei unbestechlich. - Genau das ist übrigens mit dem Thema "Sexuelle Belästigung am Arbeitsplatz" passiert - zwei Drittel der Frauen beträfe es, so die Tagesschau. - Und die ArbeitnehmerInnen zerbrechen sich den Kopf und wundern sich, dass sie nichts davon mitkriegen. - Bis Ihnen dann jemand sagt, dass subjektive Wahrnehmung oft eine Täuschung sei, also zwei Drittel sexuell belästigt werden würden, es aber nicht merken würden.

Was war die Fragestellung, welche Parameter wurden berücksichigt usw.

Natürlich - aber genau das spielt en detail bei der öffentlichen Verbreitung überhaupt keine Rolle.

[Anton B.]

Statistiken sind ein Werkzeug und das Erstellen einer Statistik ist nicht an sich Wissenschaft. Es wird eine Vielzahl von Beobachtungen im Kontext zu irgendwas abgebildet. Zur Interpretation werden wieder Modelle benötigt. Beobachtungsfehler, fehlerhaftes Design usw. kommen noch oben drauf.

[closs]

Kant hat mal gesagt, "Was ist, ist", meinte aber genauso "Was nicht ist, ist nicht". Nur mit beiden Setzungen kommen wir weiter.

Meine Rede seit 1848 - üblicherweise widerspricht man mir dann hier auf dem Forum.

Das sind Unterstellungen die man nicht so im Raum stehen lassen kann.

Pluuuuuuto - Du wirst doch nicht so naiv sein. - Unterstellt wird NICHT, dass dann Wissenschaftler fälschen würden, sondern dass Fragestellungen so definiert würden, dass die Antworten darauf für die finanzierende Interessensgruppe vermarktbar wären.

Weise nach, dass es im Fall der HP-Untersuchungen Voreingenommeheit gab

Allein dadurch, dass nicht wenige Wissenschaftler davon ausgehen, dass Wirkung prinzipiell nur über chemische Wirkstoffe erfolgen könne, ist bereits der Begriff Voreingenommenheit eingelöst. - Glaubst Du im Traum, dass ein Wissenschaftler mit diesem Wirkungs-Axiom ernsthaft interessiert daran sein kann, ob HP Wirkung haben kann (wo es seiner Meinung nach doch gar nicht möglich sein kann)? - Glaubst Du nicht vielmehr, dass es allein um Falsifizierung gehen kann (wie kriegen wir das am besten hin)?

Begründung: keine der Zahlen lässt sich durch eine Internet-Suche bestätigen.

Das war zur Zeit der Bayrischen Abstimmung zum Nicht-Rauchergesetz - in einem Diskussions-Forum trafen sich Lobbyisten von beiden Seiten und haben die Ergebnisse extern vergebener (soll ja seriös wirken) Untersuchungen gegenseitig präsentiert - die Grundlagen dazu hatten sie selbstverständlich selber definiert.

Ich sehe gerade, dass sven deinen gedanklichen Fehler deines eigenen Beispieles ebenfalls erkannt hat.

Auch hier dieselbe Antwort: Es spielt in der medialen Wirklichkeit keine Rolle.

[Pluto]

Kant hat mal gesagt, "Was ist, ist", meinte aber genauso "Was nicht ist, ist nicht". Nur mit beiden Setzungen kommen wir weiter.

Meine Rede seit 1848 - üblicherweise widerspricht man mir dann hier auf dem Forum.

Das stimmt nicht.
Du hast nur immer auf den ersten Teil beharrt: in Kants Worten, "Alles was ist, ist".
Den zweiten Teil aber IMO sehr wichtigen Teil hast du immer heruntergespielt und versucht zu ignorieren. Das was nicht ist, ist genauso wichtig.

Das sind Unterstellungen die man nicht so im Raum stehen lassen kann.

Pluuuuuuto - Du wirst doch nicht so naiv sein. - Unterstellt wird NICHT, dass dann Wissenschaftler fälschen würden, sondern dass Fragestellungen so definiert würden, dass die Antworten darauf für die finanzierende Interessensgruppe vermarktbar wären.

Das ist dasselbe in Grün. Es bleibt die pauschale Unterstellung, die Wissenschaft sei bestechlich.

Weise nach, dass es im Fall der HP-Untersuchungen Voreingenommeheit gab

Allein dadurch, dass nicht wenige Wissenschaftler davon ausgehen, dass Wirkung prinzipiell nur über chemische Wirkstoffe erfolgen könne, ist bereits der Begriff Voreingenommenheit eingelöst.

Wenn du dem widersprichst, dann musst du schon zeigen was die Alternative ist.

Glaubst Du nicht vielmehr, dass es allein um Falsifizierung gehen kann (wie kriegen wir das am besten hin)?

Das ist schon wieder eine Unterstellung.

Und ja. Ich denke, es handelt sich sehr wohl um eindeutige Wirkmechanismen, bzw. das Fehlen davon (bis auf die Placebowirkung).

Begründung: keine der Zahlen lässt sich durch eine Internet-Suche bestätigen.

Das war zur Zeit der Bayrischen Abstimmung zum Nicht-Rauchergesetz - in einem Diskussions-Forum trafen sich Lobbyisten von beiden Seiten und haben die Ergebnisse extern vergebener (soll ja seriös wirken) Untersuchungen gegenseitig präsentiert - die Grundlagen dazu hatten sie selbstverständlich selber definiert.

Da nicht nachvollziehbar ist, wie die Zahlen zustande kamen, sollten wir uns vielleicht an zuverläßige Ergebnisse wie diese hier halten: http://www.biomedcentral.com/1472-6963/13/278/abstract