Statistik fälschen leicht gemacht

Nachdem gestern Thomas „The Boss“ Fischer in einem Nachtrag zu seiner Kolumne vom 28.06.2016 erneut den Boden mit „empörten Feministinnen“ aufgewischt hat, ist die am selben Tag erschienene Replik von Frau Stokowski etwas unter dem Radar geflogen. „Das ist doch eigentlich ganz positiv!“, mag jetzt der eine oder andere von sich geben und würde dafür auch zustimmendes Nicken erhalten. Ich möchte mich daher auch gar nicht sonderlich lange mit den Zeilen von Frau Stokowski aufhalten, sondern mich mit einer Studie beschäftigen, die sie in ihrem Artikel verlinkt.

Sie schreibt:

Es geht um eine Reform, die Feministinnen seit Langem fordern, die wegen der Istanbul-Konvention seit Jahren fällig ist und im Grundsatz fraktionsübergreifend befürwortet wird. Rückert findet das verheerend: „Das Intime gerät in Verdacht, das Schlafzimmer wird zum gefährlichen Ort.“ Gefährlich für diejenigen, die potenziell Täter oder Täterin werden könnten. Für potenzielle Opfer hingegen war das Schlafzimmer bisher schon „ein gefährlicher Ort“: Im Jahr 2004 gaben in einer repräsentativen Studie in Deutschland 25 Prozent der Frauen an, körperliche und/oder sexualisierte Gewalt durch den Partner oder Ex-Partner erlebt zu haben. Längst nicht alle zeigen die Taten an. [Hervorhebung nicht im Original]

25% der Frauen, also jede Vierte, hat schon einmal körperliche und/oder sexualisierte Gewalt durch den Partner oder Ex-Partner erlebt? Das klingt ja ungeheuerlich. Und aus dem Grund habe ich mir die Studie Lebenssituation, Sicherheit und Gesundheit von Frauen in Deutschland einmal etwas genauer angeschaut.

Aus meiner Sicht sind vor allem drei zentrale Fragen relevant: 1. Wie sind körperliche und/oder sexualisierte Gewalt definiert? 2. Mit welcher Methodik wurden die Daten erhoben? 3. Wie setzen sich die besagten 25% aus der Stichprobe zusammen?

1. Die Definition von körperlicher und sexualisierter Gewalt:

Die körperlichen Gewalthandlungen, die im Rahmen der Studie abgefragt wurden, umfas­sen ein breites Spektrum an Gewalthandlungen, von leichten Ohrfeigen und wütendem Wegschubsen über Werfen oder Schlagen mit Gegenständen bis hin zu Verprügeln, Wür­gen und Waffengewalt (vgl. Itemliste 1 im Anhang dieser Broschüre).

[…]

Im Vergleich zu den erfassten Handlungen körperlicher Gewalt bezogen sich die Items zu sexueller Gewalt auf einen engeren Gewaltbegriff, der ausschließlich strafrechtlich relevan­te Formen wie Vergewaltigung, versuchte Vergewaltigung und unterschiedliche Formen von sexueller Nötigung unter Anwendung von körperlichem Zwang oder Drohungen umfasste (vgl. Itemliste 2 im Anhang)

Fair enough, wie der Engländer sagen würde. Auch wenn ich ein ungutes Gefühl bei der Breite des Spektrums an erfassten Gewalthandlungen habe. Leichte Ohrfeigen und wütendes Wegschubsen werden mit Verprügeln, Würgen und Waffengewalt gleichgesetzt? Naja, dieser Faktor wird ganz bestimmt später in der deskriptiven Statistik berücksichtigt. Oder?

2. Die Methodik:

Die folgenden Überblicksdaten zur Gewaltbetroffenheit der Frauen seit dem 16. Lebensjahr beziehen sich bei körperlicher und sexueller Gewalt auf alle Angaben aus dem mündlichen und schriftlichen Fragebogenteil. Die Überblicksdaten zu sexueller Belästigung und zu psy­chischer Gewalt beziehen sich nur auf die Angaben im mündlichen Fragebogenteil, da zu diesen keine vergleichbaren Untersuchungsinstrumente im schriftlichen Teil vorliegen.

Eine Befragte galt als von einer Gewaltform betroffen, wenn sie in der Einstiegsfrage oder in der nachfolgenden Itemliste angab, mindestens eine der genannten Gewalthandlungen mindestens einmal in ihrem Erwachsenenleben erlebt zu haben; weitere Differenzierun­gen wurden dann anhand der nachfolgenden Angaben zu erlebter Gewalt vorgenommen. [Hervorhebung nicht im Original]

Natürlich wird dieser Faktor nicht berücksichtigt. Stattdessen reicht bereits der Umstand, dass eine Befragte irgendwann seit ihrem 16. Lebensjahr einmal „wütend geschubst“ wurde (welchen Mehrwert auch immer das Adjektiv dabei hat), um als „Opfer von Gewalt“ klassifiziert zu werden. Das dürfte wohl die beste Methode sein, um seine Zahlen inflationär aufzublähen. It’s not a bug, it’s a feature.

Und entsprechend sieht dann auch die erste Itemliste der mündlichen Befragung aus:

Studie_GewaltFrauenItemliste1

Beißen, Kratzen, Schubsen, Arm umdrehen auf der gleichen Stufe mit Verprügeln, Würgen, Verbrühen und Waffengewalt. Vermutlich sind unter dieser Definition 99% aller Menschen schon einmal „Opfer von Gewalt“ geworden, wenn sie auch nur eine öffentliche Schule besucht haben. Itemliste 2 ist komischerweise deutlich fokussierter und daher auch nachvollziehbarer:

Studie_GewaltFrauenItemliste2Mich dünkt, hier wurde in vollem Bewusstsein die Definition einer Gewaltform, nämlich der körperlichen Gewalt, so offen und breit wie möglich gestaltet, um noch einen Plan B in der Hinterhand zu halten, falls die erhobenen Daten am Ende nicht ins gewünschte Bild passen.

Da habe ich den Autoren aber dann doch zu viel „Anerkennung“ entgegenbringen wollen. Sie haben stattdessen einfach noch einen Fragebogen, mit einer eigenen Itemliste erstellt, um körperliche und sexuelle Gewalt in Paarbeziehungen zu erfragen:

Studie_GewaltFrauenItemliste4_1

Hm. Die Art und Weise der Befragung kommt mir irgendwie bekannt vor. Warum genau erfasst man hier nicht „ausschließlich strafrechtlich relevan­te Formen wie Vergewaltigung, versuchte Vergewaltigung und unterschiedliche Formen von sexueller Nötigung unter Anwendung von körperlichem Zwang oder Drohungen“, so wie in Fragebogen Nummer 2? Ein Schelm wer Böses dabei denkt.

3. Die Zusammensetzung der zitierten 25%:

Und tadaa, was sehen wir dann in der deskriptiven Statistik?

Studie_GewaltFrauenItemliste3

Sexuelle Gewalt allein kommt „nur“ auf 12% bzw. 13% wenn auch noch die Daten aus einem weiteren, schriftlichen Fragebogen mit einbezogen werden. Dieser Wert war den Autoren offenbar zu gering und überraschenderweise ist nahezu jede dritte Befragte schon einmal Opfer von körperlicher Gewalt gewesen. Warum also nicht einfach eine weitere Kategorie erstellen, in der man dann mit einem zusätzlichen Fragebogen ermittelt, ob eine Befragte sexuelle oder körperliche Gewalt durch den Partner erlitten hat? Und schon sind wir bei den von Frau Stokowski zitierten 25%. Klingt natürlich deutlich besser, nicht wahr?


Jetzt bin ich bei einer weiteren Betrachtung der Formulierungen in der Tabelle aber doch noch mal etwas stutzig geworden. In der Legende findet sich folgende Erklärung:

die Anteile erhöhen sich,wenn Angaben aus schriftlichem Fragebogen einbezogen werden (siehe Angaben in Klammern bei türkischen/osteuropäischen Migrantinnen und Hauptuntersuchung).

Das heißt, dass die Zahlen ohne Klammern sich nur aus der mündlichen Befragung zusammensetzen, während sich die Zahlen mit Klammern entweder nur aus der schriftlichen Befragung oder aus mündlicher und schriftlicher Befragung zusammensetzen. Der Text ist in Bezug darauf leider nicht eindeutig. Für die Hauptstudie (also die dunkel-orange Spalte), wird aber noch einmal explizit gesagt, dass es sich hier nur um die schriftliche Befragung bei den Zahlen in Klammern handelt (****).

Warum sinkt die Zahl von 25% auf 13%, wenn man eine schriftliche Befragung durchführt? Dieser Unterschied ist definitiv nicht zu vernachlässigen. Wurden hier den Befragten bei der mündlichen Befragung bestimmte Antworten nahegelegt?

Die letzte Kategorie lautet außerdem „sexuelle oder körperliche Gewalt durch Partner“. Itemliste 5 beschreibt aber die „Erfassung von körperlicher und sexueller Gewalt in Paarbe­ziehungen im schriftlichen Fragebogen“.

Woraus setzen sich also die 25% zusammen, die laut der Legende aus einer mündlichen Erhebung stammen müssen, wenn nur eine schriftliche Befragung über körperliche und sexuelle Gewalt vorgenommen wurde? Wurden hier dann letztendlich doch die Werte aus Itemliste 1 und 2 zusammengeworfen?

Möglicherweise übersehe ich hier etwas. Oder die Studie ist einfach irreführend und basiert auf einer unpräzisen und schlechten Methodik. You decide.

Advertisements