Hintergrund: Wahlumfragen aus wissenschaftlicher Sicht

GDN - Selten gab es vor einer Bundestagswahl so viel Wirbel um die Umfragen der Meinungsforschungsinstitute: Selbst die Massenmedien philosophieren mittlerweile über Stichprobengrößen und die "Fehlertoleranz", allerdings vielfach auf einem Niveau, das den seriösen Sozialforscher erschaudern lässt. Ein kleiner Exkurs: Bei der jüngst oft bemühten "Fehlertoleranz" spielen die Umfrageinstitute auf den statistischen Zufallsfehler an, der entsteht, wenn man eine echte Zufallsstichprobe aus der Gesamtbevölkerung ziehen würde.

Dieser ist einerseits abhängig vom tatsächlich für eine Partei gemessenen Wert: Bei Prozentzahlen nahe an 50 Prozent ist der mögliche Zufallsfehler am stärksten. Die Ergebnisse der kleinen Parteien sollten sich also theoretisch genauer vorhersagen lassen, als die der größeren Parteien. Andererseits ist die Stärke des Zufallsfehlers abhängig von der Zahl der Befragten: Je mehr Teilnehmer eine Umfrage hat, desto geringer die zufällige Schwankung.

Eine dritte Variable wird aber fast nie in den Medien erwähnt: das sogenannte "Konfidenzniveau". Es gibt vereinfacht gesagt an, in wie viel Prozent der Fälle die Aussage über die Stärke des Zufallsfehlers überhaupt zutrifft. Hier nutzen die meisten Institute bei ihrer Berechnung stillschweigend einen Wert von 95 Prozent, der sich in der "Szene" einer gewissen Beliebtheit erfreut. Will man 99 oder gar 99,9 Prozent Sicherheit, würde die Schwankung exponentiell größer.

Auf gut Deutsch: Würden also tatsächlich 40 Prozent aller 62 Millionen Wahlberechtigten theoretisch am Telefon sagen, dass sie am Sonntag CDU/CSU wählen, dann würden die Institute wahrscheinlich in 95 Prozent aller Fälle, in denen sie unter den Wahlberechtigten eine Stichprobe von beispielsweise 1.500 Personen ziehen, einen Wert zwischen etwa 37,5 und 42,5 Prozent messen. In fünf Prozent der Fälle jedoch, also jedes 20. Mal, würden sie - obwohl sie absolut korrekt vorgegangen sind - einen Wert unter 37,5 oder über 42,5 Prozent ermitteln. Und das alles unter der Vorstellung vom Ideal der echten Zufallsstichprobe.

Doch genau hier liegt die Krux: Sämtliche großen Bevölkerungsumfragen sind keine echten Zufallsstichproben, auch wenn die Institute das gerne hätten und es oft auch behaupten. Dafür wäre notwendig, dass jeder Wahlberechtigte exakt dieselbe Chance hat, in die Befragung zu gelangen. Doch dies ist bei weitem nicht der Fall. Nicht bei den klassischen Telefonumfragen und noch weniger bei der immer häufiger durchgeführten Befragung übers Internet. Ein paar Beispiele:

- Eine stark ablehnende Haltung gegenüber Umfragen lässt die individuelle "Chance" dieser Person, tatsächlich in die Auswertung einer Umfrage zu gelangen, gegen null sinken. Der Befragte legt am Telefon einfach genervt den Hörer auf. Und eine solche ablehnende Haltung haben viele Bundesbürger, oft liegt die Teilnahmequote bei Telefonumfragen nur bei etwa 50 Prozent. Genaue Zahlen geben viele Institute lieber gar nicht erst heraus. Die Ausfälle wären nicht so tragisch, wenn sie sich zufällig auf alle Parteianhänger verteilen würden. Tun sie aber nicht. Vielleicht hassen alle AfD-Anhänger Wahlumfragen besonders stark? Niemand weiß es bis jetzt.

- Manche Wahlberechtigten haben viele Telefonnummern über die sie persönlich erreichbar sind (ISDN-Anschluss mit zehn Rufnummern, drei Handys, Skype-Festnetznummer). Andere haben nur eine einzige Telefonnummer. Auch das führt zu besseren oder schlechteren Chancen, angerufen zu werden - wenn der Zufallsgenerator die Telefonnummer wählt (was er bei einer zufälligen Telefonstichprobe tun sollte).

- Bei der immer beliebter werdenden Umfrage übers Internet bleiben fast 25 Prozent der Deutschen gleich ganz draußen, denn so viele sind noch immer nicht (oder nicht mehr) online. Ihre Befragungschance bei einer Online-Umfrage: 0 Prozent.

Von einer gleichen Chance aller Wahlbürger kann also keine Rede sein, und damit auch nicht mehr von der echten Zufallsstichprobe.

Abgesehen von den Schwierigkeiten bei der statistisch einwandfreien Auswahl der Befragten gibt es aber noch mehr Probleme: Die Anhänger mancher Parteien outen sich besonders ungern und geben eine falsche Antwort (Stichwort "soziale Erwünschtheit"). Viele wissen auch am Tag vor der Wahl noch gar nicht, ob, und wenn ja, wen sie wählen sollen.

Also haben sich die Institute so manche Gegenmaßnahme einfallen lassen, wie sie ihre Rohdaten gewichten, um doch noch zu aussagekräftigen Ergebnissen zu kommen. Das Ganze läuft teilweise unter dem Motto "Was nicht passt, wird passend gemacht" ab. Sind beispielsweise in den Rohdaten nur 25 Prozent Frauen vertreten, zählen ihre Antworten einfach doppelt, um den weiblichen Anteil der Gesamtbevölkerung korrekt zu "repräsentieren". Ähnlich gehen die Institute bei den Variablen Wohnort und Alter vor, und oft bei einer Reihe weiterer Kriterien, von denen man die echte Verteilung zu kennen glaubt. Wie unsicher aber selbst diese Referenzdaten sein können, zeigen die aktuellen Wirrungen um den Zensus. Alles in allem ein umstrittenes Verfahren.

Und in die Karten schauen lassen wollen sich die Umfrageinstitute schon gar nicht, die Gewichtungsformel gilt stets als Betriebsgeheimnis. Trotz aller Unsicherheiten in der Umfrageforschung schmücken sich die kommerziellen Institute gerne mit ihrem Lieblingsbegriff: "Repräsentativität". Das Wort ist zu einem hohlen Begriff verkommen, der von den meisten Wissenschaftlern ohnehin schon immer geächtet wurde.

Deutlich besser sieht es bei den 18-Uhr-Prognosen aus, die ARD und ZDF veröffentlichen. Viele Probleme aus den Telefon- oder Internetumfragen spielen hier keine Rolle, weil diese Zahlen eben nicht per Telefon oder Internet erhoben werden, sondern in einer geheimen Wahl, die direkt vor dem echten Wahllokal stattfindet. Der Befragte kann anonym antworten, er weiß, was er gewählt hat und die Verweigerungsraten sind niedriger. Eine zusätzliche Wahlurne mit dem Logo der ARD ist einladender als ein nerviger Telefonanruf nach Feierabend. Die "Nachwahlbefragung" ist deutlich näher am Ideal der echten Zufallsstichprobe und dementsprechend dürfen sich die Prognosen am Wahlabend - im Gegensatz zu den Umfragen vor der Wahl - seit Jahren einer hohen Zuverlässigkeit erfreuen. Ein immer wiederkehrender Beweis, dass Statistik doch noch zu was taugt.