Wie gut sind die Prognosen der Umfrageinstituten? Kurz gesagt: Solala. Betrachtet man die jeweils letzten Umfragen vor den vergangenen vier Bundestagswahlen, zeigt sich, dass es deutliche Unterschiede bei der Vorhersagegenauigkeit der Demoskopen gibt. (Richtigerweise muss man sagen: Es handelt sich nicht um Prognosen oder Vorhersagen im eigentlichen Sinne – die Umfragen sollen Abbild einer politischen Stimmung sein.) Update: Dank eines Hinweises von @zoonpolitikon sei hier noch auf die Fehlertoleranz/ Standardabweichung aufmerksam gemacht. Die Zahlen der Umfrageinstitute lagen meist innerhalb der üblichen +/- 2,5 bis 3 Prozentpunkte. Mehr dazu hier.
Durch die Bank weg haben alle der sechs hier betrachteten Umfrageinstitute bei der Wahl in 2005 deutlich daneben gelegen: CDU/CSU sahen alle bei 41 oder 42 Prozent – tatsächlich kamen die auf 35,2 Prozent. Anderseits lag Forsa im Jahr 2002 deutlich näher als die anderen Institute am Endergebnis: Mit insgesamt nur 2,7 Prozentpunkten Abstand. Bei der Bundestagswahl 1998 war Allensbach noch besser: Insgesamt lag man nur 2,4 Prozentpunkte vom Wahlergebnis weg.
Betrachtet werden bei diesem Vergleich die Zahlen für die Parteien im Bundestag (CDU/CSU, SPD, Grüne, FDP, Linke/PDS). Die Abweichung der Vorhersage für jede Partei – egal ob positiv oder negativ – wurden zusammengezählt. So ergibt die Gesamtabweichung beim folgenden Beispiel 6,4 Prozentpunkte.
Die letzten Umfragergebnisse der Institute vor der jeweiligen Wahl wurden bei wahlrecht.de gefunden. Hier die Datei mit den Umfrageergebnissen pro Partei und Wahl bei Google Docs.
Im Überblick ganz oben ist zu sehen, dass Allensbach und Forsa zumindest bei zwei von vier Wahlen die genausten Prognosen gebracht haben. Mal sehen, wie richtig sie am Wahlabend im September liegen. Wenn die Vorhersagen so fehlerhaft sind wie 2005, könnte der Wahlabend doch spannend werden.
—
Siehe die Kritik an diesem Beitrag: „Was Wahlumfragen (nicht) sagen“
und auch: „Warum Wahlprognosen mehr können als Umfragen – am Beispiel Hamburg-Mitte“ bei hamburger-wahlbeobachter.de
Danke für den Nachtrag. Da die Diskussion gestern auf Twitter mit 140 Zeichen pro Argument etwas limitiert war, habe ich in einem Blogeintrag geantwortet. Ich denke nach wie vor, dass die Darstellung im Eintrag ein falsches Bild von der „Treffsicherheit“ der Umfragen gibt. Den Eintrag findet man hier: http://scienceblogs.de/zoonpolitikon/2013/08/27/was-wahlumfragen-nicht-sagen/
Umfragen zur „Sonntagsfrage“ sollte es in den letzten 14 Tagen vor dem Wahltag nicht mehr veröffentlicht geben. Die Parteien müssen um Stimmen werben – nicht die Journalisten haben nach eigener Parteisymphatie den Ausschlag zu geben.
Danke für den interessanten Beitrag. Ich finde es aber etwas fragwürdig, die Fehlersumme zu präsentieren, da diese Größe keinerlei intuitive Bedeutung hat und das dann erst am Ende aufzuklären. Der erste Blick auf die obere Tabelle suggeriert wegen der falschen Überschrift beispielsweise, dass ein Infratest-Umfragewert von 2009 um 6,4 Prozentpunkte danebenliegt. Sinnvoller wäre es, wenn überhaupt, die Abweichungsbeträge über die Parteien zu mitteln, was hier 1.28 Prozentpunkte ergäbe.
Danke für den Kommentar. Wie würden Sie die Überschrift für die obere Tabelle formulieren?
Besser wäre z.B.
Über 5 Parteien summierte Abweichung der Umfragen von BTW-Ergebnis in %-Punkten
Das klingt zugegebenermaßen etwas gestelzt, liegt aber daran, dass die dargestellt Größe wie gesagt eben auch schlecht gewählt ist. Aunaufrichtige Profis würden es vielleicht auch kaschieren und einen akademischeren Begriff wie „akkumulierte Abweichung“ erfinden 🙂
Ich hab mir mal erlaubt, mit deinen Daten den mittleren quadratischen Fehler für die Institute auszurechnen. Der Vorteil ist, dass so große Abweichungen stärker ins Gewicht fallen. Am Endergebnis ändert das jedoch wenig. Lediglich die Forschungsgruppe Wahlen schneidet im Gesamtvergleich besser ab, da sich die Abweichungen günstiger über die einzelnen Parteien verteilen.
PS: Ich trag die Idee schon seit fast zwei Monaten mit mir rum und war ein wenig überrascht, dass jemand anderes ebenfalls die Idee hatte. Daher gefällt mir deine Analyse recht gut. (Zumal mir deine Daten eine Menge Suchererei ersparrt haben. 😉 )
Das einfache Aufsummieren aller Abweichungen ist statistisch gesehen richtig großer Käse und tut ein bisschen Aua.
Weil: Der statistische Zufallsfehler ist umso größer, je näher der gemessene Wert einer Partei an 50% liegt, also bei den großen Parteien. Leider habe ich keine Zeit zu erklären, warum das so ist, es ist einfach so, quasi Geheimwissen, welches sich der sogenannte „Daten-Journalist“ offenbar noch nicht angeeignet hat. Die Ergebnisse kleiner Parteien sollten sich demnach, wenn man nur den statistischen Fehler betrachten würde, leichter vorhersagen lassen. Auf gut Deutsch: Eine Abweichung von 2% bei der FDP ist viel „schlimmer“ als eine Abweichung von 2% bei der CDU – statistisch gesehen.
Selbes Spiel für die aktuelle Bundestagswahl. Qualitativ waren die Vorhersagen denen von 2009 ähnlich.
Mittlere Quadratische Abweichung zur BTW 2013
@Peterchen: Ich denke, darüber kann man sich streiten. Zunächst einmal hat man lediglich Zahlen, die man richtig interpretieren muss. Die Daten sind jedem zugänglich und jedem steht es frei, eigene Bewertungskriterien auszuwählen. (So, wie ich es ja auch getan hab.) Deiner Argumentation kann man entgegenhalten, dass es schwieriger ist, die Werte kleiner Parteien vorherzusagen. (Zumal ja sowieso nur >5%-Parteien in die Rechnung eingehen.)