Jury aus Aserbaidschan beeindruckt wieder im Synchronabstimmen

27 Mai 15
27. Mai 2015

Wo gerade wieder über den Unsinn der Jurys beim Eurovision Song Contest diskutiert wird: Die aus Aserbaidschan hat in diesem Jahr wieder eine erstaunliche Leistung in der besonderen Disziplin des Synchronabstimmens erbracht.

Die fünf Juroren, die eigentlich unabhängig voneinander über die Beiträge abstimmen sollen, waren sich in verblüffendem Ausmaß einig, wie jedes der 26 Länder zu bewerten ist. Es gab keinen einzigen Titel, bei dem die Mitglieder der Jury unterschiedlicher Meinung waren, ob er herausragend, unterirdisch oder mittelmäßig war. Es gab keinen einzigen Juror, der mal aus dem Konsens ausbrach und ein Stück gut bewertete, das seine Kollegen schlecht bewerteten.

Das ist bei 26 Titeln schon ein Kunststück.

Nun ist es nicht so, dass die Juroren aus Aserbaidschan allen Titeln dieselbe Punktzahl gaben. Das wäre auch keine gute Idee, denn das drohte wegen des Verdachtes der Manipulation, dass ihr Votum gar nicht gewertet würde. Das ist im vergangenen Jahr in Georgien passiert. (In diesem Jahr annulierte die Eurovision die Voten der Jurys aus Montenegro und Mazedonien.)

Die Juroren aus Aserbaidschan geben allen Titeln nur ungefähr dieselbe Punktzahl. Beim Lied aus Georgien liegt die Spannbreite ihrer Wertungen von Platz 1 bis 5, bei Italien und Slowenien von 2 bis 6, bei Schweden von 6 bis 8, bei Montenegro von 8 bis 11, bei Spanien von 14 bis 16, bei Österreich von 18 bis 20, bei Großbritannien von 22 bis 24.

Lied Juroren Ø σ
Russland 3 4 1 2 1 2,2 1,17
Georgien 1 2 3 4 5 3,0 1,41
Israel 2 6 5 1 4 3,6 1,85
Slowenien 5 3 4 6 2 4,0 1,41
Lettland 7 1 7 3 3 4,2 2,40
Italien 4 5 2 5 6 4,4 1,36
Schweden 6 7 6 7 8 6,8 0,75
Litauen 8 9 10 8 7 8,4 1,02
Montenegro 10 11 8 11 9 9,8 1,17
Ungarn 9 8 11 10 13 10,2 1,72
Estland 12 10 9 9 15 11,0 2,28
Serbien 13 12 13 12 10 12,0 1,10
Rumänien 11 14 12 14 11 12,4 1,36
Albanien 14 13 14 13 12 13,2 0,75
Spanien 16 15 16 16 14 15,4 0,80
Polen 15 16 15 18 16 16,0 1,10
Griechenland 18 18 17 17 17 17,4 0,49
Australien 17 19 19 15 19 17,8 1,60
Belgien 20 17 20 19 18 18,8 1,17
Österreich 19 20 18 20 20 19,4 0,80
Norwegen 21 22 21 22 21 21,4 0,49
Frankreich 22 21 22 21 23 21,8 0,75
Großbritannien 24 23 23 24 22 23,2 0,75
Zypern 23 24 24 23 24 23,6 0,49
Deutschland 25 25 25 25 25 25,0 0,00
Armenien 26 26 26 26 26 26,0 0,00

Votum der 5 aserbaidschanischen Juroren, Durchschnitt (Ø), Standardabweichung (σ).

(Dass alle Juroren Armenien auf den letzten Platz gesetzt haben, ist hingegen so etwas wie traurige staatsbürgerliche Pflicht in Aserbaidschan. Aserbaidschanische Fernsehzuschauer, die vor ein paar Jahren für den Erzfeind abstimmten, bekamen massiven Ärger.)

Dass fünf unterschiedliche Menschen mit ihren 26 Voten so eng beieinander liegen, ist überraschend, wenn sie sich nicht abgesprochen haben oder entsprechend instruiert wurden. Und denselben Effekt gab es in Aserbaidschan auch im vergangenen Jahr schon. Damals war er sogar noch ein bisschen extremer.

Wie sehr das Abstimmungsverhalten in Aserbaidschan – genauer gesagt: die Nähe der Stimmen der einzelnen Juroren zueinander – von dem der anderen Länder abweicht, zeigt sich, wenn man die durchschnittliche Standardabweichung σ bei den 26 Kandidaten mit der der anderen Länder vergleicht. (Die Standardabweichung ist das statistische Maß, das angibt, wie weit die einzelnen Werte im Schnitt vom Mittelwert abweichen. Zur Verdeutlichung: Wenn alle Juroren dieselbe Punktzahl vergeben, ist die Standardabweichung 0. Angenommen, von vier Juroren geben zwei zwei Punkte und zwei vier Punkte, ist der Mittelwert drei Punkte und die Standardabweichung davon 1 Punkt.)

Jury Standard-
abweichung
Aserbaidschan 1,08
Norwegen 2,73
Schweden 2,82
Armenien 2,86
Rumänien 3,04
Serbien 3,05
Österreich 3,10
Niederlande 3,12
Litauen 3,27
Portugal 3,32
Deutschland 3,34
Spanien 3,34
Belgien 3,61
Estland 3,69
Weißrussland 3,71
Island 3,71
Slowenien 3,77
Großbritannien 3,77
Albanien 3,89
Malta 3,98
Schweiz 4,01
Dänemark 4,09
Moldau 4,16
Italien 4,18
Zypern 4,21
Israel 4,26
Polen 4,28
Australien 4,31
Finnland 4,34
Ungarn 4,39
San Marino 4,42
Frankreich 4,45
Tschechien 4,59
Griechenland 4,64
Irland 4,73
Lettland 4,78
Russland 4,96
Georgien 5,10

Übrigens gibt es auch bei der deutschen Jury wieder eine erstaunliche Übereinstimmung: Alle Juroren (die sich, wie gesagt, nicht absprechen dürfen) setzten Lettland an die erste Stelle. Im vergangenen Jahren haben alle damaligen deutschen Juroren den ersten und den zweiten Platz gleich gewählt. Der deutsche Grand-Prix-Chef Thomas Schreiber schert sich traditionell nicht besonders um die Vorgabe, dass die Jury möglichst ausgewogen besetzt sein soll, was Geschlecht, Alter und Hintergrund angeht.

(Hinweis: Eine geringe Standardabweichung beweist nicht, dass das Ergebnis einer Jury in irgendeiner Weise manipuliert wurde. Die statistische Auswertung zeigt nur Auffälligkeiten, vielleicht Indizien. Streng genommen wäre es auch kein Beweis einer Manipulation, wenn alle Juroren eines Landes alle Länder exakt gleich bewertet hätten. Aber doch ein Anlass zum Zweifeln.)

26 Gedanken
  1. 1
    Michael says:

    Klare Sache bei Aserbaidschan.
    Gibt es denn eine Verbindung von Lettland zur deutschen Jury bezüglich Plattenfirma oder so? Oder einfach weil die alle auf die gleiche Musik stehen?

  2. 2
    Calafati says:

    Stichwort deutsche Jury: Macht euch mal den Spaß und schlagt die Stimmvergabe im 2. Halbfinale nach. Dann dürft Ihr 3 mal raten, wer dort (von allen 5 beteiligten) auf den letzten Platz gesetzt wurde.

    Ich bin auch kein Freund von Ralph Siegel. Aber es will mir doch niemand erzählen, dass das Zufall war.

  3. 3
    Peter Stollewerk says:

    Verstehe ich. Aber aus den Zahlen ist nicht erkennbar, warum ausgerechnet „nur“ Aserbaidschan (1,08) auffällig ist, aber nicht auch Norwegen (2,73), welches dahinter liegt. Zwischen dem „Spitzenreiter“ und dem „zweiten“ liegt höhere Differenz als zwischen den ganzen anderen. Aber der absolute Wert sagt für mich noch nichts darüber aus, ab welchem Wert es wirklich unglaubwürdig ist. Wäre zB die Abweichung von Aserbaidschan bei 0,3 und Norwegen bei 1,08: würde nur Aserbaidschan „verdächtig“ sein? Ich vermute, Sie wissen was ich meine.

  4. 4
    Uli says:

    http://www.zeit.de/politik/ausland/2013-10/wahl-aserbaidschan-osze
    Warum sollte es beim ESC auch demokratischer zugehen als bei echten Wahlen oder sagen wir mal der Vergabe von Fußballweltmeisterschaften?

  5. 5
    Peter Stollewerk says:

    Nachtrag: Der Abstand von Aserbaidschan zu Norwegen ist deutlich größer als alle anderen Abstände. Daher also „verdächtig“ der Manipulation, da diese zu hohe Abweichung zu den anderen Mittelwerten darauf hindeutet. Die Standartabweichung an sich ist wohl nicht aussagekräftig.

  6. 6
    meykosoft says:

    WTF! Russia is the „aggressor“ and germanies Barbara surprised: „… our 12 points go to Russia!“
    ;-)

  7. 7
    Stefan Niggemeier says:

    @Peter Stollewerk: Wie in dem Hinweis gesagt, mithilfe dieser statistischen Auswertung lässt sich kein Beweis führen. Es gibt keinen Grenzwert, ab dem man sicher von einer Manipulation ausgehen kann. Es gibt nur Auffälligkeiten.

    Ich finde die geringe Abweichung bei Aserbaidschan ohnehin schon auffallend. Auffallend ist dazu der Abstand zu allen anderen Ländern. Sowie, dass das im letzten Jahr schon so war. Aber das alles bleibt eine subjektive Wertung und Interpretation der Zahlen.

  8. 8
    Torsten says:

    „Aserbaidschanische Fernsehzuschauer, die vor ein paar Jahren für den Erzfeind abstimmten, bekamen massiven Ärger.“

    Wie sah das aus? Hast Du einen Link?

  9. 10
    kdm says:

    [wertlosen Quatschkommentar gelöscht]

  10. 11
    kutter says:

    Georgien hingegen scheint, wenn ich das richtig verstehe, aus der letztjährigen Annulierung seines Jury-Votums Konsequenzen gezogen zu haben: Mit einem Wert von 5,1 ist die Standardabweichung dort in diesem Jahr am höchsten.

  11. 12
    Andi says:

    @kutter:
    „Herzlichen Glückwunsch, Sie sind Mitglied der Jury! Bitte werfen Sie jeweils einen Pfeil auf diese Dartscheibe, wenn ich einen Zettel mit einer Startnummer aus der Lostrommel ziehe.“

  12. 13
    MarkusK says:

    Das schlimme ist, dass vor allem im Mittelfeld der Tabelle fast identische Wertbungen vorgenommen wurden. Dass wirklich gute Lieder unabhängig voneinander auf die vorderen Plätze gesetzt wurden, passiert ohne Absprache. Dass wirklich schlechte Lieder durchgängig auf den letzten Platz gesetzt wurden, ebenso. Hier glaube ich auch, dass Armien ohne Absprache auf den letzten Platz gesetzt wurde. Aber wie können 5 Leute unabhängig voneinander bei 26 Liedern SOO genau sagen, was nun Platz 13 und was Platz 18 ist. Wenn ich das allein mit mir ausprobieren würde, könnte ich das innerhalb von ein paar Stunden wahrscheinlich nicht einmal so gut reproduzieren. Das finde ich noch schlimmer als Einigkeit auf den ersten Plätzen.

    Wenn man bei der Streuung ein auch ähnliches Abstimmungsverhältnis berücksictigen will, wenn nur einer aus der Reihe tanzt, dann ist MAD (http://en.wikipedia.org/wiki/Median_absolute_deviation) ein Ansatz, der hier die Tabelle nochmals anders aussehen lassen könnte, da das robust gegenüber Outliern ist.

  13. 14
    Ch. Bergoint says:

    Hübsche mathematische Taschenspielereien die einen Betrug suggerieren, und in einer Fußnote (sic.) der Hinweis, dass es keine Beweise für Manipulationen sind. Qualitätsirgendwas…

  14. 15
    Michael Kuhlmann says:

    Wo wir gerade bei Auffälligkeiten sind:

    Hat sich noch jemand gewundert, warum Litauen als fast einziges Land (neben San Marino) keinen einzigen Punkt an Russland vergeben hat? Das finde ich sehr erstaunlich, immerhin lebt eine nennenswerte russische Minderheit in dem Land. Und der andere baltische Staat Estland hat volle zwölf Punkte vergeben. Das kommt mir seltsam vor.

    Ich will nicht vom Thema ablenken, aber mich wundert, sowas halt.

  15. 16
    Stefan Niggemeier says:

    @Michael Kuhlmann: Das lag jedenfalls an den Juroren. Die litauischen Zuschauer haben Russland auf Platz 3 gesetzt, die Juroren nur auf Platz 20. Insgesamt ergab das Platz 11 und damit ganz knapp keinen Punkt.

  16. 17
    Alexander Schulz says:

    Also, dass die deutsche Jury komplett Lettland auf Platz 1 gesetzt hat, war meiner Meinung nach sehr berechtigt! Aber das ist ja nur meine persönliche Meinung… auffällig sind bestimmte Sachen schon, ich weiß nicht, wie genau da abgestimmt wird. Sitzt die Jury irgendwann mal zusammen in einem Raum und diskutiert? Ein bisschen Gruppenzwang könnte gerade an den Extremen, also erste und letzte Plätze, für mehr Einheitlichkeit sorgen. Natürlich ist die Abstimmung Aserbaidschans trotzdem wohl komplett erzeugt. Hat Deutschland Aserbaidschan irgendwie kritisiert in der letzten Zeit? Ist Herr Niggemeiers Blogeintrag über TV Berlin daran Schuld?

  17. 18
    Earonn says:

    Ich muss Ch.Bergoint unbedingt zustimmen! Stefan hätte es wie die Qualitätsmedien machen sollen: Reißerische Überschrift „ASERBAIDSCHAN – JETZT DOCH WAHLBETRUG???“, die Zahlen veröffentlichen (gerne mit entsprechend angepasstem Graphen) und diese blöde Fußnote da weglassen.

    Wo kommen wir denn da hin, wenn jemand auf Auffälligkeiten aufmerksam macht, diese dann auch noch belegt und außerdem noch auf ihre beschränkte Aussagekraft hinweist?
    Das…das…das geht doch nicht!

    @Bergoint
    Was hätten Sie anders gemacht? Das ist eine ernstgemeinte Frage.

  18. 19
    Ichbinich says:

    Mich wundert eines: wieso gehen die bei den Manipulationen immer so plump vor? Es wäre doch ein leichtes, diese Plätze so zu generieren, dass trotzdem das gewünschte Ergebnis raus kommt, es aber nicht so auffällt.

    Ähnliches z. B. bei der Krim – Wahl. Jeder (auch der Westen) war sich ja sowieso sicher, dass die Einwohner dort mehrheitlich für Russland stimmen. 83.7% oder so hätten also keinen gewundert. Aber warum müssen es unbedingt immer über 95% sein,was dann doch wirklich arg konstruiert klingt und keiner ernst nimmt?
    Das verstehe ich einfach nicht…. Ist das ein Signal an die eigene Bevölkerung oder was? Fälschen wäre dich so einfach wenn man sich mal bißchen Mühe geben würde….

  19. 20
    markus says:

    Der statistische Beleg dafür, dass die Aserbaidschanische Jury nicht gemäß der Vorgaben abstimmt ist folgender: Nimmt man die mittlere Streuung aller Streuungen ergibt sich 3.82. Das wäre also das Ergebnis, das man üblicherweise so erwarten würde, wenn eine Jury „normal“ abstimmt.* Natürlich ist das nicht bei jeder Jury exakt so, deswegen kann man auch eine Streuung der mittleren Streuung bestimmen, die uns dann sagt, wie sehr die Jurys von dieser durchschnittlichen Streuung abweichen. Das ist hier 0.78.
    Wenn die Streuungen normalverteilt sind (eine oft gute Annäherung) würden wir dann aufgrund der mathematischen Definition der Normalverteilung erwarten, dass sich etwa 65% der werte im Bereich + oder – eine Standardabweichung um den Mittelwert befinden. Also zwischen 3.04 und 4.06. Das sind hier 28 von 38 Länder, also 74%. Weiter würden wir erwarten, dass 95% aller Länder im Bereich +/- 2 Standardabweichungen liegen, also zwischen 2.26 und 5.38. Es sind 37 Länder, also 97%. 99% aller Werte sollten im Bereich +/- 3 Standardabweichungen liegen. Aserbaidschan liegt außerhalb.
    Anders gesagt, die Wahrscheinlichkeit, bei obigem Mittelwert und obiger Standardabweichung ein so konsistententes Urteil wie das Aserbaidschanische (oder ein noch konsistenteres) zu erhalten ist etwa 0.00022.**

    * Falls es auch bei anderen Ländern regelwidrige Absprachen gibt wäre deren mittlere Streuung zu niedrig, also würde auch der Mittelwert der Streuungen unterschätzt. Aserbaidschan wäre noch auffälliger.
    ** Die Berechnung basiert auf der Annahme, dass das Aserbaidschanische Ergebnis echt ist. Berechnet man Mittelwert der Streuungen und Streuung der Streuungen ohne Aserbaidschan fällt die Streuung der Streuungen auf 0.64. Das Ergebnis von Aserbaidschan hat dann die Wahrscheinlichkeit 0.000005.

  20. 21
    Hellson says:

    Es freut mich sehr, dass dieses Thema erneut seinen Weg in den Blog gefunden hat. Der Thread letztes Jahr war großartig und hat mich über Tage amüsiert.

    Eine Frage an markus: Was ist die Grundlage für die Annahme, dass die Streuung der Abstimmung normalverteilt sein müsste?

  21. 22
    Hellson says:

    Addendum: Wie bereits im letzten Jahr festgestellt ist die mittlere Standardabweichung der Rangplatzvergabe auch nur eingeschränkt dazu geeignet, die Homogenität mehreren Rangfolgen zu bemessen. Zu präferieren wären Kendall’s Tau oder Kendall’s W.

    Im letzten Jahr sah das ganze so aus: http://imgur.com/ZhkSzN8

    Abgebildet ist die mittlere Übereinstimmung (mean Kendall’s Tau) von Jury-Paaren aus abstimmenden Ländern des ESC 2014. Vereinfacht: Wie hoch ist die Übereinstimmung von zwei aus fünf zufällig ausgewählten Jurymitgliedern pro Land. Montenegro war im letzten Jahr schon ganz vorne mit dabei, Mazedonien eher unterdurchschnittlich homogen.

  22. 23
    markus says:

    @Hellson
    (1) Das ist eine Standardannahme, die meistens ganz gut funktioniert. (2) Ich habe eine Phase hinter mir, in der ich damit ein Riesenproblem hatte und deswegen insistierte, stattdessen lognormale, Poisson, Gamma, Inverse Wald und sonstige Verteilungen zu verwenden. Das wirkt sich nach meiner Erfahrung überhaupt nicht auf die Ergebnisse aus, oder nur in vernachlässigbarem Umfang. (3) Die Normalverteilung ist dann eine gute Annäherung, wenn viele Einflüsse vorhanden sind, die nicht interagieren, d.h. additiv wirken. Das ist oft eine plausible Grundannahme. Relevante Interaktionen führen schnell zu sowas wie Rückkopplungseffekten, das ist dann in der Regel bekannt. (4) Ich habe die Annahme oben getestet, indem ich die theoretisch zu erwartenden Anteile der Verteilung mit den tatsächlich vorhandenen Anteilen verglichen habe. (Ich hab mir auch noch ein Histogramm angesehen.) Das Ergebnis war, dass die Approximation für unsere Zwecke ausreichend ist.
    Die Take-Home Message ist auch nicht, dass die Wahrscheinlichkeiten von oben exakt so groß sind wie angegeben, dafür ist die Schätzung zu ungenau. Die Take-Home Message ist, dass es extrem Unwahrscheinlich ist, dass die Aserbaidschanische Jury regelkonform abgestimmt hat. (Laut Wikipedia in etwa so groß wie 6 Richtige im Lotto p = 0.0000064). Falls es letztes Jahr genauso war hat Aserbaidschan also 2 Mal Lotto gespielt und beide Male 6 Richtige getippt.

  23. 24
    SG Wohnheit says:

    Hier scheint politische Manipulation im Spiel zu sein.

  24. 25
    Harald Eisenmann says:

    Was sollen eigentlich die Leute machen, die von Mathematik keine Ahnung haben ?

Trackbacks & Pingbacks

  1. […] Forderung hat mit Bewertung von Musik nichts zu tun. Es sind dann auch ausgerechnet regelmäßig musikalisch unprofessionelle, politisch parteiische Journalisten wie Stefan Niggemeier, die den Juroren aus ihrem Ergebnis einen Strick drehen wollen. Die logische Konsequenz dieser […]

Einen Kommentar hinterlassen

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *