Warum Metacritic Entwicklern und Spielern schadet - Kolumne von Viktor Eippert
PC Games- und play³-Redakteur Viktor Eippert sorgt sich in seiner Kolumne über den Stellenwert der Wertungsübersichtsseite Metacritic und die daraus resultierenden Auswirkungen auf die Herstellung von Spielen.
Immer wenn jemand im Zuge einer Wertungsdiskussion einen Metacritic-Schnitt als Argument anführt, kann ich nicht anders, als innerlich ein wenig zusammenzuzucken. Schon seit längerer Zeit beschäftigt mich dieses Thema und mir gefällt ganz und gar nicht, in welche Richtung sich das alles entwickelt. "Hey, das Spiel hat einen 9x-Schnitt bei Metacritic. Das kann nur geil sein! Wie kannst du das nur nicht mögen?" Derartige Aussagen sind symptomatisch dafür, welch enormen und meiner Ansicht nach bedenklichen Stellenwert die Wertungsübersichtsseite Metacritic inzwischen eingenommen hat.
Die meisten Spieler kennen und zitieren sie, immer mehr Werbeanzeigen prahlen mit einem tollen "Metascore" und immer mehr Hersteller machen sich mehr Gedanken um einen hohen Metascore als um die tatsächliche Qualität ihrer Produkte. Was ursprünglich als gut gemeinte Übersichtsseite für Wertungen anfing, hat sich mit fortschreitender Zeit leider zu einer Mischung aus getarnter Werbeplattform für Publisher und wirtschaftlichem Druckmittel gegen Entwickler verformt. Zu einem Geschwür, das sich die Spielebranche durch ihr ungesundes Verhalten selbst zugezogen hat, es jetzt aber nicht mehr los wird und nun kontinuierlich daran leidet.
Quelle: Twitter
Fallout: New Vegas - ein hoher Metascore war offenbar Teil der Verhandlungen von Publisher und Entwickler, laut Tweet von Entwickler Chris Avellone.
Das ganze Dilemma geht inzwischen so weit, dass Metascores in einigen Fällen offenbar zu einem festen Bestandteil von Vertragsverhandlungen zwischen unabhängigen Entwicklerstudios und Publishern geworden sind. Das wohl bekannteste Beispiel dafür ist die Nummer mit Fallout: New Vegas. Auf Twitter plauderte Obsidian-Chef Chris Avellone über die Rahmenbedingungen des Entwicklungsvertrages. Hätte das Spiel einen Metascore von 85 oder besser erzielt, hätte das Studio eine Bonuszahlung erhalten. Fallout: NV verpasste diesen Schnitt um einen Punkt. Wie gut sich Fallout: New Vegas verkauft, ob die Leute Spaß daran haben, selbst wie gut New Vegas im Endeffekt ist, interessierte bei dieser Regelung nicht. Das ist also unsere schöne neue Gaming-Welt!
In einem Interview mit Kotaku untermauerte die Entwicklerin Kim Swift (Portal, Quantum Conundrum) die traurige Wahrheit. "Wenn man in eine Projekt-Verhandlung geht, fragen die Publisher üblicherweise nach der bisherigen Metacritic-Bilanz." Weiter fügt sie hinzu: "In der Industrie ist es heutzutage üblich, bei Vertragsverhandlungen mit Publishern Bonuszahlungen basierend auf Metacritic-Schnitte auszuhandeln." In manchen Fällen nutzen die Hersteller eher durchschnittliche Metascores von vergangenen Spielen sogar als Argument für nachteilige Vertragsbedingungen seitens der Entwicklerstudios.
Die Konsequenz ist klar: Immer öfter achten Entwicklerstudios darauf, möglichst hohe Metacritic-Schnitte zu erzielen und nicht nur darauf, in erster Linie gute, für sich stehende Spiele zu erschaffen. Und das ist schlicht und einfach ganz, ganz großer Mist! Gleichzeitig versuchen Hersteller immer wieder mal gerne, die Erstwirkung ihrer Spiele zum Veröffentlichungszeitpunkt gezielt mit Hilfe von Embargos und dem Einfluss von Metascores zu lenken. Klar, wenn zum Release wenig oder gar keine schlechten Bewertungen auf Metacritic zu finden sind, der Schnitt folglich positiv ist, greift man als Kunde eher zu.
"Das Problem liegt im System selbst. Metascores suggerieren Objektivität, werden in Wahrheit aber sowohl passiv wie auch aktiv verfälscht."
Besonders zweifelhaft finde ich die Nutzung von Metascores als Druck- und Werbemittel, wenn man bedenkt, dass sie alles andere als ein objektiver Messwert für die Qualität eines Spiels sind. Mal ganz davon abgesehen, dass Spiele wie alle Unterhaltungsmedien eine sehr subjektive Erfahrung sind. In der Beschreibung der Metacritic-Seite heißt es: "Metacritics Aufgabe ist es, Konsumenten dabei zu helfen, eine informierte Entscheidung beim Kauf von Unterhaltungsprodukten zu fällen."
Quelle: Metacritic
Doch was Metacritic tatsächlich macht, entspricht eher dem Gegenteil. Das Problem liegt im System selbst. Denn so ein Metascore ist eine Ansammlung einer begrenzten Anzahl separater Einzelmeinungen, die obendrein auf Teufel komm raus in ein 100-er-Zahlensystem gepresst werden. Und dadurch wird das Ergebnis unweigerlich verfälscht. Da wird aus 3 von 5 Sternen plötzlich eine 60, aus einem "B+" wird eine 83 und eine "10/10" wird als 100 interpretiert. Und das, ohne die jeweilige Wertungsphilosophie einzubeziehen, die hinter dem Wertungssystem einer Webseite oder einem Magazin steckt. Wer sich auch nur entfernt auskennt, weiß: Eine "7/10" von der englischen Zeitschrift Edge ist beileibe nicht mit einer "7/10" von IGN oder Game Informer gleichzusetzen. On top werden bei Metacritic Wertungen von Mainstream-Seiten mit denen von Fachmagazinen, größeren Blogs oder Genre-Spezialisten-Seiten wie etwa RPG Gamer oder RPG Fan in einen Topf geschmissen.
Auch die Menge an in Betracht gezogener Wertungen unterschiedet sich - in manchen Fällen sogar extrem. Wie aussagekräftig ist so eine Schnittwertung schlussendlich also? Welchem Metascore kann ich mehr trauen? Dem für Diablo 3 bestehend aus 86 Einzelwertungen oder dem für das Hardcore-Nischen-Strategiespiel Sengoku mit 13 Einzelkritiken? Für mich lautet die Antwort eindeutig: gar keinem! Oft genug hatte ich mit laut Metascore angeblich mäßigen Spielen sehr viel Spaß und ebenso umgekehrt. Klar, da spielt auch der persönliche Geschmack mit rein. Doch an der unweigerlichen Ungenauigkeit dieser pseudo-objektiven Schnittwertungen ändert das nichts.
Doch der Oberknaller kommt erst jetzt. Denn was vielen Nutzern von Metacritic wahrscheinlich gar nicht bekannt sein dürfte: Metacritic gewichtet Wertungen abhängig von der Publikation! Mit welchen exakten Multiplikatoren Metacritic die Gewichtung vornimmt, verraten die Verantwortlichen nicht. Fakt ist aber, dass eine Gewichtung stattfindet. Laut eigenen Aussagen passt man diese Gewichtung regelmäßig an, falls, und ich zitiere die Facebook-Seite von Metacritic, "eine Publikation im Laufe der Zeit einen Zuwachs beziehungsweise einen Rückgang an Qualität aufweist." Danke, liebes Metacritic-Team, dass ihr mir die schwere Entscheidung abnehmt, welche Publikation qualitativ hochwertig ist und welche nicht. Was zum Henker!? Das hebelt doch den Ursprungsgedanken des Durchschnittswertes komplett aus. Was bringt mir denn ein Metascore, wenn er am Ende nicht nur verwässert ist sondern obendrein gewichtet? Ich war gegenüber Metacritic schon seit Längerem vorsichtig eingestellt. Aber als ich von dieser bewussten Manipulation erfuhr, hatten Metascores für mich endgültig jegliche Aussagekraft verloren. Danke, aber ich bilde mir meinen Eindruck über Spiele lieber selbstständig. Das mag mehr Zeit kosten, wesentlich leseintensiver und aufwendiger sein, doch so weiß ich wenigstens, woran ich bin.
Ich will ganz sicher niemandem vorschreiben, Metacritic nicht zu nutzen oder gar zu verteufeln. Doch bin ich der Meinung, dass heutzutage viel zu sehr auf Metascores geachtet wird. Sowohl von der Presse, als auch der Industrie und den Käufern. Es würde sicherlich nicht schaden, die Metascores mit einer gesunden Portion Vorsicht zu behandeln. Denn so ganz lupenrein sind diese Wertungsschnitte nun wirklich nicht. Oder noch besser: Blendet Wertungen gedanklich ganz aus und konzentriert euch stattdessen auf den Text/die Aussage von (Test)-Berichten, um so zu einer eigenen Einschätzung zu gelangen. Spiele sind schlussendlich ein Unterhaltungsmedium und Spielspaß ist bekanntlich subjektiv. Ich hoffe mal, dass die Spielebranche künftig von diesem Pfad abkommt und sich wieder mehr auf das Wesentliche konzentriert. Denn bei der Herstellung von Spielen sollte es um das Spielvergnügen und frische, fesselnde Spielkonzepte gehen. Und nicht um irgendwelche hochgebauschten Zahlen.
Ebenfalls sehr lesenswerte Artikel zum Thema Metacritic:
Achtung: Bei diesem Beitrag handelt es sich um eine Kolumne, also die Meinung eines Redakteurs. Sie muss nicht unbedingt der Meinung der Redaktion PC Games oder des Computec Verlags entsprechen. Bitte bleibt beim Kommentieren sachlich!
Und wenn sich das x-te CoD/Battlefield halt immer noch verkauft wie warme Semmeln, dann muss es dir oder mir nicht gefallen (was zumindest für meine Person zutrifft), aber es ist nun mal so. Ich kann es auch nicht verstehen, wieso Millionen Menschen Jahr für Jahr 60, 70€ für ein Spiel ausgeben, das sie in genau derselben Form (abgesehen von der Grafik) bereits besitzen. Und die Entwickler vertuschen ihre Kreativitätsarmut ja noch nicht einmal, sondern verkaufen für 15€ noch dieselben Karten, die auch schon im Vorgänger enthalten waren. *twisted mind* Aber es wird, aus mir unbegreiflichen Gründen, ja gekauft ... und das ist es was für die Publisher in allererster Linie zählt, Verkaufszahlen!
Im Prinzip kann es sehr gut mit dem Kinomarkt vergleichen. Welche Filme dominieren denn die Charts? In der Regel die großen Hollywood-Blockbuster, die mit Tonnen von CGI und millionenschweren Explosionen die Logiklücken in der kaum vorhandenen Story zu verdecken hoffen und deren Dialoge von Dreijährigen geschreiben sein müssen.
Trotzdem gibt es auch im Filmgeschäft massenweise kleine, feine Filme, die aus wenig Geld viel machen. Und wenn sie gut sind, dann übertrumpfen sie oft auch die Blockbuster, zumindest was das Verhältniss von Kosten zu Einnahmen betrifft. Aber ein Film kann noch so gut sein ... wenn er keine Zuschauer findet ist's Essig. Und so steht auch für den visionärsten Filmemacher oder Spieleentwickler an erster Stelle die Zuschauer- bzw. Verkaufszahlen, auch wenn manche es nicht offen zugeben würden. ;)
Das stimmt so nicht. Denn die Publisher haben zu noch funktionierenden Zeiten das durchaus mächtige Instrument ihrer Foren zur Verfügung gehabt sowie Dank des einen oder anderen beliebten Entwicklerstudios mit gutem Draht zu ihren Kunden auch dort gute Feedback-Kanäle. Die Idee von auf Kundengruppen maßgeschneiderten Produkten (statt Bedienen des kleinsten gemeinsamen Nenners) hätte auch den Publishern kommen können, anstatt das einer amerikanischen Entwicklungshilfeplattform zu überlassen.
Gleichzeitig wurden aber lautstarke Kundenwünsche an anderer Stelle völlig ignoriert, sondern stattdessen an der Schaffung eines noch kleineren gemeinsamen Nenners gebastelt, um trotz der "immer realistischer aussehend"-, "immer bombastischer"-, "immer größer"-, "immer teurer"-Schiene noch in die Gewinnzone zu kommen. Spätestens, wenn ALLE das Gleiche spielen müssen, damit sich ein Titel in der Herstellung lohnt, ist man aber am Ende dieses Irrweges angekommen.
Ich gebe Dir Recht, dass klassische Publisher sicher einigen Beschränkungen unterworfen sind, da sind wir uns völlig einig, aber ich sage auch, das sehr vieles in der jüngeren Vergangenheit dilettantisch, kürzestsichtig und von Gier bestimmt gehandhabt wurde, so dass die meisten Krisen selbstverschuldet waren (und sind).
Ich habe ja nicht gesagt, dass Verkaufszahlen die einzige wichtige Determinante im Geschäft sind. Sie aber als unwichtig abzutun wäre ein großer Fehler, da sie das schlicht nicht sind. Ansonsten geht man nämlich das Risiko ein, schlicht am Kunden vorbeizuentwickeln, was überhaupt keinem nutzt....
Kickstarter und Co. sind in der Tat eine prima Geschichte, weil sie frühzeitig klären können, ob und wie groß die Nachfrage nach einem Produkt ist. Diese "direkte" Form ist den Publishern eben nicht so einfach möglich. Diese müssen sich auf bisherige Verkaufszahlen, Trends, Fokusgruppen, Erfahrung und die Qualität ihrer Entwickler verlassen. Dass dabei trotzdem auch "Neues" herauskommen kann, wenn die richtigen Leute an der richtigen Stelle arbeiten, sieht man ja an den zahlreichen neuen IPs oder Spieleserien mit neuen Inhalten, die auf der E3 oder schon vorher vorgestellt wurden.
Nur werden in diese neuen Spiele meist auch Elemente eingearbeitet, die sich in vorigen Spielen als Kundenfavoriten herausgestellt haben. So wird das in jeder Industrie gemacht inkl. der Vidoespielindustrie. Es kann doch nicht schlecht sein, dem Kundenwunsch zu entsprechen.
Für "ganz" neue Ideen benötigt man in der Tat kleine Gruppen mit kleinem Budget und daher auch mit kleinem Risiko. Das können Indie-Entwickler oder auch Kickstarter-Projekte sein. Sind diese neuen Ideen kommerziell erfolgreich, haben sie die Chance "größer" zu werden in kommenden Spielen. Ich sehe darin überhaupt kein Problem.
Ein weiteres Problem der "hohe Verkaufszahlen sagen einem, was gut ist": Man bekommt immer mehr vom Gleichen, bis es nicht mehr gut ist, da zwischenzeitlich Dank ewiger Wiederholung langweilig. Dann steht man da und hat gar keine Ahnung, womit man Geld verdienen könnte, weil man ja jahrelang nur das gepublished hat, was billigen Ertrag versprach.
Es ist kein Zufall, dass Kickstarter immer beliebter wird, weil dort die Leute dirkekter sagen können, was sie möchten, EHE entwicklerseitig allzu viel Geld ausgegeben wurde.Wenn die ersten der hochbezahlten Showprojekte ("Eternity" und "Torment 2", vorher auch noch "Wasteland 2") gute Ware abliefern, voch werden niel mehr Leute Vetrauen fassen und per Kickstarter noch ganz andere Summen finanzieren, auch 20 oder 30 Mio. Die Zukunft liegt im custom-made-Sektor. Die Kunden sagen, was sie haben möchten und es wird produziert. Und auch wieder für kleinere Märkte. Die riesenzahligen "wir sagen Euch, was Ihr doch bitteschön gut finden sollt"-Spiele werden weniger werden. D
Warten wir's mal ab.
So objektiv wie möglich schrieb ich und das System ist sicher nicht perfekt, weil es auch nicht geht. Aber Durchschnittswerte sind objektiver. Deine Kritik ist wohl, dass sei nicht transparent und daher nicht verwendbar. Kann man ja so stehen lassen, ich stimme dem nicht zu. Aus vielen Kritiken einen Durchschnittswert der Gesamteindrücke gemäß Wichtungen zu machen, auch wenn die nicht transparent sind, gefällt mir immer noch. Die Stichprobe muss genügend groß sein, damit ein Wert objektiv nah an dem "echten" (was auch immer das hier sein soll) Ergebnis sein kann.
Weil Redakteur X nun mal das alte FO2 mochte, mag er FO3 nicht und Redakteur Y mag Shooter an sich viel lieber, weshalb FO3 für ihn Defizite hat und Redakteur Y gefiel die Präsentation am Nacktbadestrand richtig toll.
Mach mir nen Durchschnitt, ist allemal besser als alle von denen. Und gewichte X möglichst am höchsten. Ist schon klar, wo der Kritikpunkt liegt, aber wie hier viele sagten die Zahl ist nur ein Kriterium, wahrscheinlich ein kleineres als gedacht. Ich schlage vor ihr macht mal eine Umfrage zur Entscheidungsfindung bei Käufen.
Verkaufszahlen werden massiv auch durch Werbung beeinflusst. Gegen ein solches Kriterium würde ich mich als Entwickler wehren, denn das liegt nicht in deren Händen. Im übrigen ist dann eine Bezahlung auf Basis Wertung sogar eine gute Idee, endlich geht's mal nicht nur um Verkaufszahlen, sondern eine Marke und deren Fans zu erhalten, statt noch ein CoD, Fifa oder FO: Sims in Wasteland.
Mein Fazit: Metacritic ist besser als die Alternativen. Die fehlende Transparenz ist mist aber ich kann auch ohne auskommen, wie gesagt gibt nix anderes. Und wie ein anderer hier sagte, ich les die Texte zentral einfach gerne. Kritiker + User (die ich übrigens aussagekräftiger finde).