Neu : "Referenz-Bewertung" – Was bedeutet das?

Miniklangwunder entwickelt sich!
Immer häufiger werden nun auch High-End Kopfhörer getestet und damit stößt das bisherige Bewertungssystem an die Grenzen. Warum das so ist und was sich daher ändern wird und ob sich überhaupt etwas ändert, das erfährst du in diesem Artikel…


 



Bisheriges Bewertungssystem – Preis/Leistung


Je nach Produkt werden bei den Miniklangwunder-Tests unterschiedliche Kriterien betrachtet.

Insbesondere sind das bei Kopfhörern für gewöhnlich
Tiefbass, Bass, Mitten / Stimmen, Mitten / Instrumente, Obere Mitten, Brillanz / Hochton, Auflösung / Transparenz / Separation, Dynamik Räumlichkeit, Design / Konstruktion / Verarbeitung, Tragekomfort und Preis.

Im Mittel ergibt das eine Endnote, in dem auch der Preis als Bewertungskriterium enthalten ist, was auch so gewollt ist.

Letzten Endes ist der Preis vielleicht für die meisten Interessenten doch das wichtigste Kaufkriterium. Was nützen 5% mehr bei 100% höhere Kosten?

Die Bewertungsskala



Wie im Beispiel-Bild oben dargestellt, kommt eine Skala von 0-100 zur Anwendung.

Da wir geprägt sind vom Bewertungssystem nach Prozenten (vgl. IHK Notenschlüssel), hatte ich das auch bei meiner Bewertung bewusst genutzt. Alles ab 92% ist „sehr gut“, 81%-91% ist „gut“, usw… Eine andere Überlegung war, eine Skala zu verwenden, die nach oben offen ist. Das habe ich aber schon allein deswegen verworfen, da ich nicht sehe, dass es unendlich besser werdende Produkte geben wird und dazu verführen würde, eine Superlative nach der anderen zu erhalten.

2018er Darstellung der Bewertung in Anlehnung an den IHK-Schlüssel inkl. Legende



Aufgrund des gewählten, abgeschlossenen Bewertungssystems gibt es eine natürliche Obergrenze 100, welche das absolute Optimum darstellt.
Bei einer von bewährten Definitionen abweichende Einteilung der Grenzen der „Notenstufen“ gäbe es Schwierigkeiten für alle Leser. Das würde bedeuten, würde man ein „gut“ mit schon ab 70% definieren, würde es dem Leser nicht nur schwer fallen, dieses in das bekannte Bewertungssystem zu „übersetzen“, sondern ohne die abweichende Skala zu kenne, würden 70% quasi die unterste Schwelle von „zufriedenstellend“ als vielleicht gerade so „so o-lala“ abbilden. Auf keinen Fall würde jemand auf den ersten Blick 70% als „gut“ ansehen. Also kommt eine Bewertung in enger Anlehnung an den IHK-Schlüssel für Notenvergabe zum Einsatz.

Allgemeine Probleme von gängigen Bewertungen



Auf Miniklangwunder werden nur Produkte getestet, die lohnenswert scheinen und mindestens in der Vorab-Betrachtung gefühlt „gut“ sind.

Somit bleibt ein großer Bereich der Skala, nämlich im Grunde 0-80, ungenutzt, was jedoch von Anfang an klar war.
Es gibt dennoch einige Unterschiede zwischen den unterschiedlichen Testkandidaten und die Spanne „gut“ bis „sehr gut“ ist dann für die entsprechenden Nuancen, die jedoch am Ende genau die wichtigen und entscheidenden für alle Interessenten sind, einfach zu klein. Inbesondere, wenn dann auch der Preis Einfluss nimmt, wird natürlich der rein technische Blick auf die Geräte zum Teil relativiert und verringert den realen Bewertungskorridor weiter. Effektiv liegt er dann bei 80% bis vielleicht 96%.

Einige Hifi-Zeitschriften nutzen schon sehr lange unterschiedliche Klassifizierungen und so gibt es dort je Klasse erneut das prozentuale Bewertungssystem. Das führt jedoch zu neuen Problematiken, denn bei Mittelklasse, Oberklasse, Referenzklasse und High-End-Klasse, usw. gibt es dann z.B. n-Mal „sehr gut“.
Was bedeutet dann ein Mittelklasse-„sehr gut“ in Bezug auf alle anderen Klassen? Ist das dann in der High-End-Klasse nur noch ein „ausreichend“ oder immer noch ein „gut“ in der Oberklasse?
So einfach ist das nicht zu beantworte!

Unterm Strich leidet die Vergleichbarkeit und der Leser ist auch nicht wirklich schlauer als zuvor. Die offensichtliche Griffigkeit, die Klassen voneinander abzugrenzen fehlt schlicht und ergreifend.
Wenn High-End bedeuten würde „mindestens 50% Gold-Anteil“, dann wäre klar, was alles nicht High-End sein kann.

Solche und ähnliche Effekte konnte ich bisher hier auf Miniklangwunder vermeiden und möchte das auch weiterhin, so gut das eben geht.

Spezielles Miniklangwunder-Problem



Nach nun sehr vielen getesteten Produkten zeigt sich, dass sich viele meiner Bewertungen im Bereich 92%-98% tummeln und ich auch gelegentlich gefragt werde, was denn nun eine Abweichung der Endnote um z.B. 2% aussagt.
Darüber nachgedacht, kann ich keine klare Antwort geben, da die Endnote sich aus aktuell 12 Bewertungskriterien bildet. Das führt zwar zu einer gewissen Objektivierung und Transparenz meines subjektiven Eindruckes, bedeutet aber auch, dass geringfügige Ausreißer geglättet werden. So kann aber trotzdem ein sehr hoher Preis bei einem sonst sehr guten Testgerät zu deutlichen einer deutlichen Abwertung führen.


Beispiel

Nehmen wir mal an, ein 100.000€ Kopfhörer kommt auf den Markt, nennen wir ihn einfach „Optimus Maximus“, und er wäre technisch und akustisch das Maß aller Dinge. Er bekäme, um immer noch minimal Luft nach oben zu haben, überall 99% außer natürlich im Preis. Der bekäme tatsächlich radikal nur 1%.
So würde der „Optimus Maximus“ maximal auf 90,8% kommen und somit ein „gut“ als Bewertung erhalten. Als das aktuelle Maß aller Dinge müsste er aber doch eine hohe Bewertung „sehr gut“ erhalten. Das verhindert natürlich sein Preis.

Der Sennheiser HD58X Jubilee wurde hier auf Miniklangwunder insgesamt bei 95,6% bewertet, klingt aber nicht annähernd so optimal wie der „Optimus Maximus“, kostet aber im Vergleich lächerlich wenig. Er bekommt gerade deswegen aber ein sattes „sehr gut“.

Da passt offensichtlich etwas nicht. Ohne Preis käme der „Optimus Maximus“ in diesem Beispiel auf 99%, was ihm unter der eingangs genannten Annahme auch gerecht werden würde. Beste Verarbeitung und bester Klang.

Natürlich möchte ich die Betrachtung des Preis/Leistung-Verhältnisses bei meinen Tests weiterführen und werde diese Bewertung auch weiter vornehmen. Zugleich möchte ich mich aber auch der High-End-Lösungen und deren faire Bewertung nicht verschließen.

Das ist mit dem bisher eingesetzten Preis/Leistung-Bewertungssystem jedoch nicht realisierbar, wie es das Beispiel zeigt.

Lösungsansatz – Referenz-Bewertung



Das schreit also nach einer Anpassung des Bewertungssystems. Die Herausforderung dabei ist, es nicht einfach mal soeben auf den Kopf zu stellen, damit auch alle Bewertungen bisher ihre Berechtigung haben.

Ich habe es mir daher nicht einfach gemacht, die Bewertung so umzustellen, dass diese trotzdem einfach und schlüssig bleibt. Ich möchte auch nicht diverse neue Klassen einführen.
Die Umsetzung meiner Idee erfordert es jedoch, dass ich zumindest eine Klasse einführe, nämlich die „Referenzklasse“.

Wer genau wissen möchte, wie ich die Bewertung konkret aufgesetzt habe, liest einfach weiter. Für alle, denen das Ergebnis wichtiger ist als der Weg, fasse ich das im unten im letzten Absatz zusammen…


Wie kommt es zur Referenzklasse?



Die Referenzklasse wird in Zukunft ohne eine Preisbewertung auskommen. Das ist im Prinzip der einzige Unterschied was die Bewertung im Allgemeinen angeht.

Wer sich für Vertreter aus diesem Bereich interessiert, der wird auch selbst entscheiden, welche Investitionsbereitschaft vorhanden ist und benötigt keine Preisbewertung Dritter.

Eine weitere Änderung im Sinne einer Anpassung ist es, die Prozentvergabe für Bewertungen in der Referenzklasse moderat anzupassen. Ich habe mich entschieden, dafür mir aktuell zur Verfügung stehende Kopfhörer als Referenzen zu nutzen. Das sind die MrSpeakers Ether2 und der Voce, wobei ich den Voce unabhängig vom Preis auch vor dem Ether2 sehe.

Anhand dieser Kopfhörer habe ich somit meinen Referenzpunkt für den Einstieg in die Referenzklasse definiert, wobei der Ether2 mit seinem Preis von knapp 2.300€ sowohl in der regulären Bewertung „sehr gut“ abschneidet und auch in der Referenz-Bewertung gerade so in den Bereich „sehr gut“ einsteigt. Der Voce würde mit seinen 3.500€ in der Preis/Leistung-Bewertung unterhalb des Ether2 liegen, da einfach sein Preis noch deutlicheren Einfluss auf die Gesamtnote nimmt, während alle anderen Eigenschaften auf ähnlichem und etwas höherem Niveau des Ether2 liegen.

Um das Bewertungsfeld in der Referenzklasse etwas zu entzerren, habe ich meinen persönlichen Eindruck im Vergleich Ether2 und Voce auf der Referenz-Skala abgebildet. So markiert der Ether2 für mich den Einstieg in die Referenzklasse knapp unterhalb „sehr gut“, während ich den Voce bereits im Bereich „sehr gut“ sehe.

Der detaillierte Test zum Voce mit der Referenz-Bewertung wird demnächst folgen.

Das Vorgehen im Detail



Im ersten Schritt habe ich zunächst den Voce nach dem System Preis/Leistung bewertet, mit einem Kaufpreis von 3.499€ und nur 60% Preis, hätte er mit 93,8% Endnote abgeschnitten.

Im zweiten Schritt habe ich die Bewertung des Preises entfernt und der Voce kommt so auf 96,6%.

Im dritten Schritt habe ich festgelegt, dass alle Kriterien für die Bewertungen der klanglichen Eigenschaften so anzupassen sind, dass der Voce die 93,8% der regulären Bewertung mit Preis erreichen soll und somit den Schnittpunkt der regulären Bewertung und der Referenz-Bewertung darstellt.

Im vierten Schritt habe ich mir den Ether2 hergenommen und entsprechend der Referenz-Bewertung neu eingestuft und das im Vergleich mit dem Voce. Dort schneidet der Ether2 mit 91,8% ab, was subjektiv für mich im direkten Vergleich mit dem Voce so passt!


Ergebnis




Künftig wird es auf Miniklangwunder neben der bereits bekannten Preis/Leistung-Bewertung auch die Referenz-Bewertung geben. Je nach Testkandidat wird eine der beiden Bewertungen zur Anwendung kommen.

Die Referenz-Bewertung basiert in Kurzfassung auf folgende Regeln

1. Es kommen alle Kriterien der Preis/Leistung-Bewertung bis auf den Preis zur Anwendung

2. Die 9 klanglichen Kriterien wurden im Mittel etwa 5% herabgesetzt

3. Der MrSpeakers Voce verknüpft Preis/Leistung- und Referenz-Bewertung

Der MrSpeakers Voce ist mit 93,8% der erste von mir anhand der Referenz-Bewertung betrachtete Kopfhörer. Der Ether2 wurde zur Überprüfung und Einordnung als Vergleich zum Voce entsprechend neu als Referenz-Kopfhörer bewertet. Die Bewertung ist unten dargestellt aufgeführt.

Der detaillierte Test zum Voce mit der Referenz-Bewertung Voce wird demnächst folgen.


Somit ist nun eine Trennung von Referenz-Produkten zu Produkten mit Preis/Leistung-Bewertung unter Beibehaltung des ursprünglichen Systems und einer damit verbundenen Vergleichbarkeit untereinander möglich.


Mission erfolgreich! 😉

Klangfreund"M"

gelernter Radio- und Fernsehtechniker und ein Klangfreund mit Leidenschaft zu Kopfhörern, DAPs und sonstigen Miniklangwundern; liebt eine ordentliche Reproduktion satter Bässe, ausgewogene Wiedergabe von Stimmen und Instrumenten, entspannter Hochton mit akzentuierter Brillanz, kurz TP-Signatur; OverEar-Lineup: Dan Clar Audio Expanse, Meze Empyrean 2, Hifiman HE1000SE, HEDDphone 2, Hifiman Audivina, Dan Clar Audio E3; InEar-Lineup: Headphone Company Zeitgeist Blue, Sennheiser IE600, iBasso iT07; Dauerhaft eingesetzte DAPs: Cayin N8ii, iBasso DX320 Max TI; Kopfhörerverstärker im Bestand: Cayin HA-3A, RME ADI 2/4 Pro SE, ifi Audio GO Bar