MOS, PESQ und POLQA: Telefonsprachqualität messen

Wählen Sie vor der Messung von Telefonsprachqualität die zu beantwortende Frage. MOS fasst Hörerurteile zusammen; PESQ und POLQA schätzen Qualität mit definierten Algorithmen. Ein aussagekräftiger Wert braucht Methode, Skala und Testbedingungen. Ergänzen Sie Aufgabengenauigkeit und Gesprächszeiten, wenn verständliches Audio auch Namen erhalten und einen angenehmen Gesprächsablauf ermöglichen soll.

1. Subjektive MOS mit dem Testprotokoll lesen

ITU-T P.800 beschreibt subjektive Bewertungsverfahren. Auf der verbreiteten Skala mit fünf Kategorien bedeutet 1 schlecht, 2 dürftig, 3 mittelmäßig, 4 gut und 5 ausgezeichnet; der Mittelwert der Bewertungen ergibt MOS. [1] Geben Sie an, ob ein Hörtest oder ein interaktiver Gesprächstest durchgeführt wurde. Trotz gleicher Skala beschreiben diese Aufgaben unterschiedliche Erfahrungen.

Dokumentieren Sie Zahl und Sprache der Hörer, Wiedergabegerät und Lautstärke. Auch die Reihenfolge der Aufnahmen gehört in den Versuchsplan. Erläutern Sie, was beurteilt wird: Natürlichkeit, hörbare Störungen und Verständlichkeit sind unterschiedliche Fragen. Eine kurze Übungsrunde kann eine einheitliche Interpretation der Skala unterstützen. Bewahren Sie mehr als einen Gesamtdurchschnitt auf. Stark unterschiedliche Urteile über eine schwierige Aufnahme können für die Entscheidung ebenso wichtig sein wie der Mittelwert.

2. Umfang und aktuellen Status der Verfahren prüfen

PESQ gehört zu P.862, POLQA zu P.863. ITU weist darauf hin, dass die P.862-Familie am 5. Januar 2024 zurückgezogen wurde, und verweist auf P.863. [2] P.863 schätzt die Hörqualität; geeignete Referenz- und beeinträchtigte Signale sind wichtig. [3] Kennzeichnen Sie ältere PESQ-Ergebnisse mit historischer Methode und Version.

Bezeichnen Sie rohe Algorithmuswerte, auf MOS abgebildete Werte und menschliche MOS nicht ohne weitere Erklärung gleich. Lesen Sie Ausgabedefinition und Umrechnung des Messwerkzeugs. Prüfen Sie die Vergleichbarkeit, bevor Werte unterschiedlicher Versionen oder Betriebsmodi in eine gemeinsame Rangfolge gelangen. Beschreiben Sie den Anwendungsfall, statt einen universellen Qualitätsgrenzwert anzunehmen. Ein hilfreicher Bericht erläutert Eigenschaft und Bedingungen der Messung.

3. Einen wiederholbaren Qualitätsversuch planen

Führen Sie dieselbe Referenzsprache durch den untersuchten Audiopfad und bewahren Sie die Aufnahme beim Empfänger auf. Quelle und Vergleichsaufnahme müssen denselben gesprochenen Inhalt repräsentieren. Legen Sie Dauer, Abtastrate, Kanalauswahl und Zuschnitt im Versuchsplan fest. Entfernen Sie Stille oder beschädigte Abschnitte nicht nachträglich zur Verbesserung des Ergebnisses. Wählen Sie die bewerteten Abschnitte vorab.

Verändern Sie zunächst einen Faktor: Codec, Netzbedingung oder Verarbeitungsschritt. Prüfen Sie anschließend, ob sich der Unterschied bei verschiedenen Sprechern und Sätzen wiederholt. Kurze Ziffernfolgen und längere Erklärungen sollten gezielt enthalten sein. Weichen objektive Ergebnisse und Hörerurteile voneinander ab, hören Sie die Aufnahmen gemeinsam an und bestimmen Sie die entscheidende Störung. Bewahren Sie diese Beobachtung beim Zahlenwert auf, damit spätere Vergleiche ihre Erklärung behalten.

4. Qualität und Aufgabe im Support verbinden

In einem beispielhaften Supportversuch nennt ein Anrufer Bestellnummer und Liefertag. Verwenden Sie für zwei Audiopfade dieselben Sätze. Das Team vergleicht zunächst die Aufnahmen und prüft anschließend die korrekte Erkennung von Nummer und Tag. Auch in einem flüssig klingenden Abschnitt kann eine wichtige Ziffer fehlen. Sprachqualität und Aufgabengenauigkeit sind dann getrennte Befunde.

Messen Sie außerdem die Zeit zwischen dem Sprechende des Anrufers und dem Beginn der Antwort. Eine reine Hörqualitätsmessung erklärt nicht allein, wie diese Wartezeit das Gespräch beeinflusst. Führen Sie im Entscheidungsprotokoll eigene Zeilen für Klangqualität, Genauigkeit wichtiger Felder und Gesprächszeiten. So werden Stärken und Schwächen sichtbar, ohne sämtliche Beobachtungen in eine einzige Zahl zu pressen. Die Entscheidung kann dadurch die tatsächlich erforderliche Arbeit berücksichtigen.

5. Checkliste für Messwerkzeug und Bericht

• Nennen Sie Standard, Version, Betriebsmodus, Ergebnisbezeichnung und Skala am Anfang des Berichts.
• Prüfen Sie Referenzquelle und übereinstimmenden gesprochenen Inhalt. Dokumentieren Sie alle Umwandlungsschritte.
• Erfassen Sie bei Hörtests Sprache, Gerät, Pegel, Bewertungsfrage und Teilnehmerzahl.
• Verwenden Sie denselben Testsatz und betrachten Sie Verteilung, Fallzahl und schwierige Aufnahmen zusätzlich zum Mittelwert.
• Bewerten Sie wichtige Wörter und Gesprächsverzögerung getrennt vom Qualitätswert.
• Prüfen Sie die Nutzungsbedingungen der gewählten Implementierung. OPTICOM veröffentlicht Lizenzinformationen zu PESQ und POLQA. [4] Eine zugängliche Norm bedeutet nicht, dass jede Software für jeden Zweck frei verwendbar ist.

6. Häufige Fragen

Kann man PESQ oder POLQA auf eine beliebige Gesprächsaufnahme anwenden? Prüfen Sie zuerst die benötigte Referenz und die Eingabebedingungen der Implementierung. Ohne geeignete Referenz kann ein anderes Messverfahren erforderlich sein.

Bedeutet ein höherer Wert bessere STT-Ergebnisse? Es werden unterschiedliche Eigenschaften gemessen. Prüfen Sie wichtige Namen, Nummern und Termine in einem eigenen Erkennungstest und betrachten Sie beide Ergebnisse gemeinsam.

Sind Berichte mit derselben MOS gleichwertig? Testart, Teilnehmer, Methode, Version und Ausgabeskala müssen ebenfalls vergleichbaren Kontext liefern. Gleiche Zahlen allein belegen ohne diese Angaben kein gleichwertiges Ergebnis.