MOS, PESQ ve POLQA: telefon ses kalitesini ölçmek

Telefon ses kalitesini ölçerken önce hangi soruya yanıt aradığınızı seçin. MOS, dinleyicilerin değerlendirmelerinden oluşur; PESQ ve POLQA tanımlı algoritmalarla kaliteyi tahmin eder. Bir puanı anlamlı kılan yöntem, ölçek ve test koşullarıdır. Akıcı duyulan bir kaydın isimleri doğru tanıtması veya konuşmanın hızlı ilerlemesi için bu kalite ölçümünün yanına görev ve zaman ölçümleri de ekleyin.

1. Öznel MOS’u test protokolüyle birlikte okuyun

ITU-T P.800 öznel değerlendirme yöntemlerini tanımlar. Yaygın beş kategorili ölçekte 1 kötü, 2 zayıf, 3 orta, 4 iyi, 5 mükemmeldir; değerlendirmelerin aritmetik ortalaması MOS oluşturur. [1] Sonucu paylaşırken dinleme testi mi, karşılıklı konuşma testi mi yaptığınızı açıkça belirtin. Aynı ölçek kullanılsa bile bu iki görevden alınan puanlar farklı deneyimleri anlatır.

Dinleyici sayısını, dilini, dinleme cihazını ve ses seviyesini kaydedin. Hangi kayıtların hangi sırayla dinletildiği de değerlendirme planının parçası olsun. Önce neyin puanlanacağını açıklayın: sesin doğal gelmesi, duyulan bozulma veya anlaşılabilirlik aynı soru değildir. Kısa bir eğitim denemesiyle katılımcıların ölçeği benzer biçimde anladığını kontrol edin; sonuçları yalnız tek bir ortalamaya indirmeyin.

2. PESQ ve POLQA’nın kapsamını ve durumunu kontrol edin

PESQ, P.862 ile; POLQA, P.863 ile ilişkili nesnel yöntemlerdir. ITU, P.862 ailesinin 5 Ocak 2024’te çekildiğini belirtir ve P.863 ailesine yönlendirir. [2] P.863, dinleme kalitesini tahmin eden bir yöntemdir; referans ve bozulmuş sinyalin uygunluğu önemlidir. [3] Eski PESQ sonuçlarıyla çalışıyorsanız raporu tarihsel yöntem ve sürüm bilgisiyle etiketleyin.

Ham algoritma çıktısını, MOS’a eşlenmiş bir çıktıyı ve insanlardan alınmış MOS’u aynı etiketle sunmayın. Ölçüm aracının çıktıyı nasıl adlandırdığını ve hangi dönüşümü uyguladığını okuyun. Farklı sürüm veya çalışma modlarından gelen sayıları tek bir sıralamaya koymadan önce karşılaştırılabilirlik koşullarını doğrulayın. Tek bir evrensel iyi puan sınırı belirlemek yerine kullanım senaryosunu açıklayın.

3. Tekrarlanabilir bir kalite denemesi tasarlayın

Aynı referans konuşmayı değerlendirmek istediğiniz ses yolundan geçirin ve alıcıda oluşan kaydı saklayın. Kaynak ile karşılaştırılan kayıt aynı söylenen içeriğe ait olmalıdır. Süre, örnekleme hızı, kanal seçimi ve kırpma adımlarını test planında belirtin. Sessizliği veya bozuk bölümleri sonuç daha iyi görünsün diye sonradan çıkarmayın; hangi bölümlerin değerlendirileceğini önceden seçin.

İlk denemede yalnız bir etkeni değiştirin: codec, ağ koşulu veya ses işleme adımı. Ardından ortaya çıkan farkın farklı konuşmacı ve cümlelerde tekrarlanıp tekrarlanmadığını sınayın. Kısa numaralarla uzun açıklamaları aynı örnek gibi değerlendirmeyin. Nesnel ölçüm ile dinleyici değerlendirmesi farklı yönlere gidiyorsa kayıtları birlikte dinleyerek hangi bozulmanın kararı etkilediğini belirleyin.

4. Bir destek hattında kaliteyi görevle birleştirin

Örnek bir destek denemesinde arayan, sipariş numarasını ve teslimat gününü söylüyor. İki ses yolu için aynı cümleler kullanılsın. Ekip önce kayıtların sesini karşılaştırır, sonra numaranın ve günün doğru tanınıp tanınmadığını kontrol eder. Dinleyiciye akıcı gelen bir bölümde kritik bir rakam kaybolmuş olabilir; bu durumda ses kalitesi ve görev doğruluğu ayrı bulgulardır.

Ayrıca kullanıcının konuşma bitişiyle yanıt başlangıcını ölçün. Yalnız dinleme kalitesini değerlendiren bir yöntem, bu beklemenin konuşmayı nasıl etkilediğini tek başına açıklamaz. Karar kaydında kalite sonucu, kritik alan doğruluğu ve konuşma zamanı için ayrı satırlar tutun. Böylece bir seçeneğin güçlü ve zayıf yanları görünür olur; bütün kararı tek bir sayı üzerinden vermeniz gerekmez.

5. Ölçüm aracı ve rapor kontrol listesi

• Kullanılan standart, sürüm, çalışma modu, puan adı ve ölçeği raporun başına yazın.
• Referansın kaynağını ve değerlendirilen kaydın aynı içeriğe ait olduğunu doğrulayın; dönüştürme adımlarını kaydedin.
• Dinleyici testinde dil, cihaz, seviye, soru ve katılımcı sayısını açıkça belirtin.
• Aynı test havuzunu kullanın; ortalamayla birlikte dağılımı, örnek sayısını ve sorunlu kayıtları inceleyin.
• Kritik kelime doğruluğunu ve konuşma gecikmesini kalite puanından ayrı değerlendirin.
• Seçtiğiniz uygulamanın kullanım koşullarını kontrol edin. OPTICOM, PESQ ve POLQA için lisanslama bilgileri yayımlar. [4] Standardın okunabilmesi, her yazılımın her kullanım için serbest olduğu anlamına gelmez.

6. Sık sorulan sorular

PESQ veya POLQA’yı rastgele bir çağrı kaydına uygulayabilir miyim? Önce aracın gerektirdiği referansı ve giriş koşullarını kontrol edin. Uygun bir referans olmadan başka tür bir ölçüm aracına ihtiyaç duyabilirsiniz.

Daha yüksek puan, daha başarılı STT demek midir? Aynı şey değildir. Kritik isim, sayı ve tarihleri temsil eden ayrı bir tanıma testi yapın. Kalite ve transkripsiyon sonuçlarını birlikte okuyun.

İki raporda aynı MOS değeri varsa sonuçlar eşit midir? Test türü, katılımcılar, yöntem, sürüm ve çıktı ölçeği de aynı bağlamı taşımalıdır. Bu bilgiler olmadan yalnız sayı eşitliği yeterli bir karşılaştırma oluşturmaz.