VAD, konuşma sonu ve barge-in: ne zaman dinlemeli, ne zaman durmalı?

VAD ses içinde konuşma etkinliğini bulur; konuşma sırasının bittiğine karar vermek ve çalmakta olan yanıtı durdurmak ayrı işlerdir. Bir duraklamayı otomatik olarak “kullanıcı tamamladı” saymak, adresi veya açıklamayı ortadan bölebilir. Her sesi araya girme saymak da konuşmayı gereksiz yere kesebilir. Bu yüzden önce beklenen davranışı örnek cümlelerle tanımlayın, ardından algılama olayını, sıra kararını ve duyulan çıktıyı ayrı değerlendirin.

1. Üç kararı ayrı isimlerle belgeleyin

Google Cloud STT konuşma başlangıcı ve bitişi için ses etkinliği olayları sağlar; olaylar boş transkript üreten ses için de gönderilebilir. [1] Bu olay bir konuşma belirtisi sunar, kullanıcının bütün isteğini bitirdiğini tek başına kanıtlamaz. Endpointing ses akışında bir sınır seçer. EOT, yani sıra sonu kararı ise mevcut konuşma bağlamında yanıt vermeye geçilip geçilmeyeceği sorusudur.

Bu ayrım hata raporunu da netleştirir. “VAD yavaş” demek yerine “başlangıç olayı oluştu fakat kullanıcı cümlesine devam ederken yanıt başladı” yazın. Böylece algılamanın gerçekleşmesi ile onun üzerine verilen karar birbirine karışmaz; denemenin hangi soruyu çözmesi gerektiği görünür olur.

2. Sesin başlangıcını farklı konuşmalarla sınayın

Denemeler yalnız net ve yüksek sesli tek cümleden oluşmamalıdır. Hafif sesle başlayan düzeltme, nefes sonrası ilk sözcük, kısa onay ve arka plan konuşması için ayrı örnekler hazırlayın. Beklenen sonucu önce yazın: hangisinde dinleme sürmeli, hangisinde oynatma durmalı, hangisinde kullanıcıya yeniden soru sorulmalı? Sonra aynı ses örneğini farklı karar kurallarıyla karşılaştırın.

Mikrofondaki her hareketi anlamlı kullanıcı girdisi saymak ile sadece uzun cümleleri dikkate almak arasında seçim yapmak zorunda değilsiniz. Kısa “hayır” kelimesi görev bakımından önemli olabilir. Dinleme sırasında konuşmanın kime ait olduğu veya hangi kaynaktan geldiği belirsizse bu belirsizliği de not edin. Temiz bağlantıdaki sonuçları ortam sesi olan denemelerle ayrı raporlayın.

3. Duraklama ile tamamlanmış düşünceyi ayırın

Microsoft Speech belgesi, segmentasyon sessizlik süresinin uzamasının daha uzun duraklamalara izin verip sonuçları geciktirebildiğini; kısalmasının ifadeleri bölebildiğini açıklar. [2] Buradan tek bir evrensel süre çıkarılmaz. “Yeni … Mahalle” diyen biri adresi arıyor olabilir; “evet” diyenden sonra ise beklenen bilgi tamamlanmış olabilir. Aynı sessizlik farklı görevlerde farklı anlam taşır.

Deepgram’ın belgelenen endpointing özelliği VAD üzerinden duraklama algılar ve speech_final işareti üretir. [3] Bu sağlayıcı olayını bütün sistemlerde geçerli bir anlam tamamlanması garantisi gibi yorumlamayın. Test metnine bağlaçtan sonraki duraklamayı, liste öğeleri arasındaki beklemeyi ve sonradan gelen düzeltmeyi ekleyin. Erken yanıtı ve gereksiz uzun beklemeyi ayrı hata türleri olarak sayın.

4. Araya girme olayını duyulan durdurmayla karşılaştırın

RFC 6787, etkin Kill-On-Barge-In davranışında ses üretiminin konuşma başlangıcı veya DTMF girdisiyle kesilmesini tarif eder. [4] Güncel bir konuşma deneyimini değerlendirirken “durdur istendi” ile “ses sustu” zamanlarını ayırın. Kullanıcı “hayır” dedikten sonra eski yanıtın kalan kısmını hâlâ duyuyorsa, yalnız başlangıç algılamasına bakmak sorunu açıklamaz.

Durdurmanın ardından konuşma nasıl devam ediyor, bunu da test edin. Eski yanıt kaldığı yerden mi sürüyor, yeni düzeltmeye göre mi değişiyor, kullanıcıdan tekrar mı isteniyor? Her senaryo için uygun davranışı tanımlayın. İstenmeyen kesintilerle gerçek düzeltmeleri aynı başarı oranına toplamak yerine, konuşmanın geri kazanılmasını ayrıca değerlendirin.

5. Varsayımsal bir adres alma denemesi

Bir arayan “Yeni … Mahalle, Çınar Sokak” diyor; duraklamada yanıt başlıyor ve sokak adı kaçıyor. Ekip aynı cümleyi önce akıcı, sonra doğal aramayla ve son olarak kısa bir düzeltmeyle okuyor. Her denemede konuşma başlangıcı, bölüm sonu kararı, yanıt başlangıcı ve duyulan durdurma olaylarını zaman çizelgesine yerleştiriyor. Soruyu yalnız hangi ayarın daha hızlı olduğu şeklinde kurmuyor.

Sonraki adımda yalnız sıra sonu kararı değiştiriliyor; ses örneği aynı tutuluyor. Sokak adı korunurken gereksiz bekleme artarsa iki sonuç birlikte yazılıyor. Ardından yanıt sürerken “sokak değil, cadde” düzeltmesi deneniyor. Kabul ölçütü sadece erken durmak değil, doğru yeni bilgiyi kullanarak konuşmayı sürdürebilmektir. Böylece hızlı fakat parçalanan ve akıcı fakat yavaş davranışlar görünür hale gelir.

6. Bir konuşma sırası kontrol listesi kullanın

• VAD olayını, sıra sonu kararını ve durdurma sonucunu ayrı kaydedin.
• Kısa onay, olumsuzluk ve sessiz başlangıç içeren örnekler hazırlayın.
• Cümle içi duraklama ile gerçekten tamamlanmış yanıtı karşılaştırın.
• Oynatma sürerken gelen düzeltmenin ilk sözcüğünü değerlendirin.
• Tek bir karar kuralını değiştirin ve aynı örneklerle yeniden deneyin.
• Erken yanıt, uzun bekleme, gereksiz kesinti ve konuşmaya dönüşü ayrı raporlayın.

Sık sorulan sorular

Konuşma bitiş olayı gelince hemen yanıt vermek gerekir mi? Olayın sağlayıcıdaki anlamını ve görevin tamamlanıp tamamlanmadığını birlikte değerlendirin. Sesin durması, açıklamanın bittiğiyle aynı şey değildir.

En iyi sessizlik eşiği kaçtır? Tek bir sayı bütün aramalar için doğru değildir. Seçilecek değerler, kullanılan arayüzün sınırları içinde ve temsilî konuşmalarla sınanmalıdır; başarı, doğru zamanda doğal şekilde devam edebilmekle ölçülür.