DM yanıt süresi nasıl ölçülür? Medyan, p90 ve mesai dışı ayrımı

Bir ekip “ortalama 4 dakikada dönüyoruz” dediğinde genellikle üç şeyden biri oluyor: sayıyı hiç hesaplamamışlardır, gece gelen mesajları dışarıda bırakmışlardır ya da ortalamayı birkaç çok hızlı yanıt yukarı çekmiştir. Yanıt süresi ölçmek göründüğünden zor; ama doğru kurulduğunda otomasyon yatırımının işe yarayıp yaramadığını gösteren en dürüst sayıdır.

Kısa cevap: İlk yanıt süresini, kişinin mesajının geldiği an ile işletmenin gönderdiği ilk anlamlı yanıt arasındaki fark olarak tanımlayın; ortalama yerine medyan ve p90 kullanın; mesai içi ile mesai dışını ayrı raporlayın; otomatik karşılamayı “yanıt” saymayın, ayrı bir metrik olarak tutun.

Neyi ölçüyoruz: üç farklı “yanıt süresi”

Aynı isimle anılan üç ayrı şey var ve bunları karıştırmak tartışmaların yarısını üretiyor.

Panelinizde tek bir “yanıt süresi” sayısı varsa büyük ihtimalle birincisini ölçüyordur — ve o sayı gerçekten hızlı olduğunuz anlamına gelmez, yalnızca otomasyonun çalıştığı anlamına gelir.

Başlangıç anını doğru seçmek

Sayaç, kişinin mesajının size ulaştığı anda başlamalı. Kulağa açık geliyor ama pratikte üç tuzak var:

• Sohbet mi, mesaj mı? Bir kişi arka arkaya beş mesaj yazarsa sayaç beşinde de yeniden başlamaz. Başlangıç, o sohbetteki yanıtsız ilk mesajdır.
• Kapanmış sohbet yeniden açılırsa. Üç hafta sonra yazan aynı kişi yeni bir ölçüm başlatır; eski sohbetin süresine eklenmez.
• Sizin başlattığınız sohbetler. Şablon mesajla siz başlattıysanız ortada bir “yanıt süresi” yoktur. Bu sohbetleri ölçümün dışında tutun, yoksa sayınız yapay olarak iyileşir.

Neden ortalama değil?

Yanıt süreleri neredeyse her zaman sağa çarpık dağılır: mesajların çoğu dakikalar içinde, küçük bir kısmı saatler sonra yanıtlanır. Ortalama bu kuyruğun etkisinde kalır.

Bir örnek: on mesajın dokuzu 2 dakikada, biri 10 saatte yanıtlanmış olsun. Ortalama 62 dakika çıkar — ne dokuz kişinin deneyimini, ne de bir kişinin deneyimini anlatır. Medyan ise 2 dakikadır ve tipik deneyimi doğru söyler.

Bu yüzden iki sayıyı birlikte raporlayın:

• Medyan (p50): Tipik müşterinin beklediği süre. Hedefi buraya koyun.
• p90: Mesajların yüzde 90'ının içinde yanıtlandığı süre. En kötü deneyimi buradan görürsünüz.

Medyanı düşük, p90'ı çok yüksek bir ekip “hızlıyız” diye düşünürken her on müşteriden birini unutuyor demektir. Asıl iyileştirme alanı orasıdır.

Mesai dışını ayırmak

Gece 02.00'de gelen bir mesaja 09.00'da dönmek 7 saatlik bir yanıt süresi üretir. Bu sayı ekibinizin performansını değil, çalışma saatlerinizi ölçer. İkisini karıştırırsanız iki hata birden yaparsınız: ekibi haksız yere kötü gösterirsiniz ve gerçekten yavaş olduğunuz saatleri fark edemezsiniz.

Pratik yöntem: her mesajı geliş saatine göre “mesai içi” ve “mesai dışı” olarak etiketleyin, iki grubu ayrı raporlayın. Mesai dışı grubu için farklı bir soru sorun: “sabah ilk saatte kaç mesaj birikmiş oluyor ve bunların kaçı hâlâ satın almaya dönüyor?”

Otomasyonun mesai dışında yaptığı iş de burada görünür. Karşılama mesajı yanıt süresini düşürmez — ama bekleyen kişinin ne zaman dönüleceğini bilmesini sağlar ve sohbetin kaçmasını engeller. Bunu ölçmek için mesai dışı gelen sohbetlerin kaçının ertesi gün devam ettiğine bakın.

Bir aylık ölçüm planı

1. Hafta 1 — ham veri. Hiçbir şeyi değiştirmeden kaydedin: geliş saati, ilk otomatik mesaj saati, ilk insan yanıtı saati, kanal, sonuç.
2. Hafta 2 — taban çizgisi. Medyan, p90 ve mesai içi/dışı kırılımını hesaplayın. Bu sizin tabanınız; başka hiçbir şeyle kıyaslamayın.
3. Hafta 3 — tek değişiklik. Yalnız bir şeyi değiştirin: örneğin mesai dışı karşılama mesajını açın ya da en sık gelen üç soruyu otomasyona alın.
4. Hafta 4 — tekrar ölçüm. Aynı sayıları yeniden hesaplayın. Fark anlamlı mı, yoksa haftalık dalgalanma içinde mi kalıyor?

Aynı anda üç şeyi birden değiştirmek, dördüncü haftanın sonunda hangisinin işe yaradığını bilmemek demektir.

Hedef koyarken

İnternette dolaşan “sektör ortalaması” rakamlarının çoğunun arkasında yayımlanmış bir çalışma yok. Yanıt süresiyle dönüşüm arasındaki ilişkiyi ölçen en çok atıf alan çalışma Harvard Business Review'da yayımlandı: James B. Oldroyd ve Kristina McElheran, 2.241 şirkete test talebi gönderip bir saat içinde dönenlerin talebi nitelikli müşteriye çevirme olasılığının daha geç dönenlere göre yaklaşık yedi kat yüksek olduğunu buldu. Çalışma ABD'deki B2B web formları üzerinde yapıldı, yani DM'ler için birebir geçerli değil — ama yönü nettir.

Pratik bir hedef kurgusu:

• Mesai içinde medyan 5 dakikanın altı, p90 30 dakikanın altı.
• Mesai dışında otomatik karşılama 60 saniyenin altı ve söz verdiğiniz dönüş saatine uymak.
• Bu sayıları kendi geçen ayınızla kıyaslayın; başkasının ortalamasıyla değil.

Türkiye'ye özgü kanal büyüklüğü verileri için Türkiye mesajlaşma istatistikleri sayfasına bakabilirsiniz; oradaki rakamların hepsi kaynağıyla birlikte veriliyor.

Ölçümü bozan dört şey

• Otomatik karşılamayı yanıt saymak. Sayınız bir anda saniyelere düşer ve hiçbir şey ifade etmez. Ayrı metrik olarak tutun.
• Test sohbetlerini dahil etmek. Ekip içi denemeler ortalamayı yapay olarak iyileştirir.
• Spam ve alakasız mesajları saymak. Yanıtlanmayan spam mesajlar p90'ı şişirir.
• Kanalları birleştirmek. Instagram ve WhatsApp'ın kullanıcı beklentisi farklıdır; tek sayı altında toplarsanız hangi kanalda yavaş olduğunuzu göremezsiniz.

Sıkça sorulan sorular

Otomatik karşılama mesajı yanıt süresine dahil edilmeli mi?

Hayır, ayrı ölçülmeli. Karşılama mesajı müşteriye “mesajın ulaştı” bilgisini verir ama sorusunu cevaplamaz. İkisini tek sayıda birleştirirseniz saniyelik bir yanıt süresi raporlarsınız ve gerçekte saatlerce bekleyen müşterileri göremezsiniz. Doğru kurulum, iki metriği yan yana takip etmektir: otomatik ilk temas ve ilk insan yanıtı.

Medyan ile p90'ı nasıl hesaplarım?

Bir aylık yanıt sürelerini küçükten büyüğe sıralayın. Ortadaki değer medyandır (çift sayıda kayıt varsa ortadaki ikisinin ortalaması). p90 ise listenin yüzde 90'ına denk gelen değerdir: 200 kayıt varsa sıralı listenin 180'inci elemanı. Elektronik tabloda medyan için MEDIAN, p90 için PERCENTILE fonksiyonunu kullanabilirsiniz.

Mesai dışı gelen mesajlar için hedef koymalı mıyım?

Yanıt süresi hedefi koymayın; bunun yerine iki başka hedef koyun. Birincisi otomatik karşılamanın ne kadar sürede gittiği (saniyeler mertebesinde olmalı). İkincisi, mesai başladıktan sonra biriken kuyruğun ne kadar sürede eridiği. İkinci sayı, sabah ilk saatte kaç kişi çalıştırmanız gerektiğini de söyler.

Kaç aylık veri anlamlı bir karşılaştırma için yeter?

Günlük hacminiz düşükse (ayda 100'ün altında sohbet) tek ay gürültülü kalır; iki-üç aylık pencerelerle karşılaştırın. Ayda birkaç yüz sohbet alıyorsanız aylık karşılaştırma yeterlidir. Her durumda kampanya dönemlerini ayrı işaretleyin: indirim haftasındaki yanıt süresi normal haftayla kıyaslanamaz.

Ölçüm için ayrı bir araç gerekir mi?

Başlangıçta gerekmez. Gelen kutusunun dışa aktardığı mesaj listesi ve bir elektronik tablo ilk iki ay için yeterlidir. Asıl kritik olan, hangi anı başlangıç saydığınızı yazılı bir kural haline getirmek; araç değiştiğinde bile aynı tanımla ölçmeye devam edebilmek için.

Nereden başlamalı

Bu hafta tek bir şey yapacaksanız: son 30 günün mesaj listesini dışa aktarın, mesai içi ve mesai dışı diye ikiye ayırın ve her grubun medyanını hesaplayın. Muhtemelen daha önce hiç görmediğiniz iki sayı çıkacak. Taban çizginiz odur.

Sonrasında otomasyonun hangi adımında insanların düştüğünü görmek için otomasyon hunisi metrikleri yazısına geçebilir, ilk akışınızı kurmadan önce yayın öncesi kontrol listesini gözden geçirebilirsiniz. Kendi panelinizde bu sayıları hazır görmek isterseniz Merkuva'i 14 gün ücretsiz deneyebilirsiniz.